DavidEO

  ‘HALLYU’

• Malaysia-KOREA Cultural Exhibition

• 2023.05.01.~09.16

• 말레이시아 National Art Gallery 초청 전시

​

 

팀 ‘DaViz(데이비즈)’의 ‘디오니소스(Dionysus)’는 진영선 작가의 작품, ‘Times Reimagined_Dionysus 재창조된 시간들’에 영감을 받아 AI와 Sound Visualization을 통해 제작한 비디오 미디어아트이다.

 

이 영상 작품은 총 3개의 장면, 전반부, 중반부, 후반부로 구성된다. 2019년 MMA에서 선보인 방탄소년단의 퍼포먼스 ‘디오니소스’ 중 물에 비친 자기 모습을 사랑한 나르키소스 이야기를 표현한 정국(Jungkook)의 안무를 모티브로 AI를 활용하여 물을 테마로 영상의 전후반부를 제작하였다. 중반부는 ‘디오니소스’ 도입부의 실제 음악에 반응하는 Audio React를 적용하여 사운드 시각화(Sound Visualization)를 구현하였다.

 

영상의 전반부와 후반부는 BTS 멤버들의 이미지가 물줄기로 변형되었다가 다시 원형으로 되돌아오는 장면으로 이루어진다. 이러한 부메랑 같은 변환의 반복은 작품의 시작과 끝을 같아지게 하여 끝없이 루핑되어 재생되는 영상을 창조한다. Generative AI(생성형 인공지능)를 통해 진영선 작가의 작품 이미지를 다른 스타일의 이미지로 변환 후, 출력 이미지의 BTS 멤버들 형상이 물줄기의 형태로 변환하는 영상으로 컨버팅하는 과정을 AI를 통해 제작하였다. 정국의 안무 중 물이 튀기고 흩뿌려지는 순간을 상징적인 메타포로 설정하고 이를 AI를 통해 표현한 것이다.

 

중반부는 가상의 공간에서 BTS의 ‘디오니소스’ 음악의 사운드를 추상적인 그래픽스로 시긱화하기위해 Audio React를 적용하여 실제 사운드와 주요 구성 요소들의 모션이 실시간으로 연동하여 반응하도록 제작하였다. 정중앙에 위치한 빨간 구는 음악의 코어를 상징하며, 오디오 스펙트럼(Audio Spectrum), 파티클(Particle), 사운드 웨이브(Sound Wave) 등은 조화롭게 음악을 구성하는 요소로서 작용한다. 이러한 음악의 하모니가 물의 형상과 오버랩되며 전반부와 후반부와의 연결고리가 되어주는 것이다.

 

AI는 다양한 표현을 빠른 시간 안에 생성하지만 작가의 의도에 맞는 결과물을 얻기 위해서는 또한 수많은 시행착오를 겪어야 한다는 과정을 경험하고 있다. 예술을 통해 무엇인가를 창작한다는 것은 어찌 보면 어떠한 툴을 사용하여 어떠한 미디어를 통해 작가의 생각이나 의도를 전달할 것인가를 고민하고 표현하는 것이라 볼 수 있을 것이다. AI 또한 표현 수단 중의 하나일 것이다. 하지만 매우 강력한 협업의 툴일 것이다!

 

팀 ‘DaViz(데이비즈)’는 미디어아트를 CG, AI, 실감미디어 등의 기술로 데이터 시각화 작업을 구현하는 각 분야의 전문가로 구성된 스튜디오이다. 주요 구성원인 오은석 교수는 뉴욕 Pratt Institute의 Digital Arts과 졸업 후, 실험적인 영상 작품을 선보이고 있다. 박규동 교수는 POSTECH의 Creative IT Engineering과 졸업 후, Human-centered AI와 Data Science를 연구하며 이에 관련된 데이터 시각화 작업을 진행 중이다.

​

​

​

Team DaViz's ‘Dionysus’ was inspired by Young Sun Jin's artwork, ‘Times Reimagined_Dionysus’. This work is a video media art created through AI and sound visualization.

 

This video work consists of three scenes: the first scene, the middle scene, and the last scene. Among BTS's performance ‘Dionysus’ at the 2019 MMA (Melon Music Awards), Jungkook presented choreography expressing the story of Narcissus who loved his reflection in the water.

 

The first and the last scene of the video were produced using AI with the water theme as a motif from Jungkook's choreography. In the middle scene, Sound Visualization was implemented by applying Audio React that responds to the actual music at the beginning of ‘Dionysus’. The first and the last scene of the video consist of a scene in which the images of BTS members are transformed into water splashes and then returned to their original form. The repetition of these boomerang-like transformations makes the beginning and end of the work the same, creating an endlessly loop video. First, through Generative AI, the image of Jin Young-sun's work was converted into an image of a different style. After that, we directed the output shape of the BTS members to transform into water splashes. During Jungkook's choreography, the moment when water splashes and scatters is set as a symbolic metaphor and expressed through AI.

 

In the middle scene, the sound of BTS' 'Dionysus' music was visualized with abstract graphics in a virtual space. To achieve this, Audio React was applied to make the actual sound and the motion of the main components react in real time. The red sphere located in the center symbolizes the core of music, and the audio spectrum, particles, and sound waves are elements that harmoniously compose music. The harmony of this music overlaps with the shape of water splashes and becomes a link between the first and the last scene.

 

AI generates various expressions in a short amount of time. However, in order to obtain a result that suits the artist's intention, it also has to go through a lot of trials and errors. Creating something through art can be seen as a way of contemplating and expressing the artist's thoughts and intentions through which tools and media are used. AI is also one of the ways of expression. However, it's probably one of the most powerful tools!

 

Team ‘DaViz’ is a studio that creates media art by implementing data visualization work with technologies such as CG, AI, and immersive media. Professor Eunseok O graduated from Pratt’s Department of Digital Arts in New York and has been presenting experimental video works. Professor Kyudong Park, who graduated from the Department of Creative IT Engineering at POSTECH, is currently conducting research on Human-Centered AI and Data Science. His work focuses on data visualization within these fields.

 

​

DaViz 데이비즈

Data + Visualization

 

Eunseok O

Kyudong Park