텍스트로 만드는 동영상: 메타(Meta) 메이크 어 비디오(Make a Video)

Facebook의 모회사인 메타(Meta)의 기계 학습 엔지니어 팀이 메이크 어 비디오(MAKE-A-VIDEO) 시스템을 공개했습니다. AI를 통해 텍스트를 입력하면, 텍스트와 일치하는 동영상이 생성되는 AI기반 비디오 컨텐츠 생성이 가능한 시스템이라고 하는데요. 메이크 어 비디오는 Dall-E, 스테이블 디퓨전(Stable diffusion)과 비슷한 프로그램이라고 합니다. 기존에 Dall-E2는 자연어처리(NPL), 즉 인간의 언어로 AI과 직접 통신하는 방식으로 명령하고 일치하는 이미지를 생성하게 하는 프로그램이라고 합니다. 그리고 스테이블 디퓨전(Stable diffusion)도 영국의 스타트업 기업인 스테빌리티가 개발한 것으로 사용자가 원하는 그림의 설명을 입력하면 AI가 그림으로 그려주는 프로그램이네요. 현재 기술과 메이크 어 비디오의 차이라고 하면, 이미지에서 동영상으로 발전이 크게 다른 점이라고 할 수 있습니다.

기존 텍스트-이미지 데이터에서 세상이 어떻게 생겼는지, 어떻게 설명되고 학습하는지에 대한 데이터를 기반으로 T2I(Text-to-Image) 세대의 엄청난 발전을 T2V(Text-to-Video)로 변화시키는 새로운 실험을 하고 있다고 밝혔습니다. 메타의 설명을 살펴보면, 사람들에게 새로운 컨텐츠를 빠르고 쉽게 만들수 있는 도구를 제공함으로서 창의적인 표현을 발전시키고, 몇개의 단어나 텍스트를 통해 상상력이 가득찬 동영상을 만들 수 있다고 밝혔습니다. 현재 정식 버전은 아니고 데모버전으로 발표를 한 것으로 보여집니다. 현재 동영상 클립은 5초 정도 수준이며, 오디오가 포함되지는 않는 수준입니다.

1) 텍스트를 입력하면,
만들어지는 동영상

메타(Meta) Make a Video: 텍스트를 입력하면 동영상 변환

<초상화를 그리는 테디베어>처럼 텍스트를 입력하면 동영상이 만들어지는 방식입니다. 텍스트를 입력하면, 동영상이 생성됨에 따라 이러한 기술은 다양하게 활용이 될 것으로 예상이 됩니다. 예를 들어 유튜브를 위한 영상, 교육, 뉴스 보도 등으로 다양하게 활용될 수 있을 것으로 같은데요. 텍스트만으로 비디오를 만들 수 있다는 점에서는 매우 신기한 기술이 아닐까 하는데요. 텍스트를 통해 다양한 상상력을 제공할 수 있는 비디오로 만들어질 수 있을까 하는 기대가 되기도 하네요.

2) 단일 이미지에서
모션이 추가되는 동영상

 

메타(Meta) Make a Video: 단일 이미지에서 모션이 추가되는 동영상으로 변환

쉽게 보면, 이미지가 어떤 상황인지를 이해하고 동영상으로 만들어내는 방식이라고 생각되는데요. 메타에서 제공한 자료 중 <바다에서 헤엄치는 거북이>라는 한장의 인풋 이미지(Input image) <바다라는 공간의 모션>과 <거북이의 모션>이 결합되어 동영상 아웃풋(Video output) 로 변화되는 방식이라고 이해되네요. 현재 발표 수준만 보면, 복잡한 개념은 아닐 수 있지만 이미지 파일이 동영상 파일로 변화된다는 측면에서 앞으로 어떻게 발전될지는 지켜봐야 할 것 같습니다.

 

 

3) 기존 동영상이
발전,변형되는 동영상

 

메타(Meta) Make a Video: 기존 영상을 발전, 변형시키는 과정

반응형

그리고 인풋 동영상(Input video)에서 기존 동영상에서 보여주는 모션을 변형시키는 개념으로 발전시킬 수 있다고 합니다. <춤을 추는 인형>이 좀 더 발전된 모션으로 춤을 선보이는 방식으로 동영상 아웃풋(Video output)으로 만들어질수도 있다고 합니다. 동영상에 보여준 공간도 기존 비디오에서 보여준 부분보다 다르게 변화될 수 있어 보이는데요. 영화에서 쓰이는 것처럼 크로마키에서 촬영한 동영상를 넣을 경우, 다양한 배경으로 공간도 발전시킬 수 있을 것으로 예상됩니다.

메타(Meta) Text to Video(Make a Video) 갤러리

 

2021년 10월 28일 페이스북은 메타 플렛폼으로 사명을 변경하면서 메타버스로 발전해 가겠다는 비전을 발표합니다. 가상현실, 증강현실, 스마트글래스 등 메타로 가기 위한 다양한 노력을 하고 있습니다. 이번에 발표한 메이크 어 비디오(MAKE-A-VIDEO)도 메타 환경을 위한 프로젝트의 일환이 아닐까 하는데요. 메이커 비디오는 딥페이크(Deepfake)처럼 악용될 사례도 충분히 있을 것 같습니다. 물론 메타 플렛폼에서도 이러한 우려를 충분히 인지를 하고 앞으로 신중하게 운영하고자 하는 계획을 밝히긴 했습니다. 현재는 데모버전이라 더욱 발전될 것으로 예상이 되는데요. 기술의 발전도 좋지만, 기술을 어떻게 사용할 것인가에 대한 과제도 있기 때문에 신중한 접근도 메타에게는 필요하지 않을까 생각되네요.