MS, 코드로 영상 속 물리법칙 정밀 제어하는 '코드 비디오 모델' 공개

최근 마이크로소프트(MS)가 발표한 '코드 비디오 모델(Code Video Model)'은 영상 제작의 새로운 패러다임을 제시하고 있습니다. 이 모델은 사용자가 원하는 장면과 물리적 동작을 정교하게 구현할 수 있는 능력을 갖추고 있으며, AI 영상 생성 기술의 발전에 큰 기여를 할 것으로 기대됩니다.

영상 생성의 새로운 접근법

AI 기술의 발전으로 영상 제작 방식은 빠르게 변화하고 있습니다. 기존의 비디오 생성 모델은 내부적으로 장면의 물리적 움직임과 객체의 배치를 처리하는 방식이었으나, 코드 비디오 모델은 이러한 방식을 혁신적으로 변화시켰습니다. 이 모델은 사용자가 입력한 프롬프트를 실행 가능한 코드로 변환해 장면 구성과 객체의 움직임, 카메라 경로 등을 제어하는 데 중점을 두고 있습니다.

코드 비디오 모델의 핵심은 코딩 에이전트를 활용하는 것입니다. 사용자가 원하는 장면을 설명하면, 이 에이전트는 객체의 위치, 움직임, 타이밍, 카메라의 경로 등을 코드 형태로 작성합니다. 이를 통해 기존의 비디오 생성 방식보다 훨씬 더 세밀하고 정교한 영상 제작이 가능해집니다. 특히, 물리 방정식을 적용하여 객체의 움직임을 계산하고, 미리보기 영상을 생성하는 과정은 사용자가 최종 영상의 구조와 움직임을 미리 확인할 수 있게 합니다.

프록시 비디오와 초기 단계 조건화

코드 비디오 모델에서 중요한 요소 중 하나는 '프록시 비디오'입니다. 이는 최종 영상을 만들기 전에 장면의 구조와 움직임을 미리 확인할 수 있도록 도와주는 역할을 하며, 제작에 걸리는 시간은 단 1분 이내입니다. 하지만 프록시 비디오를 그대로 최종 영상 생성 과정에 반영하면, 영상이 평면적이고 단순하게 나타날 수 있습니다. 이를 해결하기 위해 연구진은 '초기 단계 조건화(early-step conditioning)' 기술을 도입했습니다. 이 기술은 초기 단계에서만 프록시 비디오를 참고하고, 이후 단계에서는 해당 조건을 제거하여 더욱 자연스러운 영상 표현을 가능하게 합니다.

이러한 접근법은 구조적 제어와 자연스러운 영상 표현을 동시에 확보할 수 있도록 설계되었습니다. 따라서 코드 비디오 모델은 사용자가 원하는 스타일과 디테일을 반영한 최종 영상을 생성하는 데 있어 큰 장점을 갖추고 있습니다.

다양한 활용 가능성과 향후 전망

마이크로소프트는 코드 비디오 모델이 게임, 장면 편집, 물리 기반 움직임, 불릿 타임 효과, 3Dㆍ4D 재구성 등 다양한 분야에서 활용 가능하다고 밝혔습니다. 실제로 모델은 여러 벤치마크를 통해 기존 모델보다 높은 성능을 발휘하며, 물리적으로 일관된 움직임 구현과 더불어 로봇 시뮬레이션 및 월드 모델 학습 데이터 생성 등으로의 확장 가능성도 제시하고 있습니다.

코드 비디오 모델은 영상 제작의 새로운 지평을 열어줄 것으로 기대됩니다. 사용자 요구에 맞춘 세밀한 제어와 자연스러운 표현이 결합된 이 모델은 앞으로 다양한 산업 분야에서 혁신적인 변화를 가져올 수 있을 것입니다. AI 기반의 영상 제작 기술이 더욱 발전하면서, 창작의 영역이 어떻게 확대될지 귀추가 주목됩니다.