"WASD 누르면 영상 생성"... 텐센트, 인터랙티브 월드모델 'H3-월드' 발표

영상 생성 AI 기술이 한 단계 더 진화했다. 텐센트와 싱가포르 국립대학교(NUS), 홍콩공과대학교(PolyU)의 연구진은 최근 ‘H3-월드(H3-World)’라는 혁신적인 인터랙티브 월드 모델을 발표했다. 이 모델은 사용자의 입력에 실시간으로 반응하여 영상을 생성하는 능력을 갖추고 있으며, 이는 단순한 프롬프트 입력을 넘어 게임처럼 조작할 수 있는 새로운 경험을 제공한다.

인터랙티브 월드 모델의 진화

H3-월드는 기존의 영상 생성 AI에서 한 발 더 나아가, 사용자가 키보드를 통해 캐릭터의 이동과 카메라 시점을 제어할 수 있도록 설계됐다. 예를 들어, 사용자가 W, A, S, D 키를 눌러 캐릭터의 이동 방향을 지정하면, AI는 이를 짧은 영어 명령으로 변환해 영상 생성 과정에 적용한다. 또한, I, J, K, L 키를 통해 카메라의 각도와 위치를 조정할 수 있으며, F 키를 누르면 빠른 카메라 이동도 가능하다.

이 방식은 기존의 영상 모델들이 사용자의 입력에 맞춰 별도의 제어 네트워크를 구축해야 했던 것과는 달리, H3-월드는 이미 학습된 대규모 영상 생성 모델의 언어 이해 능력을 활용해 간단하게 구현됐다. 연구진은 이러한 접근 방식을 통해 더 간편하고 효과적으로 인터랙티브한 경험을 제공할 수 있다고 설명한다.

H3-월드의 기술적 특징

H3-월드는 미니맥스의 330억 개 매개변수로 구성된 H3 모델을 기반으로 하고 있으며, 사용자 입력을 효과적으로 처리하기 위해 ‘방향성 주의 마스크(Directional Attention Mask)’라는 기술을 적용했다. 이는 각 입력 명령이 시간대별로 어떤 영상 잠재 표현에 집중해야 하는지를 제어하는 기능을 제공하여, 더 정교한 영상 생성이 가능하게 한다.

또한, H3-월드는 비교적 적은 데이터로도 학습이 이루어졌다. 연구진은 약 8000개의 게임플레이 영상을 활용해 전체 매개변수 중 0.199%에 해당하는 6560만 개의 매개변수만을 LoRA 방식으로 학습했다. 이처럼 소규모의 추가 학습을 통해 기존의 영상 모델을 인터랙티브 월드 모델로 전환하는 데 성공한 것이다.

향후 전망과 의미

H3-월드는 사용자가 직접 입력한 키보드 조작에 따라 서로 다른 결과물을 생성할 수 있어, 게임 개발 및 콘텐츠 제작에 있어 혁신적인 가능성을 열어줄 것으로 기대된다. 동일한 시작 프레임에서 각기 다른 키 입력이 다른 움직임으로 이어질 수 있다는 점은 사용자에게 더욱 몰입감 있는 경험을 제공할 수 있다.

영상 생성 AI의 발전은 단순한 이미지나 영상 생성에서 벗어나, 사용자와의 상호작용을 통해 새로운 이야기를 만들어가는 방향으로 나아가고 있다. 앞으로 H3-월드와 같은 기술들이 더욱 발전하여 다양한 분야에 적용될 수 있기를 기대해 본다. AI가 우리의 창작 방식에 어떤 변화를 가져올지 주목할 필요가 있다.