미니맥스, 텍스트·오디오 통합 멀티모달 영상 AI 'H3' 공개... "오픈웨이트로 시댄스에 도전"

미니맥스가 차세대 멀티모달 영상 생성 모델인 H3를 공식 발표하며, 인공지능 영상 생성의 새로운 지평을 열었다. 이번 모델은 텍스트, 이미지, 영상, 오디오를 통합적으로 처리할 수 있는 기능을 갖추고 있어, 다양한 멀티미디어 콘텐츠 제작에 획기적인 변화를 예고하고 있다.

H3의 혁신적인 기능

H3는 최대 15초 분량의 2K 해상도 영상을 초당 24프레임으로 생성하는 능력을 지니고 있다. 이 모델의 가장 큰 특징은 단순한 영상 생성 기능을 넘어, 이미지와 영상 편집, 자연어 기반의 지시 편집까지 지원한다는 점이다. 예를 들어, 특정 영상의 카메라 움직임과 다른 이미지 속 인물을 결합하여 새로운 영상을 만들어낼 수 있다. 이러한 복합적인 작업은 기존의 생성 AI가 개별적으로 처리하던 방식에서 벗어나, 여러 형태의 입력을 동시에 이해하고 자연스럽게 결과물을 생성할 수 있게 해준다.

미니맥스는 H3가 광고, 브랜딩, 전자상거래, 게임 콘텐츠 제작 등 다양한 상업적 분야에서 활용될 수 있도록 설계되었다고 설명했다. 특히 명령 수행 능력과 텍스트 및 브랜드 로고 표현의 정확성을 크게 향상시켜, 보다 전문적인 콘텐츠 제작이 가능해질 것으로 기대된다.

기술적 발전을 통한 효율성 강화

H3는 기존의 하이루오 시리즈를 기반으로 한 여러 혁신적인 기술을 적용했다. 그중에서도 컨텍스트 기반 옴니 표현, H3-VAE 토크나이저, H3-옴니 트랜스포머 등 새로운 구조가 주목받고 있다. 특히 H3-VAE 토크나이저는 압축 효율을 크게 개선하여, 동일한 연산량으로 이전보다 네 배 긴 시퀀스를 처리할 수 있도록 했다. 이를 통해 H3는 별도의 초해상도 모델 없이도 2K 해상도를 기본 지원할 수 있게 되었다.

영상 품질 향상 측면에서도 H3는 기존의 업스케일링 방식 대신 컨텍스트 내 재생성 접근 방식을 채택하였다. 이 방식은 저해상도 영상을 재생성하면서 원래의 멀티모달 입력 정보를 재활용하여 더욱 정밀한 이미지 복원이 가능하다는 장점을 가지고 있다. 이러한 기술적 발전은 H3의 전반적인 성능을 크게 끌어올렸다.

시장에서의 경쟁력

H3는 이미 다양한 벤치마크에서 뛰어난 성능을 입증했다. 아티피셜 애널리시스의 평가에 따르면, H3는 영상 편집 부문에서 세계 1위를 기록했으며, 텍스트 기반 영상 생성 부문에서는 2위, 이미지 기반 영상 생성 부문에서는 3위를 차지했다. 이러한 성과는 H3가 바이트댄스의 시댄스와 경쟁할 수 있는 충분한 잠재력을 지니고 있음을 보여준다.

미니맥스는 H3의 모델 가중치를 오픈웨이트 형식으로 공개할 계획이며, 연 매출 2000만 달러 미만의 기업들은 일정한 조건 하에 이 모델을 상업적으로 활용할 수 있도록 허용할 예정이다. 이는 중소기업이나 스타트업에게도 접근 가능한 AI 솔루션을 제공함으로써, 다양한 창작 환경에서 H3의 활용도를 높일 것으로 기대된다.

결론

미니맥스의 H3는 멀티모달 AI 영상 생성 기술의 발전을 상징하는 모델로, 다양한 분야에서의 활용 가능성이 무궁무진하다. 텍스트, 이미지, 영상, 오디오를 하나의 통합된 모델로 처리할 수 있는 H3의 출시는 콘텐츠 제작 방식에 혁신을 가져올 것으로 예상되며, 앞으로의 시장 전망도 밝다. 이 모델이 향후 어떤 방식으로 발전해 나갈지, 그리고 실제 콘텐츠 제작 현장에서 어떤 변화를 이끌어낼지 주목해야 할 시점이다.