무라티의 TML, 실시간 답변 멀티모달 모델 공개..."응답 지연 0.4초 벽 깨뜨려"

AI 기술의 진화는 이제 단순한 대화의 경계를 넘어 실시간 상호작용으로 나아가고 있습니다. 미라 무라티 전 오픈AI CTO가 이끄는 싱킹 머신즈 랩스(TML)는 최근 ‘인터랙션 모델(Interaction Models)’이라는 새로운 AI 아키텍처를 공개하며, 인간과 AI 간의 소통 방식을 혁신적으로 변화시킬 기술을 선보였습니다. 이 모델은 특히 응답 지연 시간을 0.4초로 단축하며, 기존의 ‘턴(turn) 기반’ 대화 방식에서 벗어나 실시간으로 소통할 수 있는 가능성을 제시합니다.

실시간 상호작용의 새로운 패러다임

TML의 인터랙션 모델은 기존 AI 시스템들이 갖고 있던 한계를 극복하기 위해 설계되었습니다. 대다수의 AI는 사용자의 질문이 끝날 때까지 기다린 후에야 응답을 생성하는 방식인데, 이는 인간과의 자연스러운 대화를 방해하는 요소로 작용해 왔습니다. TML은 이러한 문제를 해결하기 위해 ‘멀티 스트림·마이크로 턴(multi-stream, micro-turn)’ 구조를 도입했습니다. 이 구조는 사용자 입력과 AI의 출력을 동시에 처리할 수 있어, AI가 사용자가 말을 하는 도중에도 즉각적으로 반응할 수 있도록 만들어줍니다.

이러한 기술적 혁신 덕분에 AI는 사용자의 음성과 영상 신호를 실시간으로 분석하고, 다양한 상황에 적절하게 개입할 수 있습니다. 예를 들어, 사용자가 코딩을 하면서 발생한 버그를 즉시 지적하거나, 화상 회의에서 새로운 인물이 등장했을 때 이를 인식하고 반응하는 방식입니다.

인공지능의 학습 방식 혁신

TML의 인터랙션 모델은 기존 음성 인식 모델을 사용하지 않고, 원시 오디오 신호와 이미지 패치를 바로 경량 임베딩 계층에 입력하여 트랜스포머 내부에서 공동 학습(co-training)하는 ‘인코더 없는 초기 융합(encoder-free early fusion)’ 구조를 활용하고 있습니다. 이번 연구에서 소개된 ‘TML-인터랙션-스몰(TML-Interaction-Small)’ 모델은 2760억 개의 매개변수를 기반으로 하며, 이중 120억 개의 매개변수가 실제 활성화되는 방식으로 운영됩니다.

이 모델은 사용자가 질문을 하는 동시에 복잡한 작업을 수행할 수 있도록 두 가지 구조를 도입했습니다. ‘인터랙션 모델’은 사용자와의 대화를 지속적으로 이어가며 즉각적인 반응을 담당하고, 이를 보조하는 ‘백그라운드 모델’은 비동기적으로 웹 검색이나 복잡한 도구 호출을 수행하여 결과를 인터랙션 모델에 전달합니다. 이를 통해 AI는 사용자와의 대화를 유지하면서도 번역, 데이터 분석, 차트 생성 같은 복합 작업을 동시에 처리할 수 있게 되었습니다.

다양한 분야에서의 활용 가능성

이번 인터랙션 모델의 성능 평가에서는 평균 턴 응답 지연 시간이 0.40초로 나타났습니다. 이는 경쟁 모델인 제미나이 3.1 플래시 라이브의 0.57초, GPT-리얼타임-2.0 미니멀의 1.18초보다 현저히 빠른 수준입니다. 특히 AI가 실시간으로 반복 동작을 세거나 상황 변화에 반응하는 능력은 다른 모델들과의 차별성을 보여줍니다. 예를 들어, 제조 공장에서 안전 위반이나 공정 이상이 감지되었을 때 즉각적인 경고를 보내는 시스템으로 활용될 수 있으며, 콜센터 분야에서도 대화의 자연스러움을 높이는 데 기여할 수 있습니다.

TML은 현재 이 인터랙션 모델을 일반 사용자와 기업에 공개하지 않고 있으며, 향후 몇 개월 내에 제한적인 연구 프리뷰를 시작할 예정입니다. 올해 안에 광범위한 공개를 목표로 하고 있다는 점에서, 앞으로의 발전 방향과 실제 적용 사례들이 기대됩니다.

AI의 실시간 반응 능력이 강화됨에 따라, 우리는 보다 자연스럽고 효율적인 상호작용을 기대할 수 있게 되었습니다. 이러한 변화는 단순히 기술의 진화를 넘어, 우리가 AI와 소통하는 방식 자체를 혁신적으로 변화시킬 것입니다.