바이트댄스, 전이중 AI '시드리얼타임' 출시..."실시간 멀티모달 모델"

바이트댄스가 새로운 AI 모델 '시드리얼타임(SeedRealtime)'을 선보이며 음성, 영상, 텍스트를 동시에 처리할 수 있는 전이중 멀티모달 대형언어모델(LLM) 분야에 혁신을 가져왔습니다. 이 모델은 기존의 음성 인식 AI가 질문과 답변을 순차적으로 처리하던 방식에서 한 발 나아가, 능동적으로 환경을 이해하고 적절한 시점에 대화에 참여하는 새로운 형태의 AI를 구현했습니다. 바이트댄스는 5일(현지시간) 이 모델이 어떻게 통합 아키텍처를 기반으로 실시간 상호작용을 가능하게 하는지에 대해 자세히 설명했습니다.

실시간 멀티모달 상호작용의 진화

시드리얼타임은 음성, 영상, 텍스트를 처리하는 방식을 혁신적으로 변화시킵니다. 기존의 캐스케이드 방식은 개별적으로 음성 인식(ASR), 비전언어모델(VLM), 음성합성(TTS)을 연결하여 정보를 처리하였지만, 시드리얼타임은 이를 하나의 엔드투엔드 모델에 통합해 인식과 이해, 추론, 응답을 병렬로 수행할 수 있습니다. 이로 인해 지연시간과 정보 손실을 최소화했으며, 더욱 자연스러운 사용자 경험을 제공합니다.

이 모델의 핵심 기술은 세 가지로 요약될 수 있습니다. 첫째, 음성과 영상을 동시에 이해하는 공동 멀티모달 인식 기능입니다. 이는 영상 정보를 분석하여 동음이의어를 구분하거나 지시어가 가리키는 대상을 명확히 파악할 수 있도록 돕습니다. 둘째, 상황 변화에 맞춰 먼저 개입하는 능동형 상호작용입니다. 사용자가 특정 전시물을 요청하면, 카메라를 통해 지속적으로 모니터링하며 실시간으로 정보를 제공하는 방식입니다. 셋째, 사람과 유사한 대화 타이밍 제어 기능으로, 이는 주변 소음이나 여러 사람의 대화 속에서도 적절한 순간에만 자연스럽게 반응하게 합니다.

혁신적인 사례와 활용 방안

바이트댄스는 시드리얼타임의 다양한 활용 사례를 제시하며 이 모델의 잠재력을 강조했습니다. 예를 들어, 여러 사람이 함께 대화하는 자리에서는 각 인물의 발언을 얼굴과 목소리로 구분하여 보다 정확한 대화가 가능하게 했습니다. 또한, 중국의 식당에서는 메뉴를 실시간으로 인식하여 다양한 언어로 설명하고, 음식의 문화적 배경까지 전달했습니다. 공항에서도 이전에 확인한 출발 정보를 기억해 항공편 도착 시간을 안내하고, 수하물 수취대의 위치정보까지 제공하는 등 사용자의 편의를 극대화했습니다.

바이트댄스는 시드리얼타임이 이미 자사의 서비스에 통합되어 전 세계적으로 상용화되었다고 밝혔습니다. 이를 통해 업계 최초로 시청각 기반의 전이중 AI를 대규모로 배포하며, 향후 더 나은 성능과 기능을 제공할 계획을 세우고 있습니다.

향후 전망

바이트댄스의 시드리얼타임은 단순한 대화 AI를 넘어, 실제 업무를 수행하는 멀티모달 AI 에이전트로 발전할 가능성을 지니고 있습니다. 향후 응답 지연 시간을 줄이고 다중 화자 환경에서의 인식 성능을 강화하는 한편, 예약이나 검색 등의 외부 도구 호출 기능을 강화하여 사용자가 원하는 작업을 더욱 효율적으로 수행할 수 있도록 할 것입니다. 이러한 발전이 이루어진다면, 우리의 일상생활에서 AI와의 상호작용은 더욱 자연스럽고 원활해질 것입니다.