알리바바, 대화 타이밍까지 판단하는 음성 AI ‘큐원-오디오-3.1-리얼타임’ 공개

알리바바가 새로운 음성 AI 모델을 공개했습니다. '큐원-오디오-3.1-리얼타임'이라는 이름을 가진 이 모델은 단순히 사용자의 음성을 인식하는 것을 넘어, 대화의 흐름을 이해하고 적절한 타이밍에 반응할 수 있는 능력을 갖추고 있습니다. 이로 인해 사람과의 대화에서 보다 자연스러운 상호작용을 가능하게 하며, 음성 AI의 새로운 기준을 제시하고 있습니다.

차세대 전이중 음성 기술

알리바바가 선보인 큐원-오디오-3.1은 전이중(Full-Duplex) 방식으로 작동합니다. 이는 AI가 사용자의 말을 듣는 동시에 주변 소음이나 다른 사람의 대화를 파악할 수 있는 기술입니다. 이러한 기능은 대화의 맥락을 더욱 풍부하게 만들어주며, 사용자는 중단 없이 자연스럽게 대화를 이어갈 수 있습니다. 특히, 이번 모델은 여러 사람이 동시에 대화하는 상황에서도 효과적으로 작동하며, 다국어 대화 지원 기능 역시 강화되었습니다.

이 모델의 학습 과정은 '생각하고, 행동하고, 말하고 조율하는' 세 단계로 나뉘어 있습니다. 첫 번째 단계인 '생각'에서는 음성을 텍스트로 변환하는 기존의 언어 모델을 넘어서서, 음성 자체에 대한 이해 능력을 키우는 데 중점을 두고 있습니다. 두 번째 단계인 '행동'에서는 실제 업무 환경과 유사한 시나리오에서 사용자가 요청하는 작업을 수행하는 방법을 학습합니다. 마지막으로 '말하고 조율하는' 단계에서는 대화 타이밍을 조절하는 능력을 배양하여, 사용자와의 대화 중 불필요하게 끼어드는 상황을 최소화합니다.

성능 개선 및 활용 가능성

알리바바는 큐원-오디오-3.1의 성능이 이전 모델인 큐원-오디오-3.0에 비해 크게 향상되었다고 자랑합니다. AI의 음성 기반 작업 성공률이 78.4%에서 82.0%로 증가했으며, 주변 대화에 잘못 반응하는 비율도 73.0%에서 13.0%로 감소했습니다. 이러한 성과는 다양한 음성 이해 성능 지표에서도 나타났으며, 다국어 지원 능력도 크게 개선되었습니다. 예를 들어, 14개 언어에서의 평균 성능이 81.7%에서 88.1%로 상승했습니다.

알리바바는 이 모델을 통해 고객 서비스나 업무용 시스템 등 다양한 분야에서 활용할 수 있는 가능성을 열어두었습니다. 사용자는 음성 AI를 통해 실시간으로 정보를 조회하거나 특정 작업을 수행한 뒤, 그 결과를 대화에 자연스럽게 반영할 수 있습니다. 이는 특히 고객응대나 자동화된 시스템에서의 활용성이 높아질 것으로 기대됩니다.

미래의 음성 AI와 알리바바의 전략

알리바바의 큐원-오디오-3.1은 단순한 음성 인식 모델을 넘어, 실제 대화에 가까운 상호작용을 구현하는 것을 목표로 하고 있습니다. 이번 모델은 음성과 텍스트를 입력하고 출력할 수 있는 관리형 API 형태로 제공되며, 다양한 기능을 지원합니다. 이는 기업들이 음성 AI를 통해 더 나은 고객 경험을 제공할 수 있는 기반이 될 것입니다.

향후 알리바바는 이 모델을 기반으로 더 많은 음성 AI 제품군을 확장할 계획이며, 실시간 음성 모델과 음성 합성, 음성 인식 서비스의 가격을 낮추어 더 많은 기업이 이러한 기술을 활용할 수 있도록 할 예정입니다. 음성 AI의 발전은 앞으로도 계속될 것이며, 알리바바는 이 분야에서의 선도적인 역할을 계속 이어갈 것으로 보입니다.