엔비디아, 전이중 음성 AI에 도구 호출 이식... '네모트론랩스 보이스챗 11B' 오픈 공개

최근 음성 AI 기술의 새로운 패러다임이 열리고 있다. 엔비디아가 전이중(Full-Duplex) 음성 AI 모델을 공개하면서, 사용자와의 자연스러운 상호작용을 한층 끌어올리는 데 성공했다. 이 모델은 특히 대화 중 외부 API를 호출할 수 있는 기능을 내장하고 있어, 실시간 음성 대화의 질을 크게 향상시킬 것으로 기대된다.

네모트론랩스 보이스챗 11B: 혁신을 담다

엔비디아는 3일(현지시간) 110억 개의 매개변수를 지닌 '네모트론랩스 보이스챗 11B(NemotronLabs VoiceChat 11B)'를 공개했다. 이 모델은 허깅페이스를 통해 오픈웨이트 형태로 제공되며, 음성 기반 AI 에이전트를 개발하는 데 큰 이점을 제공할 전망이다. 기존의 음성 비서는 사용자가 말을 끝낼 때까지 기다린 후에야 반응을 해왔지만, 네모트론랩스 보이스챗 11B는 대화 도중에도 사용자의 발화를 받아들일 수 있는 '끼어들기(Barge-in)' 기능을 제공한다. 이를 통해 자연스러운 대화 흐름을 유지할 수 있다.

그동안의 음성 AI 시스템은 사용자의 음성을 ASR(자동 음성 인식)로 텍스트로 변환한 후, LLM(대형 언어 모델)을 통해 답변을 생성하는 복잡한 구조를 가지고 있었다. 이런 방식은 지연시간을 초래하고, 대화 중 사용자의 말을 제대로 듣지 못하는 한계를 지니고 있었다. 하지만 네모트론랩스 보이스챗 11B는 스트리밍 네트워크로 이러한 구조를 통합하여 빠른 음성 처리를 가능하게 했다. 새로 개발된 '패스트 컨포머(Fast Conformer)' 음성 인코더는 16kHz의 음성을 신속하게 처리하고, 고도화된 트랜스포머 백본과 TTS(음성 합성) 디코더가 결합되어 실시간으로 응답을 생성한다.

도구 호출 기능: 대화의 혁신을 가져오다

특히 눈에 띄는 점은 이 모델이 전이중 음성 AI 시스템 최초로 도구 호출 기능을 지원한다는 사실이다. 사용자가 음성으로 정보 요청을 하면, 모델이 대화 흐름을 유지하며 외부 API나 기능을 호출할 수 있다. 예를 들어, 사용자가 날씨 정보를 요청하면, 모델이 필요한 데이터를 찾고 그 결과를 즉시 음성으로 응답하는 방식이다. 이런 기능 덕분에 대화가 중단되는 느낌을 줄이고, 사용자 경험을 더욱 원활하게 개선할 수 있다.

엔비디아의 평가에 따르면 이 모델은 자연스러운 턴테이킹 지연시간이 약 448밀리초에 불과하고, 사용자가 중간에 끼어들었을 때도 약 480밀리초의 빠른 반응을 보여준다. 이는 사람 간의 대화에서 느끼는 상호작용 흐름과 유사한 수준으로, 그동안의 음성 AI가 가지고 있던 한계를 극복하는 데 기여할 것으로 보인다. 그러나 도구 호출 성능에 대한 개선이 필요하다. 초기 도구 선택 정확도는 82.5%였지만, 인자를 올바르게 입력하는 비율은 44.2%에 그쳤다.

향후 전망: AI 대화의 새로운 장을 열다

이번 엔비디아의 네모트론랩스 보이스챗 11B는 음성 AI의 혁신적인 변화를 예고하고 있다. 특히 오픈웨이트 모델로서 연구자들이 직접 모델 가중치를 다운로드하여 자신들의 데이터에 맞춰 추가 학습할 수 있는 점은 큰 장점이다. 이는 기업이 자신의 요구에 맞는 맞춤형 AI를 개발할 수 있는 기회를 제공할 것이다.

엔비디아는 앞으로 더 발전된 모델인 '네모트론 3 보이스챗'을 준비하고 있으며, 이는 더욱 빠른 음성 처리와 낮은 지연시간을 목표로 하고 있다. 음성 AI가 우리 일상에 더욱 깊숙이 스며드는 시대가 곧 올 것으로 보인다. 엔비디아의 이번 발표는 그러한 변화의 시작을 알리는 신호탄이 될 것이다.