텐센트, 음성 생성·편집 모델 'AuK' 공개..."오디오용 나노바나나"

텐센트가 새로운 음성 생성 및 편집 모델 'AuK'를 공개하며 음성 기술 분야의 혁신을 알렸다. 이 모델은 사용자가 텍스트만 입력해도 자연스럽게 음성을 생성할 수 있을 뿐만 아니라, 기존 음성의 감정이나 억양까지 조정할 수 있는 통합 솔루션이다. 텐센트는 이 모델을 '오디오용 나노바나나(Nano Banana for Audio)'라는 이름으로 부르며, 강력한 음성 기술의 새로운 시대를 열고자 한다.

통합된 음성 처리 기능

AuK는 음성 생성과 편집을 하나의 모델에서 처리할 수 있도록 설계되었다. 이를 통해 사용자는 음성 콘텐츠를 더 간편하게 다룰 수 있게 된다. 기존에는 음성을 생성하는 모델과 편집하는 모델이 따로 있었지만, AuK는 이를 통합하여 사용자가 자연어 지시를 통해 원하는 음성을 손쉽게 생성하고 수정할 수 있도록 했다. 예를 들어, 사용자가 원하는 목소리의 참조 음성을 제공하면, AuK는 이를 기반으로 새로운 문장을 생성할 수 있다. 또한, 음성의 특정 부분만 수정하거나 다른 스타일로 변환하는 작업이 가능해졌다. 이는 음성 콘텐츠 제작의 효율성을 크게 향상시킬 것으로 기대된다.

고도화된 기술력

텐센트는 AuK의 모델 학습에 30억 3천만 개의 지시어와 195만 시간에 달하는 오디오 데이터를 사용했다. 이렇게 대규모 데이터셋을 활용하여 음성 생성, 편집, 음향 처리 등 다양한 기능을 지원하는 모델을 개발했다. 특히, 이 모델은 사람의 선호도를 반영하는 강화 학습 기법을 적용해 자연스러운 음성을 생성하고, 지시어를 따르는 능력을 높였다. 음성의 속도와 음높이 조절, 특정 억양 제거 등 다양한 편집 기능이 추가되어 사용자는 원하는 대로 음성을 조정할 수 있다.

더불어, 텐센트는 AuK의 경량화 버전인 'AuK-플래시(Flash)'도 함께 공개했다. 이 모델은 기존 AuK의 성능을 유지하면서도 음성을 4.5배 더 빠르게 생성할 수 있도록 최적화되어 있다. 빠른 추론 속도와 높은 품질을 동시에 갖춘 AuK-플래시는 개발자와 연구자들에게 더욱 큰 활용 가능성을 제공할 것으로 보인다.

향후 전망

텐센트의 AuK 모델은 단순한 음성 생성 도구를 넘어, 음성 편집 및 콘텐츠 제작의 새로운 패러다임을 제시하고 있다. 사용자는 자연어 지시를 통해 복잡한 음성 작업을 간편하게 수행할 수 있게 되며, 이는 다양한 산업 분야에서 혁신적인 변화를 가져올 전망이다. 특히, 오디오 콘텐츠의 제작과 편집이 용이해짐에 따라 교육, 방송, 게임 등 여러 분야에서의 활용이 기대된다. 텐센트의 AuK는 음성 기술의 미래를 한층 더 발전시키는 기틀이 될 것으로, 앞으로의 행보가 주목된다.