KT, AI 모델 라우팅 기술로 글로벌 2위…“기업 AX 지원”

KT가 최근 AI 모델 라우팅 기술로 글로벌 평가에서 2위를 차지하며 주목을 받고 있다. 이 기술은 기업의 업무 효율성을 높이는 데 크게 기여할 것으로 기대되고 있으며, 특히 '토큰 팩토리'와 같은 에이전틱 AI 서비스에 통합되어 기업들이 운영 비용을 최적화하는 데 도움을 줄 예정이다.

AI 모델 라우팅 기술의 혁신

KT의 AI 모델 라우팅 기술인 '오토모델라우터(AutoModelRouter)'는 다양한 AI 모델 중에서 사용자의 요청에 가장 적합한 모델을 자동으로 선택하는 기능을 갖추고 있다. 이 기술은 요청의 유형, 난이도, 지식 분야를 분석하여 해당 요청을 처리할 최적의 모델을 판별한다. 또한, 모델별 응답 품질과 이용 비용을 고려하여 라우팅 정책을 설정함으로써 기업이 원하는 성과를 달성하는 데 도움을 준다.

특히, 단순히 성능이 뛰어난 모델이나 저렴한 모델을 선택하는 것이 아니라, 기업이 설정한 목표 품질에 맞춰 비용 효율성을 극대화하는 방향으로 모델을 선택하는 점이 이 기술의 큰 장점이다. 이를 통해 기업들은 여러 AI 모델을 비교하는 번거로움 없이 AI 운영 환경을 더욱 효율적으로 구성할 수 있게 된다.

국제 평가에서의 성과

KT의 오토모델라우터는 미국 라이스대학교 연구진이 개발한 LLM 라우터 평가 플랫폼인 '라우터 아레나(RouterArena)'에서 종합 2위를 기록했다. 이 플랫폼은 AI 라우터의 응답 정확도, 비용 효율성, 그리고 입력 변화에 대한 견고성을 평가하는 데 중점을 두고 있다. 8400개의 질의를 바탕으로 한 이 평가에서 오토모델라우터는 'KT-모델라우터(KT-ModelRouter)'라는 이름으로 등재되었으며, 'Acc-Cost Arena' 기준으로 2위를 차지하는 성과를 올렸다.

이러한 결과는 KT가 제공하는 AI 모델 라우팅 기술의 경쟁력을 입증하며, 고객들이 요구하는 품질과 비용을 동시에 충족할 수 있는 능력을 갖추었음을 보여준다. 공개 리더보드에는 학계의 다양한 연구 결과물뿐만 아니라 마이크로소프트의 애저 모델 라우터와 같은 상용 기술들도 포함되어 있어 KT의 성과는 더욱 의미가 깊다.

기업에 대한 실질적 지원

KT는 오토모델라우터를 통해 기업 고객의 AI 도입과 AX(Artificial Experience) 전환을 더욱 원활하게 지원할 계획이다. 김준석 KT 에이전틱 AI 랩장은 "오토모델라우터는 AI 오케스트레이션 역량을 구현한 기술로, 토큰 팩토리를 비롯한 KT의 에이전틱 AI 서비스 경쟁력을 뒷받침하는 핵심 기술이 될 것"이라고 강조했다.

앞으로 KT는 라우팅 기술의 고도화를 지속하고, 새로운 AI 모델을 유연하게 추가할 수 있는 멀티모델 운영 환경을 구축하여 기업들의 AI 활용을 더욱 확장해 나갈 예정이다. 이는 기업들이 AI 기술을 통해 경쟁력을 강화하고, 운영 비용을 절감하는 데 큰 도움이 될 것으로 기대된다.

KT의 이번 성과는 단순한 기술 개발을 넘어, 기업들이 AI를 통해 실질적인 혜택을 누릴 수 있는 기반을 마련하는 데 중요한 계기가 될 것이다. AI 기술의 발전과 함께 앞으로 더 많은 기업들이 이러한 혁신을 바탕으로 성장할 수 있기를 기대해 본다.