지니젠AI, 오픈라우터 426종 분석 '한국어 AI 품질 리더보드' 공개

지니젠AI가 한국어 AI 품질 리더보드를 공개하면서 국내 AI 모델의 성능 평가에 새로운 기준을 제시했다. 17일, 지니젠AI는 글로벌 AI 모델 중개 플랫폼인 오픈라우터에서 426종의 모델을 분석한 결과를 허깅페이스에 담아 발표했다. 이번 리더보드는 한국어 AI 모델의 품질을 평가하기 위한 독립적인 지표로 자리 잡을 전망이다.

다양한 AI 모델의 평가 기준

지니젠AI는 오픈라우터에 등록된 다양한 AI 모델 중 330종을 선정해 7개 항목으로 평가했다. 이 항목들은 높임말 정확도, 한국 제도 지식, 전문 용어 처리, 지시 준수, 요약 능력, 번역투 배제, 문체 일관성 등으로 구성되어 있다. 이 평가를 통해 확인된 바에 따르면, 종합 A등급 이상을 기록한 모델은 총 7.6%에 불과했으며, F등급을 받은 모델은 무려 33.6%에 달했다. 특히 자연스러운 문장 구성이 이루어졌더라도 존칭 사용이나 업무 관련 정보의 정확성에서는 많은 오류가 발견됐다. 이러한 결과는 한국어 AI 모델의 품질이 여전히 개선될 여지가 많음을 시사한다.

지니젠AI의 최선영 대표는 "AI 모델의 성능은 단순히 출시 시점이나 영어권 기준만으로 판단할 수 없다"며, 한국어 사용자들에게 맞춤형 평가가 필요하다고 강조했다. 특히, 동일한 모델이라도 제공하는 사업자에 따라 가격 차이가 최대 14배까지 벌어질 수 있다는 점은, 모델 선택에 있어 신중함이 요구된다는 것을 보여준다.

공정한 평가를 위한 노력

이번 리더보드는 평가의 공정성을 확보하기 위해 주체와 대상을 은폐하는 방식을 채택했다. 또한, 응답 속도는 유료 API를 통해 직접 측정하여 데이터의 정확성을 높였다. 이는 소비자들이 AI 모델을 선택할 때 보다 신뢰할 수 있는 정보를 제공하기 위한 노력의 일환이다. 지니젠AI는 앞으로도 AI 모델 개발사인 비드래프트와 협력하여 글로벌 다운로드 리더보드와 한국어 품질 평가를 병행할 예정이다. 해당 협력 관계는 서로의 강점을 살리고, 더 나은 평가 결과를 도출하기 위한 전략적 접근으로 풀이된다.

리더보드는 매일 오전 8시에 자동으로 갱신되며, 다양한 언어와 통화 지원 기능을 통해 사용자 편의성을 높이고 있다. 이용자들은 최대 4개 모델의 상세 항목을 비교할 수 있으며, 데이터를 공개 API로 다운로드할 수 있는 기능도 제공된다.

향후 전망

지니젠AI의 이번 발표는 한국어 AI 모델의 품질 향상을 위한 중요한 이정표가 될 것으로 보인다. AI 기술이 급속도로 발전하고 있는 가운데, 한국어에 대한 전문적인 평가 기준이 마련됨으로써 기업과 연구자들은 더욱 신뢰할 수 있는 데이터 기반의 의사결정을 할 수 있을 것이다. 이러한 움직임은 한국어 AI 생태계의 발전뿐만 아니라, 글로벌 시장에서의 경쟁력 향상에도 크게 기여할 것으로 기대된다.