독파모 평가 성적 전체 공개..."전문가·사용자 평가서 희비 갈려"

과학기술정보통신부가 최근 발표한 '독자 AI 파운데이션 모델'(독파모) 프로젝트의 2차 단계평가 결과가 업계에 큰 반향을 일으키고 있다. 이번 발표는 모티프테크놀로지스가 세부 점수 공개를 요청하면서 이뤄졌으며, 다양한 기업들이 참여한 가운데 평가 결과는 전문가와 사용자 간의 극명한 차이를 드러냈다.

평가 방식과 결과

이번 2차 단계평가는 세 가지 주요 분야로 나뉘어 진행됐다. 첫 번째는 AAII(아티피셜 애널리시스 인텔리전스) 글로벌 벤치마크, 두 번째는 전문가 평가, 세 번째는 사용자 평가로 구성됐다. 공개된 세부 점수에 따르면, 모티프는 AAII 벤치마크에서 25점 만점 중 11.9점을 기록하며 타 기업을 크게 앞섰지만, 전문가와 사용자 평가에서 저조한 성적을 받아 종합 순위에서 하위권으로 밀려났다.

AAII 벤치마크는 인공지능 모델의 성능을 평가하는 지표로, 모티프 외에도 업스테이지, SK텔레콤, LG AI연구원이 참가해 각각 9.4점, 8.8점, 7.8점을 기록했다. 반면, 한국지능정보사회진흥원(NIA) 벤치마크에서는 SK텔레콤이 13.4점으로 1위를 차지했으며, 모티프는 12.7점으로 가까스로 중위권에 자리했다.

전문가 및 사용자 평가

전문가 평가는 산학연 전문가 10명으로 구성된 평가단이 개발 전략, 성과, 파급 효과 등을 35점 만점 기준으로 심사한 결과, LG AI연구원이 29.5점으로 가장 높은 점수를 받았다. 반면, 모티프는 27.1점으로 상대적으로 낮은 평가를 받았다. 사용자 평가에서는 AI 전문 사용자와 일반 국민이 각각 15점과 10점 만점으로 채점했으며, 역시 모티프의 점수가 가장 낮았다.

사용자 평가에 참여한 49명의 AI 전문 사용자들은 모티프에 대해 8.4점을 주었고, 일반 국민 평가에서는 185명이 참여해 모티프는 5.7점을 기록했다. 이러한 결과는 AI 모델의 기술적 성능 이상으로 실제 사용자의 경험과 평가가 얼마나 중요한지를 단적으로 보여준다.

향후 전망과 의미

과기정통부는 이번 평가 결과를 통해 한국 AI 생태계의 발전을 기대한다고 밝혔다. 기업들은 단순한 점수나 순위에 집착하기보다는 자신의 역량을 바탕으로 국제 경쟁력을 높여야 할 시점에 직면했다. 전문가와 일반 사용자 간의 평가 차이는 향후 AI 모델의 개발 및 상용화 과정에서 중요한 참고자료가 될 것이다.

AI 기술이 급격히 발전하는 가운데, 지속적인 연구와 개발이 이루어져야 하며, 사용자와의 소통을 통해 실질적인 가치를 제공하는 것이 필수적이다. 이번 평가를 계기로 기업들이 더욱 경쟁력 있는 AI 모델을 개발하기 위한 새로운 도전을 이어가길 기대해본다.