서강대 연구팀, 수능 수학으로 독파모 평가…"솔라 프로 4 1위"

서강대학교 연구팀의 최근 연구에 따르면, 업스테이지의 AI 모델 '솔라 프로 4'가 2026학년도 대학수학능력시험 수학영역에서 독자 파운데이션 모델 중 가장 높은 성적을 기록한 것으로 나타났습니다. 그러나 이 모델이 문샷 AI의 '키미 K3'와 비교했을 때는 전반적인 정확도와 안정성에서 뒤처진다는 분석이 나왔습니다. 이번 연구는 AI 모델의 수학 문제 해결 능력을 평가하기 위해 진행되었으며, 다양한 모델 간의 성능 차이를 면밀히 분석한 결과입니다.

서강대 연구팀의 독창적인 평가

이번 연구를 주도한 서강대학교 수학과의 김종락 교수 연구팀은 정부 지원을 통해 개발된 AI 모델의 성능을 평가하기 위해 2026학년도 수능 수학영역의 문제를 기준으로 삼았습니다. 평가에는 업스테이지의 '솔라 프로 4', LG AI연구원의 'K-엑사원 2.0', 모티프테크놀로지스의 '모티프 3' 등 여러 모델이 포함되었습니다. 이들은 공통적으로 46개 문항을 영어로 번역한 후 세 차례 독립적으로 문제에 답하도록 하여 각 모델의 정확도(Accuracy)와 패스@3(Pass@3) 비율을 측정했습니다.

결과적으로, '키미 K3'는 각각 92.0%와 95.7%의 정확도를 기록하며 가장 높은 성적을 보였고, '솔라 프로 4'는 각각 77.5%와 84.8%로 뒤를 이었습니다. 특히, 키미 K3는 문제를 반복적으로 풀 때의 안정성에서도 월등한 성과를 보이며, 가장 낮은 오차율을 기록했습니다. 반면, 모티프 3는 정확도와 반복성 간의 격차가 크게 벌어져 안정성이 부족하다는 평가를 받았습니다.

AI 모델 평가의 한계와 고려사항

연구팀은 이번 평가의 한계를 명확히 강조했습니다. 모델 간 비교는 여러 환경적 요인으로 인해 단순하게 우열을 가릴 수 없다는 것입니다. 예를 들어, 각각의 모델이 사용한 API와 실행 환경이 달라 성능 평가에 영향을 미쳤다는 설명입니다. 또한, '키미 K3'는 2조 8000억 개의 파라미터를 가진 대규모 모델로, 다른 모델들과 동일한 기준으로 비교하기 어렵다는 점도 지적했습니다.

김 교수는 "이번 평가는 특정 기업의 순위를 매기기 위한 것이 아니라, 각 모델의 강점과 취약점을 분석해 독자 AI의 발전 방향을 모색하기 위한 것"이라고 말하며, 지속적인 성능 평가와 공개의 필요성을 강조했습니다. 이는 AI 기술이 단지 성적을 높이는 것을 넘어, 실제 문제 해결 능력을 향상시키기 위한 필수적인 과정입니다.

향후 AI 기술의 발전 방향

이번 연구는 AI 모델의 수학적 문제 해결 능력에 대한 중요한 통찰을 제공함으로써, 향후 AI 기술 발전에 기여할 것으로 기대됩니다. 서강대 연구팀은 이러한 평가 결과를 토대로 AI 모델이 나아가야 할 방향을 지속적으로 제시할 계획입니다. 앞으로 AI가 교육 분야에서 어떻게 활용될 수 있을지, 그리고 모델 간의 성능 차이를 줄이기 위해 어떤 노력이 필요한지에 대한 논의가 더욱 활발해질 것으로 예상됩니다. AI가 우리 사회의 다양한 문제를 해결하는 데 중요한 역할을 할 수 있도록, 연구자와 개발자들의 지속적인 협력이 필요합니다.