'작지만 강한' 업스테이지 솔라 미니 4, 수능 수학 정답·속도 다 잡아

서강대학교 수학과의 김종락 교수 연구팀이 업스테이지의 최신 경량 AI 모델인 '솔라 미니 4 프리뷰'의 성능을 평가한 결과, 수능 수학 문제 해결에서 뛰어난 정답률과 빠른 속도를 기록한 것으로 나타났다. 이 모델은 350억 개의 매개변수를 갖춘 소형 AI로, 시험 문제를 풀기 위한 효율성과 정확성을 동시에 갖춘 도구로 주목받고 있다.

경량 모델의 성능 검증

솔라 미니 4 프리뷰는 AI 수학 추론 평가 플랫폼인 '앤트로피매스'를 통해 수능 수학 평가에서의 성능을 검증받았다. 연구팀은 총 46개의 문제를 설정하고, 공통과목과 확률 및 통계, 미적분, 기하 분야에서 각 8문항을 포함해 테스트를 실시했다. 결과적으로 이 모델은 '패스앳3(Pass@3)'에서 93.5%라는 높은 정답률을 기록하며, 시도당 평균 소요 시간도 14.9초로 대조군에 비해 현저히 빨랐다.

특히, 솔라 미니 4는 기하 분야에서 54.2%의 정답률을 보였으나, 이는 다른 분야에 비해 낮은 수치였다. 연구팀은 이 모델이 복잡한 기하 문제를 해결하는 데 있어 더욱 개선이 필요하다고 언급했다. 그러나 기하 문제의 해결 과정에서 발생한 오류를 다음 호출에서 성공적으로 반영해 정답을 도출한 점은 인상적이다.

도구 활용 능력과 속도

솔라 미니 4 프리뷰는 단순한 정답 제공을 넘어, 실제 문제 해결 과정에서 도구를 효율적으로 활용하는 능력도 지니고 있다. 모델은 138회 시도 중 128회에서 파이썬 코드 호출과 실행에 성공, 정답과 실행 성공을 동시에 달성한 경우도 99회에 달했다. 이는 솔라 프로 4보다 8.7%포인트 높은 수치로, 실전형 에이전트 서비스에 적합한 성능을 보여준다.

속도 면에서도 솔라 미니 4는 뛰어난 성과를 보였다. 평균 소요 시간은 14.9초로, 대조군인 딥시크와 뮤즈, 솔라 프로 4에 비해 월등히 빠른 속도를 기록했다. 특히, 오래 걸린 문항의 영향을 최소화한 중앙값 기준으로도 4.5초로 가장 빠른 속도를 자랑했다. 이러한 성능은 AI 도구가 실제 상황에서 즉각적으로 응답해야 하는 환경에서 큰 장점으로 작용할 것으로 기대된다.

미래 전망

이번 연구 결과는 경량 AI 모델이 수능과 같은 복잡한 문제 해결에 있어 충분한 경쟁력을 지니고 있음을 보여준다. 특히, 솔라 미니 4는 더 빠르고 정확한 응답이 필요한 다양한 에이전트 서비스에 유용하게 활용될 수 있을 것이다. 향후 이러한 AI 모델들이 교육, 연구, 실무 등 다양한 분야에서 어떻게 발전하고 실용화될지 귀추가 주목된다. AI의 진화를 통해 더 많은 사람들에게 도움이 되는 혁신적인 도구로 자리매김할 것으로 기대된다.