아티피셜 애널리시스 평가 체제 개편...'아스트라' 공동 1위로 상승

AI 모델의 성능을 평가하는 새로운 기준이 등장했다. 아티피셜 애널리시스(Artificial Analysis)는 최근 발표한 '지능 지수(AAII)'의 개편을 통해 실제 업무 환경을 보다 충실히 반영한 평가 체계를 구축했다. 이에 따라 기존 평가에서 5위에 머물렀던 'GPT-6 아스트라'가 공동 1위로 올라서는 등 AI 모델 간 순위 변화가 두드러지게 나타났다.

지능 지수 개편의 배경과 변화

아티피셜 애널리시스는 6일(현지시간) '지능 지수 v4.2'를 공개하며 AI 모델 성능 평가의 새로운 기준을 제시했다. 이 새로운 평가 방식은 기존의 단순한 벤치마크 방식에서 벗어나 장기 에이전트 작업에 중점을 두고 있다. 기존의 모델들은 특정 데이터에 대한 편향이나 '게이밍(gaming)' 가능성으로 인해 신뢰성이 낮았던 반면, 이번 개편은 비공식 테스트셋을 활용해 보다 객관적으로 성능을 측정할 수 있도록 했다.

특히 주목할 만한 점은 'AA-브리프케이스(Breifcase)'라는 새로운 평가 방식의 도입이다. 이 시스템은 AI가 실제 프로젝트 형태의 복잡한 작업을 얼마나 효율적으로 수행하는지를 평가하며, 여러 하위 과제를 동시에 처리하고 대량의 입력 문서를 검토하는 능력을 측정한다. 이는 단순한 질문과 응답 형식의 기존 벤치마크와는 근본적으로 다른 접근 방식으로, 실제 기업 환경에 가까운 평가를 구현하게 되었다.

장기적인 업무 수행 능력 평가

이번 개편의 핵심은 AI 모델들이 실제 업무에서 수행해야 할 지식 노동을 정밀하게 평가하는 것이다. 새롭게 추가된 'GDP.pdf' 평가는 AI 모델이 수백 페이지에 이르는 대규모 문서를 효과적으로 분석하고, 필요한 정보를 찾아낼 수 있는지를 측정한다. 이는 단순히 긴 문맥을 입력할 수 있는지를 판단하는 것이 아니라, 실질적인 업무 환경에서 발생하는 복잡한 문제 해결 능력을 중시한다.

이러한 평가 방식의 변화는 AI 모델 간 순위에도 큰 영향을 미쳤다. 'GPT-6 아스트라'는 기존의 61점에서 53점으로 상승해 '클로드 페이블 5.1'과 공동 1위를 기록했다. 일부 사용자들은 아스트라의 실제 성능에 비해 AAII 순위가 낮다는 점을 지적하기도 했다. 그러나, 이처럼 새로운 평가 체계는 AI 모델의 진정한 성능을 보다 정확히 반영할 수 있는 기초를 마련했다.

향후 전망과 의미

아티피셜 애널리시스는 아직 끝나지 않은 변화의 시작을 알리고 있다. 최근 '지능 지수 v4.3'을 통해 코딩 에이전트의 난도를 높이고, 새로운 업무 자동화 벤치마크인 '오토메이션벤치-AA'도 추가했다. 이러한 지속적인 업데이트는 AI 모델들이 실질적인 업무 환경에서 더 나은 성과를 낼 수 있도록 도와줄 것이다.

AI 기술의 발전이 가속화됨에 따라, 이러한 평가 체계의 개편은 앞으로의 AI 모델 개발 및 연구에 있어 중요한 이정표가 될 것으로 기대된다. 기업들은 새로운 평가 기준을 통해 AI 모델을 보다 효과적으로 선택하고, 이를 업무에 통합함으로써 생산성 향상과 혁신을 이끌어낼 수 있을 것이다.