실무 분석 에이전트 벤치마크 ‘AA-애널리스트에이전트’ 공개…'클로드 오퍼스 5' 1위

AI 모델의 분석 능력을 평가하는 새로운 벤치마크, ‘AA-애널리스트에이전트’가 세상에 공개됐다. 아티피셜 애널리시스(AA)는 11일 현지 시간으로 이 혁신적인 평가 시스템을 발표하며, 다양한 분야에서 AI가 분석가 역할을 얼마나 효과적으로 수행할 수 있는지를 측정하고자 한다. 특히 이번 벤치마크는 단순한 정량적 계산을 넘어, 실제 분석 업무에 매우 가까운 환경을 구현한 것이 특징이다.

새로운 벤치마크의 필요성

AI 기술이 날로 발전하면서, 기업과 연구 현장에서의 활용도 증가하고 있다. 하지만 AI가 실제 분석업무를 얼마나 안정적으로 수행할 수 있는지에 대한 평가 기준은 여전히 부족한 실정이다. 기존의 벤치마크는 단순히 정답을 맞히는 능력에 초점을 맞추었으나, AA-애널리스트에이전트는 자료 해석, 전문적 판단, 반복 신뢰성 등 실제 분석가가 수행해야 할 다각적인 능력을 평가하는 방향으로 설계되었다.

이번 벤치마크는 의료, 무역, 환경 등 14개 비즈니스와 과학 분야의 80개 문제로 구성되어 있으며, 5개 주요 영역으로 나뉜다. 이는 자료 검색 및 진단, 필터링과 합계 계산, 비율 및 추세 분석, 손익계산서 모델링, 그리고 현금 흐름 및 기업 가치 평가 모델링 등으로 구분된다. 특히 AI 모델의 일관성을 평가하기 위해, 각 과제를 독립적으로 5회 수행하도록 한 후 모두 정답을 맞혀야 통과하는 ‘pass^5’ 기준이 도입되어, 보다 엄격한 평가를 가능하게 했다.

AI 모델의 성과와 한계

첫 번째 평가 결과, ‘클로드 오퍼스 5’가 pass^5 기준으로 54%의 성공률을 기록하며 1위에 올랐다. 이어서 ‘GPT-5.5’가 50%로 2위, ‘페이블 5’가 49%로 3위를 차지했다. 이들 상위 3개 모델은 80개 과제 중 불과 3개 과제에서의 정답 차이에 불과해, 그 경쟁이 치열함을 보여준다. 특히, 클로드 오퍼스 5는 반복적으로 정확한 답변을 내는 데 있어 가장 높은 성과를 보였다.

그러나 AI 모델의 한계도 드러났다. 분석가가 자주 겪는 문제 중 하나인 '잘못된 초기 가설에 대한 앵커링'이 57%의 실패 사례로 나타났다. 이는 초기 단계에서 잘못된 가설을 설정한 후 이를 고수하는 경향을 나타내며, AI 모델이 마주할 수 있는 심각한 문제로 지적되고 있다. 각 모델의 약점도 달라, 예를 들어 제미나이 3.1 프로 프리뷰는 자료 수용에는 강했지만, 모델링 과정에서 오류를 범하는 경우가 잦았다.

향후 AI 분석의 방향

‘AA-애널리스트에이전트’는 단순히 AI의 문제 해결 능력을 평가하는 데 그치지 않고, 반복 가능한 신뢰성 있는 결과를 중시하는 평가 시스템으로 자리잡을 전망이다. 이를 통해 기업과 연구 기관은 보다 정확하고 신뢰할 수 있는 AI 분석 도구를 선택할 수 있을 것으로 기대된다.

AI 기술의 발전이 지속됨에 따라, 이번 벤치마크는 기업들이 AI를 활용한 분석 업무를 보다 체계적이고 신뢰성 있게 수행할 수 있도록 도와줄 중요한 이정표가 될 것이다. 향후 AI 분석가의 역할에 대한 새로운 기준을 제시하며, AI와 인공지능 분석의 융합이 얼마나 큰 변화를 가져올 수 있을지 주목된다.