에포크 AI, 벤치마크 검증 착수..."15개 중 9개 결함"

AI 모델의 성능을 평가하는 기준인 '벤치마크'의 신뢰성에 대한 의문이 제기됐다. 최근 에포크 AI가 발표한 연구 결과에 따르면, 많은 벤치마크들이 시스템의 실제 성능을 제대로 반영하지 못하는 결함을 안고 있다는 것이다. 이 연구는 AI 평가의 투명성을 확보하기 위한 중요한 첫걸음으로, AI 업계의 큰 주목을 받고 있다.

벤치마크 검토의 필요성

AI 모델의 성능을 비교하기 위해 벤치마크가 광범위하게 사용되고 있지만, 그 자체의 신뢰성에 대한 점검은 소홀히 여겨져왔다. 에포크 AI는 18일(현지시간) 자사의 '벤치마크 리뷰(Benchmark Reviews)' 프로젝트를 시작한다고 발표하며, 주요 벤치마크의 문제점과 한계를 정밀하게 분석하겠다고 밝혔다. 초기 검토 결과에 따르면, 15개 벤치마크 중 9개가 '결함'으로 분류되었으며, 이는 AI 모델의 성과에 대한 신뢰도를 크게 흔들 수 있는 문제로 지적된다.

이번 검토에서는 '인류의 마지막 시험(HLE)', 'SWE-벤치 베리파이드', '버클리 함수 호출 리더보드' 등 잘 알려진 벤치마크들이 포함되어 있다. 그 결과, 이들 벤치마크 내부에 잘못된 정답이나 오류가 있는 채점 방식, 버전 간 평가 기준의 불일치 등이 발견되었다. 이러한 결함은 AI 모델의 실제 성능과 표면적인 점수 간의 간극을 만들어내며, 리더보드의 신뢰성을 심각하게 저해할 수 있다.

오류의 구체적 사례

실제로 검토된 벤치마크 중 '버클리 함수 호출 리더보드'는 특정 문제에 대한 정답을 잘못 평가하는 오류를 범한 것으로 나타났다. 예를 들어, 시드니의 현재 시간을 확인하는 문제에서 제공된 도구를 사용하는 것이 정답이었으나, 도구 사용을 거부한 답변에 점수를 부여하는 실수를 저질렀다. 또한, 'HLE'에서도 문제 설명과 정답이 일치하지 않는 사례가 발견되어, 이 벤치마크의 신뢰성에 의문을 제기했다.

물론 모든 벤치마크가 불신받는 것은 아니다. '심플QA 베리파이드'나 '위어드ML v2'와 같은 4개 벤치마크는 치명적인 오류가 발견되지 않아 신뢰할 수 있는 기준으로 평가되었다. 하지만 이들 또한 외부 요인에 노출되었거나, 평가 범위가 제한적이라는 단점을 안고 있다.

신뢰할 수 있는 평가를 위한 기준

에포크 AI의 평가 기준은 세 가지로 요약된다. 첫째, 평가 과제와 채점 기준이 명확히 확인될 수 있어야 하며, 둘째, 채점 방식이 제대로 작동해야 한다. 마지막으로, 버전 간 결과를 일관되게 비교할 수 있어야 한다. 조사된 문제의 20% 이상에서 성적에 영향을 미치는 오류가 발견되거나, 채점 체계에 중대한 결함이 나타날 경우 결함 판정을 내린다.

이번 연구 결과는 벤치마크의 모든 오류를 밝혀낸 것은 아니며, 추가 조사를 통해 더 많은 문제가 드러날 가능성도 존재한다. 또한, 벤치마크가 수정되고 개선되더라도, 새로운 버전에서는 다시 검증 과정을 거쳐야 한다는 점도 강조되었다.

결론적으로, 에포크 AI의 이번 프로젝트는 단순히 AI 모델의 성적만을 평가하는 것이 아니라, 그 시험지 자체를 검증해야 한다는 중요한 메시지를 전달하고 있다. 앞으로 AI 기술이 발전함에 따라, 이러한 신뢰할 수 있는 벤치마크의 필요성은 더욱 커질 것이다. AI 평가의 투명성과 신뢰성을 높이기 위한 노력은, 결국 AI 모델의 실제 성능을 제대로 이해하고 활용하는 데 필수적이다.