오픈AI 부사장 "단일 벤치마크 한계...'테스트 타임 컴퓨트'로 바꿔야"

오픈AI가 차세대 AI 모델 성능 평가 체계를 새롭게 제안하고 나섰습니다. 최근 서울에서 열린 ‘글로벌 AI 프론티어 심포지엄 2026’에서 노엄 브라운 오픈AI 리서치 부사장은 단일 벤치마크 점수 중심의 평가 방식에서 벗어나, ‘테스트 타임 컴퓨트’라는 새로운 접근 방식을 도입해야 한다고 강조했습니다.

단일 벤치마크의 한계

브라운 부사장은 기존 AI 모델 성능 평가 방식이 얼마나 효과적인지를 다시 한 번 생각해봐야 한다고 주장합니다. 일반적으로 AI 모델은 다양한 벤치마크 테스트를 통해 성능을 측정하지만, 이러한 방식은 모델의 실제 사용 상황을 충분히 반영하지 못합니다. “GPT-5.5의 경우 벤치마크 점수는 전작과 큰 차이를 보이지 않지만, 추가적인 계산 자원을 투입하면 성능이 비약적으로 향상된다”고 그는 설명했습니다. 이는 AI 모델이 인간처럼 심사숙고할 수 있도록 설계된 ‘테스트 타임 컴퓨트’ 때문입니다.

테스트 타임 컴퓨트는 AI가 답변을 생성하기 전, 추가적인 연산 자원을 통해 더욱 정교한 결과를 도출할 수 있도록 돕는 방식입니다. 따라서 기존의 벤치마크 점수만으로는 최신 AI 모델의 진정한 성능을 파악하기 어렵다는 것이 그의 주장입니다.

멀티 에이전트 시스템의 필요성

브라운 부사장은 이러한 단점을 극복하기 위한 해결책으로 ‘멀티 에이전트’ 시스템을 제안했습니다. 하나의 거대한 AI 모델이 복잡한 문제를 해결하기 위해 많은 시간을 소비하기보다는, 여러 개의 작은 AI 에이전트가 역할을 나눠 작업을 수행하는 것이 더 효율적이라는 것입니다. “토큰 효율성과 지연 시간 단축을 고려했을 때, 멀티 에이전트 시스템이 훨씬 유리하다”고 그는 덧붙였습니다.

이러한 점에서 AI 연구소들은 성능 공개 방식도 혁신할 필요가 있습니다. 브라운 부사장은 단일 벤치마크 숫자로 성능을 공개하는 것 대신, 투입된 비용과 시간을 기반으로 한 그래프 형태로 성능을 시각적으로 표현해야 한다고 주장했습니다. 이는 연구 결과의 투명성을 높이는 동시에, AI 모델의 실제 성능을 보다 정확히 이해하는 데 기여할 것입니다.

AI 안전 정책과 국가 차원의 지원

브라운 부사장은 AI 성능 평가 방식의 변화는 단순히 기술적 문제가 아니라, 국가 차원에서도 중요한 안전 정책을 수립하는 데 필요하다고 강조했습니다. AI 모델이 더 많은 연산 자원을 소모할 경우, 이로 인해 발생할 수 있는 잠재적 위험 요소를 미리 테스트할 필요가 있다는 것입니다. 따라서 각국의 AI 안전 연구소들은 이와 관련된 역량을 강화해야 하며, 현재의 인프라로는 대규모 테스트 타임 컴퓨트 검증이 불가능하다고 지적했습니다.

이러한 변화가 이루어질 경우, AI는 신약 개발, 원자력 발전 등 인류가 직면한 난제를 해결하는 데 중요한 역할을 할 것으로 기대됩니다. 브라운 부사장은 “테스트 타임 컴퓨트 기술의 고도화가 차세대 AI 모델의 한계를 극복하는 핵심 동력이 될 것”이라고 말하며, 향후 AI 기술이 인류 문제 해결에 기여할 수 있는 길을 열어줄 것이라고 확신했습니다.

결론적으로, AI 성능 평가의 패러다임 전환은 기술적 진보뿐만 아니라, 안전하고 효과적인 AI 활용을 위한 필수적인 변화로 자리 잡을 것입니다.