"테스트 타임 컴퓨트가 새로운 스케일링 법칙"...'엣지벤치' 공개

최근 인공지능(AI) 분야에서 큰 변화의 바람이 불고 있다. 바이트댄스의 연구팀인 시드 AI(Seed AI)는 기존의 대형언어모델(LLM) 스케일링 법칙을 넘어서는 새로운 확장 법칙을 제시하며, AI의 진화를 가속화할 수 있는 가능성을 열었다. 이들은 3일, AI 에이전트가 실제 환경에서 피드백을 통해 스스로 진화하는 메커니즘을 규명하고, 이를 기반으로 한 오픈소스 벤치마크 '엣지벤치(EdgeBench)'를 공개했다.

엣지벤치: 새로운 AI 평가 기준의 출현

전통적인 벤치마크는 대개 정적인 데이터셋을 기반으로 단발성 답변을 측정하는 방식이었다. 그러나 엣지벤치는 AI에게 실제로 복잡한 과제를 위임하고, 이 과제가 완료되기까지의 전체 과정을 추적하는데 중점을 두고 있다. 이러한 방식은 AI의 학습 속도와 효율성을 더욱 정확히 평가할 수 있도록 해준다. 예를 들어, AI 에이전트는 12시간에서 최대 72시간 동안 작업을 수행하며, 오류를 수정하고 스스로 학습하는 과정을 거치게 된다. 이 과정에서 총 134개의 과제가 포함된 6개 핵심 범주가 설정되어 있으며, 그 난이도는 매우 높다. 전문가가 과제 하나를 설계하는 데 평균 57.2시간에서 최대 320시간까지 소요될 정도다.

특히, 연구팀은 AI 에이전트가 환경과의 상호작용을 통해 성능이 처음에는 느리지만 점차 가파르게 상승한 후 일정 수준에 수렴하는 'S자형 성장 법칙'을 발견했다. 이 법칙은 AI가 단순한 시도를 반복하는 것이 아니라, 시간의 흐름 속에서 실제로 학습하고 발전하는 능력을 갖추고 있음을 보여준다.

AI의 자기개선 능력

엣지벤치의 실험 결과, AI가 과거의 실패를 통해 배우는 능력이 드러났다. 앤트로픽의 '클로드 오퍼스 4.8' 모델이 12시간 동안 이전의 실패 경험을 누적하며 학습한 결과는 43.0점으로, 매번 새롭게 시작한 그룹의 36.1점을 크게 초월했다. 이는 AI가 과거의 경험을 기반으로 더 나은 결정을 내릴 수 있다는 것을 의미한다. 특히, 오픈AI의 'GPT-5.5'가 중력파 과제를 수행할 당시에는 문제를 완전히 재정의하며 돌파구를 찾은 순간이 여러 차례 포착되었다.

이 과정에서 AI 모델의 메모리에 해당하는 컨텍스트 창이 중요한 역할을 한다는 점도 주목할 만하다. 컨텍스트 용량이 큰 모델일수록 과거의 실패나 오류를 기억하고 이를 토대로 성과를 개선하는 데 유리한 것으로 나타났다.

새로운 스케일링 법칙의 함의

이번 연구는 AI의 개발 전략에 큰 지각변동을 예고하고 있다. 기존의 스케일링 법칙이 사전학습에 막대한 자원을 투입하는 데 중점을 두었다면, 이제는 AI를 실제 환경에서 오랜 시간 동안 두고 스스로 진화하게 하는 '추론 및 테스트 타임 컴퓨트(Test-time Compute)'가 새로운 법칙으로 자리 잡을 가능성이 높아졌다. 이러한 방식은 AI의 학습 속도를 크게 향상시킬 수 있으며, 향후 AI 연구의 방향성을 바꿀 수 있는 잠재력을 지니고 있다.

바이트댄스는 이와 같은 장기적인 에이전트 평가를 위한 인프라인 'S포지(SForge)'도 배포하였으며, 이를 통해 AI가 실제 환경에서 어떻게 진화하는지를 더욱 안정적으로 평가할 수 있게 되었다. 연구자들은 이 데이터를 통해 AI의 학습 능력을 한층 더 발전시킬 수 있을 것으로 기대하고 있다.

결론적으로, 엣지벤치를 통해 제시된 새로운 스케일링 법칙은 AI의 자기개선 능력과 학습 속도를 획기적으로 향상시키는 길을 제시하며, 앞으로의 AI 연구에 큰 기여를 할 것으로 보인다.