AI가 하네스를 만들 수 있을까...바이트댄스, 평가 프레임워크 '하네스데브' 공개

AI의 새로운 진화, 바이트댄스의 하네스데브 공개

최근 인공지능(AI) 기술의 발전과 함께 AI 에이전트의 성능을 결정짓는 핵심 요소로 하네스(harness)가 주목받고 있다. 바이트댄스는 이러한 흐름을 반영하여 AI가 스스로 실행 시스템을 구축하고 진화시킬 수 있는 능력을 평가하는 새로운 프레임워크인 '하네스데브(HarnessDev)'를 공개했다. 이번 발표는 AI의 성능 평가 방식에 혁신적인 변화를 가져올 것으로 기대된다.

하네스와 AI 에이전트의 관계

하네스는 AI 모델이 실제 작업을 수행할 수 있도록 돕는 소프트웨어 계층으로, 실행 루프, 도구 사용, 오류 복구 등의 기능을 담당한다. AI 에이전트가 동일한 모델 가중치를 사용하는 경우라도 하네스의 성능에 따라 결과가 크게 달라질 수 있다. 예를 들어, 바이트댄스의 연구진은 동일한 'GPT-5' 모델이 서로 다른 하네스 환경에서 작업을 수행할 때 성과에 차이가 있음을 확인했다. 특정 환경에서는 35.2%의 과제를 해결했지만, 다른 환경에서는 49.6%에 달하는 성과를 보였다. 이는 AI 성능 평가의 새로운 기준이 필요함을 시사한다.

하네스데브는 AI 에이전트가 구축한 실행 시스템을 평가하기 위해 '생성(Creation)'과 '진화(Evolution)'의 두 단계로 나눠 진행된다. 생성 단계에서는 약한 시드(weak seed)를 통해 기본 기능만을 제공하고, 모델이 스스로 완전한 시스템을 구축하도록 한다. 반면, 진화 단계에서는 모델이 생성한 환경을 바탕으로 실제 실행 결과에 대한 피드백을 받고 이를 기반으로 반복적으로 개선해 나간다.

실험 및 결과 분석

바이트댄스 연구진은 하네스데브를 통해 여러 AI 모델을 평가하였으며, 그 과정에서 다양한 과제를 설정하고 결과를 분석했다. 연구에는 '클로드 오퍼스 4.8', 'GPT-5.5', '제미나이 3.1 프로' 등 6개의 모델이 참여하였고, 2207개의 고유 과제에서 성과를 측정했다. 특히, 각 모델이 어떻게 실행 과제를 해결했는지에 대한 상세한 피드백이 이루어져, 코드의 양보다는 집중적인 수정과 검증이 성능에 더 큰 영향을 미친다는 결과가 도출되었다.

하네스데브의 평가 방식은 전통적인 AI 벤치마크와는 확연히 다르다. 기존 벤치마크는 모델이 주어진 환경에서 얼마나 많은 과제를 해결하는지를 측정하는 반면, 하네스데브는 모델이 직접 작성한 실행 가능한 구축 코드를 평가하는 방식이다. 이러한 접근은 AI의 자율성과 창의성을 극대화하는 데 기여할 것으로 보인다.

향후 전망

이번 하네스데브의 공개는 AI가 스스로 실행 환경을 만들고 개선할 수 있는 가능성을 보여주지만, 여전히 인간 엔지니어의 수준에는 미치지 못한다는 한계를 드러냈다. 연구진은 AI가 보다 안정적이고 범용적인 시스템을 개발하기 위해서는 실행 모델에 따라 성능이 크게 달라지므로, 다양한 환경에서도 성능을 유지할 수 있는 기술적 진보가 필요하다고 강조했다.

AI 기술의 발전은 이제 시작에 불과하다. 앞으로 하네스데브와 같은 혁신적인 접근이 더욱 발전할 경우, AI는 단순한 도구를 넘어 진정한 자율적인 시스템으로 자리매김할 수 있을 것이다.