세일즈포스, '하네스' 최적화로 브라우저 작업 성공률 93% 달성

세일즈포스가 최근 발표한 혁신적인 프레임워크 '다윈X'가 AI 에이전트의 브라우저 작업 성공률을 93%로 끌어올리며 주목받고 있다. 이 결과는 에이전트의 성능 향상을 위해 기존의 방식과는 다른 접근법을 시도한 것으로, 모델 자체의 재학습이나 가중치 수정 없이도 효과를 볼 수 있음을 입증한 사례로 평가된다.

다윈X: 새로운 접근법

세일즈포스의 연구팀은 '다윈X'라는 프레임워크를 통해 AI 에이전트의 작업 수행 방식을 최적화하는 데 집중했다. 기존의 AI 모델을 고정한 상태에서, 에이전트의 프롬프트, 도구 사용법, 제어 흐름 등을 변화시키며 여러 하네스(Harness)를 동시에 진화시켰다. 이러한 선택 루프 구조를 통해 에이전트의 웹 작업 성공률은 무려 43.5%에서 93%로 증가했다. 이는 단순히 기존 모델의 성능을 개선하는 것이 아니라, 다양한 변형을 실험하여 최적의 작업 방식을 찾아내는 과정에서 얻어진 결과이다.

연구팀은 '하네스'가 실패한 작업의 원인을 분석하여, 각각의 변형을 보존하고 유용한 변화만을 선택하는 방식을 사용했다. 이 과정에서 발생할 수 있는 '경로 의존성'과 '작업 간 간섭' 문제를 해결하기 위해, 다양한 하네스 변형을 동시에 보관하고 발전시키는 자연선택적 접근을 채택한 것이 특징이다.

실험 결과와 성능 개선

실험을 통해 다윈X 프레임워크는 웹 작업뿐만 아니라 소프트웨어 개발 분야에서도 성능 개선을 보여주었다. 'GPT-5.5' 기반의 에이전트는 '터미널-벤치 2.1'에서 기존 75.5%에서 83.2%로, 별도로 적용된 'SWE-벤치 베리파이드'에서는 84.2%의 성과를 기록하며 기존 참조 하네스를 웃도는 성과를 냈다.

흥미로운 점은 에이전트의 추론량이 단순히 늘어난 것이 아니라는 것이다. 기존에도 해결할 수 있었던 작업들은 수행 단계가 소폭 증가한 반면, 새로운 작업에서는 수행 단계가 두 배로 늘어났다. 이는 에이전트가 추가적인 검증이나 재시도가 필요한 작업을 정확하게 인지하고 대응할 수 있도록 하네스가 진화했음을 의미한다.

이외에도 여러 전문화된 하네스의 장점을 결합하여 새로운 능력을 확보하는 방식도 주목할 만하다. 연구진은 특정 작업에서 우수한 성능을 발휘하는 변형을 결합함으로써, 전체적인 점수를 끌어올릴 수 있는 가능성을 열었다.

향후 전망과 의미

세일즈포스는 이번 연구와 함께 AI 에이전트의 진화를 실험할 수 있는 오픈소스 인프라 '비글(Beagle)'도 공개했다. 이는 다양한 개발자들이 다윈X 프레임워크를 활용해 AI 에이전트를 더욱 발전시킬 수 있는 기회를 제공할 것으로 기대된다.

AI 기술이 날로 발전하는 가운데, 세일즈포스의 이러한 시도는 모델의 재학습이나 가중치 수정 없이도 효율성을 극대화할 수 있는 가능성을 제시하고 있다. 앞으로의 AI 에이전트 개발에 있어 '다윈X'와 같은 혁신적인 접근법이 큰 변화를 가져올 것으로 보인다.