"하네스 따라 성과 10% 차"…'딥시크-V4 플래시' 테스트 결과 공개

최근 기업용 AI 솔루션의 경쟁이 치열해지면서, 그 성능을 좌우하는 다양한 요소들이 주목받고 있습니다. 특히, 딥시크(DipSeek)의 최신 모델인 '딥시크-V4 플래시'가 성능 평가에서 구동 환경인 하네스(harness)의 중요성을 강조하는 결과를 발표했습니다. 이번 테스트는 복잡한 기업 환경에서 AI 에이전트의 효율성과 가성비를 분석하는 데 중점을 두었습니다.

하네스가 성능을 결정한다

에이전트 평가 프레임워크인 컴포지오(Composio)는 최근 딥시크-V4 플래시가 실제 기업의 다양한 업무 도구를 활용하는 30개의 다단계 작업에서 수행한 성과를 공개했습니다. 테스트는 클로드 코드(Claude Code), 코덱스(Codex), 오픈코드(OpenCode), 오 마이 파이(Oh My Pi) 등 4개의 하네스를 적용하여 진행되었으며, 총 240회의 워크플로우를 실행한 결과가 포함되었습니다.

흥미로운 점은, 딥시크-V4 플래시의 평균 과제 완료율이 53.8%로, 이는 프론티어급 AI 모델과 맞먹는 수준이라는 것입니다. 하지만 하네스의 종류에 따라 성과가 크게 달라졌습니다. 예를 들어, 오 마이 파이 환경에서는 30개 과제 중 17개를 성공적으로 완료한 반면, 오픈코드에서는 14개로 그쳤습니다. 이로 인해 두 하네스 간의 성과 차이가 최대 10%포인트에 달했습니다. 이와 같은 결과는 AI 모델의 성능을 단순히 모델 자체의 우수성으로 판단하기보다는, 구동 환경의 최적화가 무엇보다 중요하다는 메시지를 전달하고 있습니다.

비용과 속도의 극명한 차이

이번 테스트의 결과는 성과뿐만 아니라 비용과 처리 속도에서도 큰 차이를 보였습니다. 과제 1회 성공 시의 평균 실행 비용은 오 마이 파이에서 약 0.073달러로 가장 경제적이었으나, 클로드 코드 환경에서는 이보다 2.7배 비싼 0.195달러가 소요되었습니다. 같은 모델을 사용했음에도 불구하고, 하네스에 따라 비용이 크게 달라지는 점은 기업들이 AI 솔루션을 선택할 때 고려해야 할 중요한 요소임을 시사합니다.

또한, 속도 측면에서도 클로드 코드 환경이 평균 122.7초로 가장 빨랐으나, 오 마이 파이에서는 평균 272.4초가 소요되었습니다. 이는 작업 수행 속도 측면에서도 하네스의 영향력이 크다는 것을 여실히 보여줍니다. 따라서 기업들은 단순히 AI 모델의 성능뿐만 아니라, 그 모델이 구동되는 하네스의 특성을 충분히 이해하고 선택해야 할 것입니다.

향후 전망

딥시크-V4 플래시는 아티피셜 애널리시스의 평가에서 지능 지수 50점을 기록하며, 이전 모델인 딥시크-V4 프로를 초월하는 성과를 보여주었습니다. API 가격 인상에도 불구하고 여전히 경쟁력 있는 가격을 유지하며, 자체 하네스를 오픈소스로 공개한 덕분에 최근 오픈라우터에서 높은 인기를 끌고 있습니다.

이와 같은 발전은 AI 기술이 기업 환경에서 점점 더 중요한 역할을 하고 있음을 나타내며, 효율성과 비용 절감이 중요한 요소로 떠오르고 있습니다. 앞으로도 많은 기업들이 AI 도입을 고민할 때, 하네스의 중요성을 간과하지 않기를 바랍니다. AI 기술의 최적화는 단순한 기능 이상의 가치를 창출할 수 있는 중요한 열쇠가 될 것입니다.