[9월2일] 캐시 가격 75% 내렸는데 비용은 20% 올랐다…페이블 5.1의 ‘토큰 역설’

앤트로픽이 최근 출시한 ‘클로드 페이블 5.1’이 주목받고 있습니다. 이 모델은 아티피셜 애널리시스 종합 지능 지수(AAII)에서 66점을 기록하며, 기존 모델들을 압도하는 성능을 보여주고 있습니다. 특히, 캐시 읽기 가격을 75% 낮춘 것에 비해, 실제 작업당 비용이 20% 증가하는 ‘토큰 역설’이 발생해 업계의 이목을 끌고 있습니다.

캐시 가격 인하의 이면

페이블 5.1의 캐시 읽기 가격이 대폭 인하된 것은 상당한 변화로 평가됩니다. 이전 모델에 비해 1달러에서 0.25달러로 낮아진 캐시 읽기 비용 덕분에 에이전트 작업에서는 약 1.40달러를 절감할 수 있습니다. 그러나 같은 시점에서 작업당 비용은 오히려 증가했습니다. AAII 평가에서 페이블 5.1 맥스의 작업당 비용이 3.76달러로 집계되었는데, 이는 페이블 5의 3.14달러보다 20% 높은 수치입니다. 이러한 현상은 출력 토큰의 사용량 증가에 기인합니다.

페이블 5.1은 더 높은 성능을 내기 위해 약 1.7배 많은 출력 토큰을 활용하고 있으며, 출력 토큰의 단가는 입력 토큰이나 캐시 읽기보다 훨씬 높습니다. 결과적으로 캐시 가격이 인하되었음에도 불구하고, 모델이 문제를 해결하는 과정에서 더 많은 토큰을 사용하게 되어 전체 작업 비용이 증가하는 상황이 발생했습니다. 이러한 변화는 AI 모델의 비용 구조가 단순한 가격 경쟁에서 벗어나, 실제 사용량을 고려해야 한다는 사실을 드러냅니다.

AI 비용의 새로운 패러다임

최근 AI 업계에서 나타나는 이러한 비용 구조는 단순히 ‘100만 토큰당 가격’으로 판단하는 기준이 아니라, 같은 작업을 수행할 때 실제로 얼마나 많은 토큰을 사용하는지가 중요해졌음을 보여줍니다. AI 모델의 비용은 ‘토큰 가격 × 토큰 사용량’이라는 공식으로 계산되며, 모델이 더욱 고도화될수록 더 많은 토큰을 사용하는 경향이 있습니다. 이로 인해, 사용자는 성능과 비용 효율성을 동시에 고려해야 하는 새로운 환경에 직면하게 됐습니다.

앤트로픽의 페이블 5.1은 이러한 흐름을 염두에 두고 캐시 가격을 인하한 것으로 보입니다. 특히, 긴 컨텍스트를 반복해서 사용하는 환경에서는 캐시 비용 절감이 실제 비용 절감으로 이어질 수 있기 때문입니다. 그러나 캐시 가격 인하만으로는 충분하지 않았으며, 모델이 더 많은 출력 토큰을 사용함에 따라 이로 인한 추가 비용이 발생했습니다.

최적의 성능을 찾는 방법

여기서 중요한 것은 페이블 5.1의 ‘노력(Effort)’ 설정입니다. 이 기능은 얼마나 많은 추론을 할지를 조절할 수 있게 해주며, 최대 노력인 맥스(Max) 설정이 반드시 가장 경제적인 선택은 아닐 수 있음을 시사합니다. AAII에 따르면, 페이블 5.1은 맥스 설정에서 66점을 기록했지만, 작업당 비용은 3.76달러로 비쌉니다. 반면, '높음(High)' 설정에서는 65점으로 성능이 단 1점 낮아지지만, 비용은 2.72달러로 절감됩니다.

결국, 성능을 높이기 위해 추가 비용을 지불해야 하는 상황에서는, 맥스 설정보다는 하이 설정을 기본값으로 사용하는 것이 더 합리적일 수 있습니다. 이는 AI 모델의 사용 방식이 단순히 ‘가장 좋은 모델’을 선택하는 것이 아니라, 각 작업에 맞는 최적의 추론량을 결정하는 방향으로 나아가고 있음을 보여줍니다.

향후 AI 모델의 경쟁력은 단순한 성능이 아니라, 얼마나 효율적으로 그 성능을 구현하느냐에 따라 달라질 것으로 보입니다. 현재 산업 전반에 걸쳐 이러한 변화가 확산되고 있는 가운데, 기업들은 비용과 성능 간의 균형을 맞추는 데 더욱 집중해야 할 시점입니다. AI의 미래는 이제 단순한 성능 경쟁이 아닌, 효율성과 비용 관리에도 초점을 맞추는 방향으로 진화하고 있습니다.