[7월16일] AI 비용 부담의 중심에 선 앤트로픽, 어떤 돌파구를 준비할까

최근 기업들이 생성 AI를 도입하면서 기술의 성능 못지않게 비용 문제가 중요한 이슈로 떠오르고 있습니다. 특히, 앤트로픽과 같은 고성능 AI 모델을 사용하는 기업들은 이 비용 부담을 어떻게 해결할지에 대해 고민하고 있습니다. 앤트로픽의 개발자 플랫폼 공동 리더인 케이틀린 레시와 안젤라 장은 최근 팟캐스트에 출연하여 이와 관련된 통찰을 공유했습니다.

비용 문제에 대한 인식

앤트로픽의 모델, 특히 클로드와 페이블은 고가의 폐쇄형 모델로 분류되며, 기업들은 이러한 비용 문제로 인해 오픈소스나 저렴한 대안 모델로 눈을 돌리기 시작했습니다. 레시와 장은 기업들이 AI 모델의 비용 문제를 심각하게 고민하고 있다는 점에 공감하며, 이러한 변화가 비즈니스의 지속 가능성에 영향을 미친다고 강조했습니다. 둘은 "AI 모델이 더 높은 수준의 지능에 도달한 후, 다음으로 해결해야 할 차원은 비용과 속도"라고 설명하며, 이러한 요소들이 기업의 AI 도입 전략에서 핵심이 되어야 한다고 말했습니다.

비용 절감을 위한 전략

안젤라 장은 기업들이 비용을 절감하기 위해 선택적으로 저비용 모델과 고성능 모델을 사용하고 있다고 소개했습니다. 이를 통해 기업은 필요한 작업에 따라 적절한 AI 모델을 선택하여 운영 비용을 줄일 수 있습니다. 또한, 프롬프트 캐싱과 같은 기술적 전략도 언급되었습니다. 반복적인 시스템 프롬프트나 긴 문맥을 재활용함으로써 토큰 사용량과 지연 시간을 감소시킬 수 있다는 것입니다. 이를 통해 기업은 불필요한 비용 지출을 줄이고, 효율성을 높일 수 있습니다.

이외에도 레시는 "긴 응답을 무조건 생성하는 것도 비용 증가의 원인"이라고 지적하며, 작업 목적에 맞게 출력 길이를 조정하는 것만으로도 상당한 비용 절감을 이룰 수 있다고 덧붙였습니다. 이러한 접근은 이미 많은 기업에서 시행하고 있는 전략이지만, 앤트로픽은 이를 더 발전시켜 AI가 스스로 비용 관리 기능을 수행할 수 있는 방향을 제시하고 있습니다.

미래의 AI 비용 관리

가장 주목할 만한 점은 앤트로픽이 비용 문제를 단순한 사용 요령으로 한정짓지 않고, 플랫폼 차원에서 해결해야 할 과제로 보고 있다는 점입니다. 레시는 향후 사용자가 원하는 결과와 예산만 제시하면 AI가 필요한 모든 판단을 자동으로 내리는 시스템을 목표로 하고 있다는 비전을 공유했습니다. 이는 AI가 예산 내에서 최적의 모델을 선택하고, 추론 전략을 자동으로 조정하는 단계로 나아갈 수 있음을 시사합니다.

결국 이러한 방향성은 AI 플랫폼의 새로운 경쟁력을 만들어낼 잠재력을 가지고 있습니다. 기업들이 다양한 부서와 프로젝트에서 AI를 활용하며 발생하는 비용 문제를 해결하는 것은 결코 쉽지 않습니다. 하지만 AI가 자체적으로 이러한 비용 관리 기능을 수행할 수 있다면, 기업의 혁신을 더욱 촉진할 수 있을 것입니다. 앤트로픽의 이러한 시도는 단순한 기술적 발전이 아니라, AI 산업 전반에 걸쳐 큰 변화를 가져올 수 있는 기회가 될 것입니다.

이처럼 AI 비용 문제를 해결하는 방향은 기업의 경쟁력을 강화하는 중요한 요소로 자리잡을 것이며, 앞으로의 발전이 기대됩니다.