메타, 사내 AI 비용 폭증에 '토큰 제한'…'토큰맥싱' 부작용 후속 조치

메타, AI 비용 관리에 나서다…토큰 사용량 제한 조치

최근 메타가 사내 AI 기술의 빠른 확산으로 인해 비용 문제가 심각해지자, 직원들의 AI 토큰 사용량을 제한하기로 결정했다. 이는 메타가 지난해부터 추진해온 AI 도입을 위한 노력에서 급격한 방향 전환을 나타내는 조치다. 인공지능의 활용이 폭발적으로 증가하면서 예상보다 더 큰 예산 소진이 현실화되자, 메타는 비용 통제에 나서는 상황에 직면하게 되었다.

AI 비용 증가의 배경

메타는 지난해 말부터 직원들에게 AI 도구의 사용을 적극 권장하며 이를 성과 지표로 삼았다. 그러나 시간이 지나면서 이같은 정책은 '토큰맥싱'이라는 부작용을 초래했다. 이는 직원들이 AI 토큰 사용량을 경쟁적으로 늘리기 위해 비정상적으로 많은 작업을 수행하면서 발생한 현상이다. 결과적으로, 메타의 직원들은 불과 몇 달 사이에 AI 토큰 사용량을 수십 조 단위로 끌어올렸다. 이로 인해 내부 예산의 과도한 소진 문제가 대두되었고, 메타는 이러한 상황을 해결하기 위한 방안을 모색하게 되었다.

토큰 사용량 제한 조치와 AI 게이트웨이

메타는 최근 내부 메모를 통해 직원 6000명의 AI 사용량과 지출을 실시간으로 추적할 수 있는 플랫폼을 개발 중임을 알렸다. 이 플랫폼은 사용량에 대한 가시성을 높이고, 예산을 보다 체계적으로 관리할 수 있도록 돕는 역할을 하게 된다. 메타는 AI 사용량이 기하급수적으로 증가하고 있으며, 2026년까지 내부적으로 수십억 달러를 지출할 것으로 예상하고 있다. 그러므로 현재의 데이터 모니터링 시스템을 통해 비정상적인 지출이 발생할 경우 자동으로 알림을 받을 수 있도록 할 예정이다.

새롭게 구축한 중앙 대시보드 'AI 게이트웨이'는 이러한 관리 시스템의 핵심으로, AI 사용을 모니터링하고 예산 계획을 지원할 수 있는 기능을 갖추고 있다. 이 플랫폼은 몇 주 내로 전사적으로 확대 적용될 예정이며, 메타는 외부 AI 모델에 대한 의존도를 줄이기 위해 자체 개발한 AI 도구인 '메타코드'의 활용을 늘려 나갈 계획이다.

변화의 필요성과 미래 전망

메타의 이번 조치는 단순히 비용 절감을 넘어, AI 도구가 진정으로 업무에 도움이 될 수 있는 방향으로 나아가려는 노력으로 해석된다. 앤드류 보스워스 CTO는 "AI 도구 사용의 목적은 작업 효율성을 높이는 것"이라며, 단순한 사용량 경쟁에서 벗어날 필요가 있다고 강조했다. 메타와 같은 대기업은 AI 비용 문제를 해결하기 위해 여러 방안을 모색하고 있으며, 이는 실리콘 밸리 전반에 걸쳐 공통적으로 나타나는 현상이다.

앞으로 메타는 AI 인프라 확장을 위해 대규모 투자를 진행하는 한편, 보다 효율적인 운영 모델을 마련하기 위해 노력할 것으로 보인다. 이러한 변화가 과연 메타의 지속 가능한 성장에 어떤 기여를 할지 기대되는 시점이다.