오픈AI, '컴퓨트 멀티플라이어’로 추론 비용 절반으로 줄여

오픈AI가 AI 모델 추론 비용을 절반 이상 절감할 수 있는 혁신적인 기술 개발에 성공했다는 소식이 전해졌다. 이 기술은 AI 업계가 데이터센터와 GPU 확보에 열을 올리는 가운데, 기존 인프라의 효율을 극대화하는 ‘컴퓨트 멀티플라이어(Compute Multiplier)’ 전략으로 주목받고 있다. 특히, 이러한 최적화 기법은 AI 모델의 경제성을 높이는 데 기여할 것으로 기대된다.

AI 모델의 추론 비용 절감

30일(현지시간) 디 인포메이션에 따르면, 오픈AI의 엔지니어들은 이달 초 내부 테스트에서 새로운 추론 최적화 기법을 적용하여 AI 모델 실행 비용을 절반 이상 줄이는 성과를 거두었다. 이 기술은 비회원 이용자에게 제공되는 챗GPT 서비스에 적용되었으며, 특정 시점에서는 수백 대의 엔비디아 GPU만으로도 서비스를 운영할 수 있었던 것으로 알려졌다. 비회원 이용자의 사용량이 상대적으로 적어 전체 챗GPT 운영 규모를 대표하는 것은 아니지만, AI 모델의 실행 효율성이 크게 향상되었음을 보여주는 신호로 해석된다.

오픈AI가 사용한 구체적인 기술은 공개되지 않았지만, 업계에서는 여러 최적화 방법이 복합적으로 활용되었을 것이라고 추측하고 있다. 낮은 정밀도로 연산을 수행하는 양자화(Quantization), 이전 계산 결과를 재활용하는 키-값 캐시(Key-Value Cache), 여러 요청을 동시에 처리하는 배치 추론(Batching), 질문의 난이도에 따라 더 작은 모델이나 일부 전문가 모델을 활용하는 동적 라우팅 등이 그 예다. 그러나 이러한 최적화 효과는 향후 대규모 차세대 모델이 출시될 경우 일부 상쇄될 수 있다는 우려도 함께 전해지고 있다.

컴퓨트 멀티플라이어의 중요성

AI 기업들이 충분한 컴퓨팅 자원을 확보하기 어려운 가운데, 오픈AI의 ‘컴퓨트 멀티플라이어’ 전략은 다음 세대 경쟁력으로 떠오르고 있다. 경쟁사 앤트로픽의 CEO 다리오 아모데이는 “컴퓨트 멀티플라이어에 노출된 내부 인원을 제한하고 있다”며, 경쟁사들이 이 기술을 도입하면 경쟁 우위를 잃을 수 있음을 경고했다. 컴퓨트 멀티플라이어는 모델 학습뿐 아니라 추론 과정에서도 컴퓨팅 효율을 극대화하는 다양한 최적화 기술을 포함한다.

현재 AI 기업들은 대규모 데이터센터 구축 계약을 체결하고 있지만, 실제 서비스 가동까지는 수개월에서 수년이 소요되는 경우가 많다. 따라서 기존 하드웨어의 활용도를 높이는 것이 더욱 중요한 과제로 떠오르고 있다. 오픈AI는 장기적으로 브로드컴과 협력하여 AI 추론 전용 칩을 개발하고, 엔비디아 GPU 의존도를 줄여 운영 비용을 절감하는 방안을 모색하고 있다.

미래를 위한 발판 마련

오픈AI의 이번 추론 비용 절감은 사업 전략에 어떤 방식으로 반영될지 주목된다. 가장 직접적인 활용 방안은 이용자 혜택의 확대다. 챗GPT 구독자의 사용량을 늘리거나, 개발자들이 API를 통해 이용하는 AI 모델의 가격을 인하할 가능성이 높다. 과거 오픈AI의 초기 모델들이 출시 당시보다 API 가격이 크게 낮아진 것도 이러한 최적화 덕분으로 볼 수 있다. 이는 앤트로픽과의 경쟁에서도 가격 경쟁력을 높이는 데 기여할 수 있을 것으로 예상된다.

한편, 절감된 비용을 수익성 개선에 활용할 가능성도 있다. 오픈AI의 매출총이익률은 올해 1분기 기준 39%로 지난해 같은 기간의 33%에서 개선되었지만, 연말까지 목표로 설정한 52%에는 여전히 차이가 있다. 이처럼 추론 비용 절감은 오픈AI의 수익 구조 개선에도 중요한 역할을 할 것으로 보인다.

결과적으로, 오픈AI의 이번 기술 개발은 AI 시장의 경쟁 구도를 변화시킬 수 있는 중요한 단초가 될 것으로 기대된다. 비용 절감과 함께 효율성을 극대화하는 전략이 향후 AI 산업의 성장에 큰 영향을 미칠 전망이다.