엔비디아, LLM 배포 가속 '모델익스프레스' 발표..."서버 대기 8분에서 1분대로 단축"

대형 언어 모델(LLM)의 발전이 가속화됨에 따라, 모델 가중치를 이동하는 과정이 AI 서비스의 주요 병목 현상으로 떠오르고 있다. 이러한 문제를 해결하기 위해 엔비디아가 발표한 새로운 기술, '모델익스프레스'는 AI 모델의 배포와 확장을 혁신적으로 변화시킬 것으로 기대된다.

AI 서비스의 새로운 도약

이번에 발표된 모델익스프레스는 GPU 간 직접 전송 기술을 활용해 LLM의 배포 과정을 최적화하는 소프트웨어 인프라다. LLM은 데이터의 크기가 테라바이트(TB)에 이르러, 새로운 AI 서버를 가동할 때마다 수십 분을 소요하는 문제가 발생했다. 이로 인해 서비스가 즉시 작동하지 못하는 '콜드 스타트' 현상이 빈번하게 일어났다. 엔비디아는 이러한 문제를 해결하기 위해, 이미 작업 중인 서버의 GPU로부터 필요한 데이터를 직접 전송받는 방식을 도입했다.

기존에는 서버가 작동하기 위해 원격 저장소에서 모델 데이터를 내려받아 GPU 메모리에 로딩해야 했다. 그러나 모델익스프레스는 이러한 중계 과정을 없애, GPU와 GPU 간에 고속으로 데이터를 주고받을 수 있도록 설계되었다. 이 기술 덕분에 서버가 켜지는 시간을 현저히 줄일 수 있으며, 데이터 전송 속도 또한 대폭 향상된다.

놀라운 성능 개선

엔비디아의 자료에 따르면, 800GB가 넘는 초대형 모델을 적용했을 경우 기존에는 서버가 가동되기까지 8분 이상 소요되었으나, 모델익스프레스를 활용하면 불과 1분 44초 만에 서비스를 준비할 수 있다. 특히, 새로운 서버가 기존의 서버로부터 모델 데이터를 복사하는 과정은 10초도 걸리지 않는 것으로 나타났다. 이는 AI 시스템의 초기 가동뿐만 아니라, 첫 가동 직후에 필요한 추가 계산 작업을 신속하게 처리할 수 있도록 돕는다.

AI 시스템은 첫 가동 시 최적의 작동 환경을 구축하기 위해 자주 수 분에 걸쳐 자체 컴파일 및 최적화 과정을 진행하는데, 모델익스프레스는 이미 가동 중인 서버의 최적화 작업 결과물까지 새 서버로 동시에 복사해 주기 때문에 반복적인 최적화 과정을 생략할 수 있다. 또한, 강화학습(RL) 과정에서도 학습 서버와 추론 서버 간의 데이터 주고받기를 효율화해 AI 모델의 고도화 속도를 크게 향상시킬 수 있다.

앞으로의 전망

엔비디아는 모델익스프레스가 vLLM, SGLang 등 현재 가장 널리 사용되는 오픈소스 추론 엔진과 즉시 연동되며, 향후 다양한 AI 프레임워크와의 통합을 지속적으로 확대할 계획이라고 밝혔다. 이는 대규모 AI 클러스터를 운영하는 기업들이 서버 추가 시 발생하는 대기 시간을 획기적으로 줄이고, 안정적이고 빠른 AI 서비스를 제공할 수 있는 기회를 제공할 것이다.

이번 기술 발표는 AI 서비스의 새로운 가능성을 열어줄 것으로 기대되며, 특히 급증하는 AI 수요에 대응하기 위한 필수적인 변화가 될 것으로 보인다. 엔비디아의 모델익스프레스가 AI 업계에 미칠 영향이 주목되는 이유다.