김준기 래블업 CTO “풀스택 AI 인프라로 GPU 한계 넘는다”

최근 인공지능(AI) 시장이 급속도로 성장함에 따라, 안정적이고 효율적인 그래픽 처리 장치(GPU) 공급에 대한 필요성이 더욱 부각되고 있습니다. 특히 GPU 가격이 상승하고 추론 수요가 늘어나면서 기업의 AI 인프라는 점점 더 복잡해지고 있습니다. 이러한 환경 속에서 래블업의 김준기 최고 기술책임자(CTO)는 풀스택 AI 인프라를 통해 GPU의 한계를 극복하겠다는 포부를 밝혔습니다.

GPU 가상화의 진화, '백엔드닷에이아이'

래블업은 2015년 설립 이후 GPU 가상화 시장을 개척하며 독자적인 기술력을 쌓아왔습니다. 최근 회사는 AI 모델 개발을 넘어 추론과 에이전트 서비스 영역으로 비즈니스를 확장하고 있습니다. 그 중심에 있는 것이 바로 '백엔드닷에이아이(Backend.AI)'라는 플랫폼입니다. 이 플랫폼은 다양한 GPU와 신경망 프로세서(NPU)를 통합하여 하이퍼스케일 멀티테넌시 환경에서 오케스트레이션하는 소프트웨어 정의 AI 인프라를 제공합니다.

김 CTO는 “이전에는 AI 모델 학습 후에야 추론 기능을 추가했지만, 이제는 기업들이 처음부터 추론과 서비스 운영에 집중하고 있다”고 설명하며, “백엔드닷에이아이는 특정 모델에 종속되지 않고 여러 모델과 설정을 손쉽게 전환할 수 있어 긍정적인 반응을 얻고 있다”고 덧붙였습니다.

추론 시대의 필수 요소, '모델 라우팅'과 '내결함성'

AI의 발전에 따라 클라우드 API 의존도가 높아지면서, 네트워크 장애나 서비스 중단에 대한 대비가 필수적입니다. 래블업이 선보인 ‘백엔드닷에이아이 컨티넘’은 클라우드 장애가 발생할 경우 자동으로 로컬 자원으로 전환해 API 처리를 지속할 수 있는 솔루션입니다. 특히 이 시스템의 핵심 기능인 '컨티넘 라우터'는 외부 API와 로컬 모델 간의 동적 전환을 통해 성능을 안정화하고 비용을 절감하는 데 중점을 두고 있습니다.

김 CTO는 GPU 기반 추론 환경의 불안정성을 지적하며, "상황에 따라 로컬 LLM(대형 언어 모델)과 외부 API를 동적으로 라우팅하는 구조가 매우 중요하다"고 강조했습니다. 이를 통해 기업들은 더 안정적이고 효율적인 AI 서비스를 구축할 수 있게 됩니다.

새로운 인프라 병목 현상과의 싸움

래블업은 최근 과기정통부 주관의 ‘독자 AI 파운데이션 모델 개발 프로젝트’에도 참여하며 대규모 인프라 운영에 대한 노하우를 축적했습니다. 이 과정에서 GPU가 아닌 스토리지 입출력(I/O) 속도가 성능 저하의 주요 원인이라는 사실을 알게 되었습니다. 이를 해결하기 위해 래블업은 ‘GPU 다이렉트 스토리지 가상화’ 기술을 개발, GPU가 CPU를 거치지 않고 스토리지에 직접 접근할 수 있는 방안을 마련했습니다.

AI 에이전트 시대가 도래하면서 CPU의 역할도 다시 주목받고 있습니다. AI 모델이 GPU에서 실행되는 동안, 에이전트가 수행하는 다양한 작업은 CPU 자원을 소모하기 때문입니다. 김 CTO는 "에이전트 시대에는 GPU뿐만 아니라 CPU 또한 새로운 병목 현상이 될 것"이라며, "효율적인 리소스 공유와 유휴 시간 감소를 위한 오케스트레이션 기술이 핵심 경쟁력이 될 것"이라고 설명했습니다.

향후 전망

AI 시장의 변화는 단순한 기술의 발전을 넘어, 전반적인 서비스 운영까지 영향을 미치고 있습니다. 래블업은 GPU 공급을 넘어 AI 인프라의 전 과정을 아우르는 풀스택 솔루션으로 자리매김할 계획입니다. 김준기 CTO는 “AI 에이전트 시대에 접어들면서 인프라의 가치가 더욱 중요해지고 있으며, 래블업이 이러한 시장의 흐름을 주도할 것”이라고 자신감을 보였습니다. 앞으로의 AI 시장에서 래블업의 행보가 기대되는 이유입니다.