모레, 텐스토렌트 시스템의 LLM 추론 성능 입증…"GPU 중심 인프라 대체"

AI 인프라 전문 기업 모레가 최근 미국 샌프란시스코에서 열린 기술 행사에서 자사의 최신 성과를 발표했다. 회사는 텐스토렌트의 혁신적인 '갤럭시 웜홀(Galaxy Wormhole)' 시스템에 자사의 모아이(MoAI) 추론 프레임워크를 적용하여 대형 언어 모델(LLM) 추론 성능을 검증했다. 이번 발표는 대형 언어 모델을 위한 새로운 AI 인프라의 가능성을 제시하는 중요한 이정표로 평가받고 있다.

혁신적인 LLM 추론 성능

모레는 텐스토렌트의 갤럭시 웜홀 시스템을 통해 ‘GPT-OSS’, ‘큐원’, ‘GLM’, ‘딥시크’와 같은 최신 전문가 혼합(MoE) 모델을 테스트한 결과, 엔비디아의 DGX A100 수준 이상의 LLM 추론 성능을 달성했다고 밝혔다. 이는 기존의 GPU 중심 AI 인프라를 대체할 수 있는 수준이라는 점에서 큰 의미를 갖는다. 특히, 모아이 추론 프레임워크는 다양한 GPU와 NPU를 통합하여 활용할 수 있는 이종 클러스터를 가능케 함으로써, 특정 벤더에 종속되지 않은 유연한 인프라 전략을 구축할 수 있도록 돕는다.

모레의 대표이자 CEO인 조강원은 "이번 성과는 실제 서비스 환경에서 적용 가능한 LLM 추론 성능과 안정성을 확보했다는 점에서 중요한 전환점"이라고 강조하며, 앞으로 이종 GPU 간의 캐시 전송 효율화 및 NPU 통합을 통해 성능을 더욱 개선할 계획이라고 밝혔다.

비용 효율성을 높이는 새로운 구조

모레는 '이종 분산 서빙(Disaggregated Serving)' 구조를 통해 비용 효율성을 개선했다고 설명했다. 이 구조는 GPU와 텐스토렌트 웜홀 칩의 결합을 통해 이루어진다. 특히 입력 처리 전용으로 텐스토렌트 칩을 활용함으로써 고비용의 HBM(고대역폭메모리) 사용을 줄이고 전체 인프라 비용을 절감할 수 있었다. 이는 기업들이 경제적으로도 더 효율적인 AI 인프라를 구축할 수 있다는 것을 의미한다.

이번 발표에서 모레는 AMD GPU를 실제 데이터센터 서비스 환경에 적용한 경험을 바탕으로 텐스토렌트 시스템에서의 성과를 시연했다. 이러한 기술적 성과는 모레가 텐스토렌트의 전략적 파트너로서의 입지를 더욱 강화하는 계기가 될 것으로 보인다.

미래 지향적인 AI 인프라

모레의 이번 성과는 단순한 기술적 발전을 넘어, AI 인프라의 미래를 제시하는 중요한 신호탄이 되었다. LLM 추론의 성능 개선과 더불어, 다양한 AI 가속기를 자유롭게 활용할 수 있는 가능성은 많은 기업들에게 새로운 기회를 제공할 것이다.

모레는 향후에도 기술적 혁신을 통해 AI 인프라의 성능을 더욱 고도화할 계획이다. 이종 GPU 간의 최적화와 NPU의 통합 등 다양한 방안을 통해, 향후 AI 인프라의 새로운 표준을 제시하는 데 기여할 것으로 기대된다. AI 기술의 발전이 가져올 변화에 주목하며, 모레의 행보가 향후 어떤 방향으로 나아갈지 귀추가 주목된다.