AMD·세레브라스, AI 추론 플랫폼 협력..."프롬프트-토큰 생성 분리로 성능 5배 높인다"

AMD와 세레브라스의 협력으로 AI 추론 혁신을 기대하다

AI 기술이 일상으로 깊숙이 스며들면서, 추론(inference) 과정의 중요성이 날로 커지고 있습니다. 이에 따라 AMD와 세레브라스가 차세대 AI 추론 플랫폼을 공동 개발하겠다고 발표했습니다. 이번 협력은 각각의 강점을 극대화하여, 전력 대비 토큰 생성 성능을 최대 5배 향상시키는 것을 목표로 하고 있습니다.

새로운 AI 추론 플랫폼의 비전

AMD의 헬리오스(Helios)와 세레브라스의 웨이퍼 스케일 엔진(WSE)을 통합해 개발될 이 플랫폼은, AI 추론의 각 단계를 효과적으로 분리하여 맡은 역할을 수행하게 됩니다. 헬리오스는 대규모 프롬프트 처리와 긴 컨텍스트 연산을 담당하며, 세레브라스의 WSE는 메모리 대역폭이 중요한 토큰 생성 작업을 맡습니다. 이 구조는 AI 시스템의 효율성을 극대화하여, 지연 시간을 최소화하고 빠른 응답성을 확보하는 데 기여할 것입니다.

AMD의 헬리오스는 차세대 EPYC 프로세서와 '인스팅트 MI400' AI 가속기를 기반으로 하여, 복잡한 요청과 대량의 데이터를 처리하는 데 최적화되어 있습니다. 반면 세레브라스의 WSE는 고속의 토큰 생성을 위해 높은 메모리 대역폭과 처리량을 활용하는 방식으로 설계되었습니다. 이러한 역할 분담은 두 회사의 기술적 강점을 조화롭게 결합하여, AI 추론의 새로운 패러다임을 제시할 것으로 기대됩니다.

역할 분담의 혁신

이번 플랫폼은 기존의 단일 시스템에서 벗어나, 하드웨어의 역할을 명확히 나누어 운영하는 구조를 지향합니다. AMD와 세레브라스는 각자의 시스템이 하나의 통합된 추론 시스템처럼 작동하도록 하여, 기존의 단일 솔루션보다 더 높은 성능을 발휘할 수 있도록 설계했습니다. 이는 특히 AI 연산을 수행하는 기업들에게 매력적인 선택이 될 것입니다.

특히, 이 접근 방식은 엔비디아가 제안한 분산형 추론 구조인 CPX와 유사하지만, 각 하드웨어의 역할을 반대로 설정한 점이 특징입니다. 엔비디아는 프리필 단계에 연산 성능이 뛰어난 GPU를 사용하고, 토큰 생성 단계에는 고대역폭 메모리를 가진 GPU를 사용하는 구조를 제안하였지만, AMD와 세레브라스는 헬리오스가 프롬프트와 대규모 컨텍스트를 처리하고 WSE가 지연 시간에 민감한 토큰 생성을 담당하도록 구성하였습니다.

AI 추론의 미래

세레브라스는 이 공동 플랫폼을 자사의 데이터센터에 구축하고 기존 WSE 랙과 통합하여 운영할 계획입니다. 이 플랫폼은 2026년 하반기부터 세레브라스 클라우드를 통해 제공될 예정이며, AI 추론 비중이 급격히 증가하는 현재의 상황에서 더욱 주목받을 것입니다.

AI 분야에서의 경쟁은 단순히 기술력의 차이를 넘어, 효율성과 성능을 극대화하는 방향으로 발전하고 있습니다. AMD와 세레브라스의 협력은 이러한 변화의 일환으로, 향후 AI 추론 시장에서 큰 변화를 불러올 것으로 기대됩니다. 이 플랫폼이 성공적으로 구현된다면, AI 연산의 새로운 기준을 제시하며, 다양한 산업 분야에서의 활용도도 한층 확대될 것입니다.