모레, 이기종 AI 가속기 하나처럼 활용하는 ‘토큰 팩토리 OS’ 제시

모레가 제안한 ‘토큰 팩토리 OS’: AI 데이터센터의 새로운 전환점

AI 기술의 발전과 데이터센터의 복잡성이 갈수록 높아짐에 따라, 효율적인 리소스 관리와 최적화가 중요한 과제로 떠오르고 있다. 이러한 흐름 속에서 AI 인프라 전문 기업 모레가 새로운 운영 패러다임인 ‘토큰 팩토리(Token Factory)’ 개념을 도입하며 주목받고 있다. 모레는 최근 미국 산타클라라에서 열린 ‘AI 인프라 서밋 2026’에서 이기종 AI 가속기를 통합하여 운영할 수 있는 ‘토큰 팩토리 OS’를 발표했다. 이 시스템은 다양한 가속기를 하나의 자원 풀처럼 활용하여 AI 모델의 토큰 생산 효율을 극대화하는 데 중점을 두고 있다.

토큰 팩토리 OS의 핵심 원리

‘토큰 팩토리 OS’는 특정 하드웨어나 소프트웨어에 종속되지 않고, 데이터센터에 존재하는 다양한 가속기를 유기적으로 연결하여 작동한다. 이 시스템은 각 AI 모델과 요청에 따라 최적의 추론 경로를 구성하고, 서로 다른 가속기에서 발생하는 작업을 분산시켜 데이터센터 전체의 효율성을 극대화한다. 특히, 모레는 ‘모아이(MoAI) 추론 프레임워크’를 통해 이러한 분산 처리 기술을 구현하고, 가속기별 특성에 맞는 작업을 할당함으로써, 특정 하드웨어에 의존하지 않고도 효율적인 리소스 활용이 가능하다는 점을 강조했다.

모레는 엔비디아의 ‘H100’과 AMD의 ‘MI300X’ 같은 이기종 가속기를 결합하여 프롬프트 처리와 응답 생성을 각각의 가속기가 담당하도록 하는 방식을 통해 실질적인 성과를 입증했다. 이러한 방식으로는 기존 벤더 기반 시스템 대비 최대 1.67배의 처리량 향상을 실현했다고 전했다. 이는 단순히 하나의 GPU에서 모든 작업을 처리하는 방식에서 벗어나, 각 가속기의 장점을 최대한 활용하는 접근 방식이 데이터센터의 성과를 극대화할 수 있음을 보여준다.

AI 데이터센터의 미래

조강원 모레 대표는 이번 행사에서 AI 데이터센터의 미래를 ‘토큰 팩토리’라는 새로운 개념으로 설명하며, AI 모델의 토큰을 얼마나 효율적으로 생산하고 판매하는지가 경쟁력을 좌우할 것이라고 강조했다. 그는 “이제 데이터센터의 핵심 가치는 GPU의 수와 성능이 아니라, 다양한 가속기를 얼마나 효과적으로 활용하느냐에 달려 있다”고 덧붙였다. 이는 AI 데이터센터가 단순한 하드웨어 제공을 넘어, 경제적이고 효율적인 토큰 생산의 허브로 전환되고 있다는 점을 시사한다.

모레의 새로운 ‘토큰 팩토리 OS’는 AI 데이터센터의 운영 방식을 혁신적으로 변화시킬 수 있는 가능성을 지니고 있다. 이 시스템은 다양한 가속기를 통합하여 더 나은 성능과 효율성을 제공함으로써, AI 기술의 발전을 가속화할 것으로 기대된다. 앞으로 데이터센터가 어떻게 진화해 나갈지, 그리고 이러한 변화가 AI 생태계에 미칠 영향은 더욱 주목할 만한 상황이다. AI 인프라의 미래를 위해 모레가 제시한 새로운 길이 어떤 성과를 이끌어낼지 귀추가 주목된다.