Ai2, MoE 학습 효율 2.7배 높인 오픈소스 프레임워크 '올모 코어 3' 공개

최근 AI 모델의 규모가 증가하면서 해당 모델의 학습에 필요한 GPU 자원과 비용도 함께 상승하고 있습니다. 이러한 문제를 해결하기 위해 앨런 AI 연구소(Ai2)가 새롭게 공개한 오픈소스 프레임워크 '올모 코어 3(Olmo-core 3)'이 주목받고 있습니다. 이 프레임워크는 대규모 AI 모델의 학습 효율을 2.7배 향상시킬 수 있는 기술로, AI 연구자와 개발자에게 큰 도움을 줄 것으로 기대됩니다.

올모 코어 3의 혁신적인 설계

올모 코어 3의 핵심은 전문가 혼합(MoE, Mixture of Experts) 모델을 위한 새로운 학습 시스템입니다. MoE는 여러 개의 전문 신경망을 설정해 특정 입력 토큰에 대해 일부 전문가만 선택해 처리하는 방식을 적용합니다. 이렇게 하면 전체 매개변수 수가 많더라도 실제로 연산에 참여하는 매개변수를 제한할 수 있어 더 높은 연산 효율을 달성할 수 있습니다. 그러나 MoE 모델이 대규모로 확장될 경우, 전문가를 여러 GPU에 배치하는 과정에서 발생하는 통신 비용이 효율성을 떨어뜨리는 원인이 되기도 합니다.

Ai2는 이러한 문제를 해결하기 위해 기존의 완전 샤딩 데이터 병렬 처리 방식에서 분산 데이터 병렬 처리(DDP, Distributed Data Parallelism) 기반 시스템으로 전환했습니다. 기존 시스템은 매번 작은 학습 배치마다 모델 가중치를 모으고 다시 분산하는 복잡한 과정을 거쳤지만, 올모 코어 3는 전문가를 GPU에 상주시키고 필요한 데이터를 해당 GPU로 전달함으로써 이러한 부담을 크게 줄였습니다.

성능 검증과 안정성

올모 코어 3의 성능은 사전 벤치마크를 통해 입증되었습니다. 엔비디아 'B300' GPU 8대를 활용한 테스트에서, 470억 개의 매개변수를 가진 MoE 모델은 GPU당 초당 5만 2000개 토큰을 처리하며, 기존 시스템보다 약 2.7배 높은 효율성을 기록했습니다. 전문가 수를 늘리고 전체 규모를 470억 개로 확장하는 실험에서도 학습 처리량 감소 폭이 5% 미만으로 유지되며 안정적인 확장성을 보여주었습니다.

이와 함께, 대규모 모델을 여러 GPU에 효과적으로 분산시키는 기술과 행 단위 전문가 병렬화, GPU 상주 라우팅, 그룹형 행렬 곱셈(GEMM) 등을 결합해 데이터 이동 비용을 최소화하는 성과도 이루어냈습니다. 특히 저정밀도 연산 형식인 MXFP8의 적용을 통해 학습 처리량을 약 21% 증가시키고 최대 활성 메모리 사용량을 줄이는 성과를 달성했습니다.

오픈소스의 접근성 확대

Ai2는 이번 올모 코어 3 프레임워크가 단순한 성능 향상에 그치지 않고, 학습 과정 전체의 균형을 고려하여 설계되었다고 강조했습니다. 연구자와 개발자는 이 프레임워크를 활용해 자신만의 MoE 모델을 학습하고, 하드웨어 환경에 맞춰 시스템을 조정하거나 전문가 라우팅과 병렬화 기법을 실험할 수 있습니다. Ai2는 관련 코드와 기술 보고서를 깃허브를 통해 공개하여 대규모 AI 모델 학습 인프라에 대한 접근성을 높이겠다는 방침입니다.

올모 코어 3의 출시는 AI 연구자들에게 새로운 기회를 제공할 것입니다. 학습 효율을 극대화하고 높은 성능을 유지할 수 있는 이 오픈소스 프레임워크는, 앞으로 AI 모델 개발의 패러다임을 변화시킬 중요한 이정표가 될 것입니다.