알리바바, ‘큐원 3.8 플래시 넥스트’ 공개... "큐원4 아키텍처 미리보기"

알리바바가 차세대 AI 모델 ‘큐원3.8-플래시-넥스트’의 핵심 아키텍처를 공개하며, 차기 모델인 ‘큐원4’에 대한 기대감을 높이고 있다. 이 모델은 성능과 대규모 학습 비용의 효율성을 동시에 고려한 혁신적인 설계를 특징으로 하고 있으며, AI 분야에서의 경쟁력을 더욱 강화할 것으로 보인다.

성능과 효율성을 동시에 잡다

알리바바가 새롭게 선보인 큐원3.8-플래시-넥스트는 총 1800억 개의 매개변수로 구성된 전문가 혼합(MoE) 모델이다. 하지만 실제로 활성화되는 매개변수는 60억 개에 불과해, 학습 비용을 약 9분의 1로 줄이는 데 성공했다. 이러한 구조는 대규모 AI 서비스와 코딩, 에이전트 시장을 겨냥한 것으로, 개발자들에게 비용 효율적인 AI 솔루션을 제공할 것으로 기대된다.

큐원3.8-플래시-넥스트는 1250억 개의 매개변수를 갖춘 주 모델에 510억 개의 N-그램 임베딩과 40억 개의 멀티토큰 예측(MTP) 모듈을 결합하여, 전체적인 모델의 성능을 더욱 끌어올렸다. 이 모델은 512개의 전문가를 보유한 희소 MoE 구조를 통해, 각 토큰마다 10개의 라우팅 전문가와 1개의 공유 전문가만을 활성화한다. 이로 인해 대량의 매개변수를 사용하면서도 연산량을 획기적으로 줄이는 데 성공한 것이다.

혁신적인 아키텍처 설계

큐원3.8-플래시-넥스트의 핵심 변화는 어텐션, 잔차 연결, 임베딩 및 최적화의 네 가지 영역에서 이뤄졌다. 어텐션 구조에는 GDN(Gated DeltaNet)과 QSA(Qwen Sparse Attention)를 결합한 하이브리드 방식이 도입됐다. 이 방식은 긴 문맥을 처리하는 데 필요한 연산량을 줄이며, 전체 48개 레이어 중 3개는 선형 어텐션 GDN을 사용하고, 나머지 1개는 QSA를 활용하여 중요한 정보를 신속하게 추출한다.

또한, 잔차 연결에 GR(Gated Residual) 기술이 적용되어 초기 정보가 신경망에서 희석되는 문제를 해결하고, 학습의 안정성을 높였다. N-그램 임베딩은 현재 토큰과 이전 토큰의 조합을 활용해 자주 등장하는 구문과 패턴을 저장하는 방식으로, 매개변수를 늘리면서도 토큰당 연산 부담을 최소화하는 목표를 가지고 있다.

향후 전망 및 의미

큐원3.8-플래시-넥스트는 코딩과 에이전트 업무에서 좋은 성능을 발휘하고 있으며, 다양한 벤치마크에서 높은 점수를 기록했다. 하지만 고난도 추론 평가에서는 여전히 격차가 존재하는 것으로 나타났다. 이 모델은 기본적으로 26만 2144토큰의 컨텍스트 길이를 지원하며, 최대 100만 토큰까지 확장할 수 있어 대규모 문서나 긴 대화도 처리할 수 있는 장점이 있다.

알리바바의 이번 발표는 AI 모델의 발전 방향을 제시하며, 개발자와 연구자들에게 새로운 가능성을 열어주는 계기가 될 것으로 기대된다. 큐원4는 이러한 혁신을 바탕으로 AI 분야에서의 경쟁력을 강화하는 데 큰 역할을 할 것으로 보인다. 향후 알리바바의 AI 기술이 어떤 방향으로 발전할지 귀추가 주목된다.