320B '옥스 알파'를 PC서 구동…'GLM-5.3-플래시' 용량 81% 줄여

최근 지푸 AI(Z.ai)에서 발표한 최신 인공지능 모델, 'GLM-5.3-플래시'가 개인 PC에서도 실행 가능해지면서 많은 주목을 받고 있다. 이 모델은 이제 128GB 메모리를 갖춘 고사양 PC에서 직접 구동할 수 있어, AI 기술의 접근성을 크게 향상시킬 것으로 기대된다.

옥스 알파의 혁신, GLM-5.3-플래시

'GLM-5.3-플래시'는 '옥스 알파(Ox Alpha)'라는 이름으로도 알려져 있으며, 최근 오픈라우터에서는 6일 연속 사용량 1위를 기록했다. 이번 모델은 텍스트는 물론 이미지와 영상도 처리할 수 있는 멀티모달 기능을 갖추고 있으며, 최대 100만 토큰의 컨텍스트를 지원한다. 총 3200억 개의 매개변수 중 약 180억 개만 활성화되는 희소 MoE(Mixture of Experts) 구조를 채택해 효율성을 극대화했다. 그러나 기존의 가중치 파일은 수백 기가바이트에 달해 일반적인 PC에서 실행하기 어려운 난제를 안고 있었다.

이번에 발표된 'GLM-5.3-플래시' 버전은 3비트 GGUF(Generalized Unstructured Format)로 변환되어 원본 대비 약 81% 용량이 줄어든 120GB 파일 크기를 자랑한다. 덕분에 고사양 PC에서 모델 전체를 올려서 구동할 수 있는 환경이 마련된 것이다.

혁신적인 양자화 기술

언슬롯(Unsloth)은 이번 모델의 압축 과정에서 다이내믹 양자화 기법을 적용했다. 일반적인 일괄 양자화 방식은 모델 전체에 동일한 비트 압축을 적용해 정밀도가 떨어지는 한계가 있었다. 그러나 언슬롯은 '동적 레이어 선택형 양자화'를 도입, 중요도가 높은 레이어는 높은 정밀도를 유지하면서 덜 중요한 레이어는 3비트 이하로 압축하는 방식을 채택했다.

이 과정에서는 150만 토큰 이상의 캘리브레이션 데이터셋을 사용해 추론 정확도를 높였다. 이로 인해 GLM-5.3-플래시 모델은 원본 BF16 모델의 성능을 82% 수준으로 유지하면서도 용량을 크게 줄이는 성과를 거두었다. 또한 KL 다이버전스(KL Divergence) 기준을 통해 원본 모델과의 출력 확률 분포 차이를 지속적으로 모니터링하며 정밀도를 보존하는 점도 주목할 만하다.

개인 사용자를 위한 AI의 미래

이번 GLM-5.3-플래시 모델의 로컬 실행 지원은 단순한 모델 공개 이상의 의미를 지닌다. 과거에는 개인 PC에서 대형 AI 모델을 구동하기 위해 극단적인 압축이 필요했으며, 이 과정에서 성능 손실이 불가피했다. 그러나 이번 기술 발전으로 인해 수많은 개인 사용자들이 고사양 PC에서 이러한 대형 모델을 손쉽게 활용할 수 있는 시대가 열렸다.

AI 기술의 발전이 일반 사용자에게도 가까워지면서, 앞으로 더 많은 사람들이 인공지능을 통해 다양한 창작 활동이나 실험을 진행할 수 있는 기회를 얻게 될 것으로 보인다. 이는 개인의 창의력을 극대화하고, 새로운 비즈니스 모델과 기회를 창출할 수 있는 중요한 전환점이 될 것이다.