노타, '키미 K3' 경량화 모델 2종 공개..."GPU 최대 50% 절감"

노타가 개발한 경량화 AI 모델로 GPU 사용량 혁신

노타(대표 채명수)는 5일, 허깅페이스 플랫폼을 통해 문샷 AI의 ‘키미 K3’ 모델을 경량화한 두 가지 새로운 모델을 공개했습니다. 이 모델들은 GPU 사용량을 최대 50%까지 절감하며, 특히 고성능 AI 연산이 필요한 환경에서 효율성을 크게 개선할 것으로 기대됩니다. 이번 발표는 AI 기술의 발전과 에너지 효율성 향상을 동시에 추구하는 노타의 지속적인 노력의 일환으로 볼 수 있습니다.

비균일 전문가 프루닝 기술의 힘

노타의 경량화 기술은 ‘비균일 전문가 프루닝’으로, 모델의 각 층의 특성과 중요도를 분석하여 핵심 모듈은 유지하고 상대적으로 기여도가 낮은 모듈을 선택적으로 제거하는 방식입니다. 기존의 경량화 방식은 모든 층을 동일하게 줄이는 경향이 있었지만, 노타의 접근법은 각 층의 특성을 고려하여 성능 저하를 최소화합니다.

이 기술 덕분에 기존의 엔비디아 GPU ‘B300’ 8장이 필요했던 키미 K3 모델은 각각 6장, 4장만으로도 구동이 가능해졌습니다. 전문가 모듈이 각각 25%, 50%로 축소될 수 있었고, 이는 AI 모델이 다양한 작업을 수행하는 데 있어 유연성을 높여주는 요소로 작용할 것입니다.

성능과 효율성의 조화

노타는 새롭게 경량화된 모델의 성능을 자사 평가를 통해 검증했습니다. 층별 전문가를 동일 비율로 제거하는 기존의 ‘REAP’ 방식과 비교했을 때, 노타의 50% 경량화 모델은 대다수 벤치마크에서 더 높은 성능 보존율을 기록했습니다. 특히, 고난도 과학 및 추론 능력을 평가하는 ‘GPQA-다이아몬드’와 사용자 지시 수행 능력을 평가하는 ‘IFEval’ 점수에서 각각 2.52점, 2.22점 더 높은 결과를 나타내며 성능의 우수성을 입증했습니다.

이러한 성과는 AI 모델의 경량화가 단순히 자원의 절약을 넘어, 실제 사용 환경에서의 성능 향상으로 이어질 수 있음을 보여줍니다. 따라서 노타는 이러한 기술을 통해 고객이 필요로 하는 높은 성능과 효율성을 동시에 제공할 수 있게 되었습니다.

미래를 향한 도전과 비전

김태호 노타 최고 기술책임자(CTO)는 “비균일 전문가 프루닝 기술을 통해 키미 K3를 성공적으로 경량화하여 주요 성능을 유지하면서 GPU 사용량을 대폭 줄였다”며, “앞으로도 다양한 프론티어급 AI 모델을 한정된 연산 자원에서도 효율적으로 활용할 수 있도록 기술 적용 범위를 확대하겠다”고 밝혔습니다.

이번 경량화 모델의 발표는 AI 기술의 지속 가능한 발전에 중요한 이정표가 될 것으로 보입니다. 기술의 발전과 에너지 효율성을 동시에 추구하는 노타의 노력이 앞으로의 AI 산업에 긍정적인 영향을 미칠 것으로 기대됩니다. AI 기술이 더욱 발전하고 보편화됨에 따라, 이러한 혁신적인 접근법은 향후 다양한 분야에서의 활용 가능성을 더욱 넓혀줄 것입니다.