노타, 업스테이지 '솔라 오픈 2' GPU 2장만으로 구동 성공

노타, 업스테이지의 AI 모델 '솔라 오픈 2'를 GPU 2장으로 구동

AI 기술이 급격히 발전하면서, 기업들이 보다 효율적이고 실용적인 AI 솔루션을 찾고 있는 가운데, 노타가 그 해답 중 하나를 제시했다. 27일, 노타(대표 채명수)는 업스테이지의 최신 독자 AI 파운데이션 모델인 '솔라 오픈 2'의 전용 경량화 모델을 공개하였다. 이 모델은 문서 작업, 코딩, 툴 호출 및 다단계 추론 등 다양한 작업에 최적화된 대형 언어 모델(LLM)로, 기업들이 실제로 활용할 수 있는 가능성을 더욱 높였다.

솔라 오픈 2의 혁신적인 구조

'솔라 오픈 2'는 2500억 개의 매개변수를 기반으로 한 오픈웨이트 모델이다. 그러나 이 모델의 독특한 점은 연산 효율성을 극대화하기 위해 설계된 전문가 혼합(MoE) 구조를 도입한 것이다. 이 구조는 실제 작업 시 150억 개의 매개변수만 활성화되도록 하여, 필요한 만큼의 연산만 수행할 수 있도록 한다. 이는 기업들이 AI를 구현하는 데 필요한 하드웨어 비용을 크게 줄일 수 있는 기회를 제공한다.

노타는 이 경량화 모델을 통해 가중치 메모리를 500.6GB에서 117.8GB로 76.5% 줄일 수 있었으며, 이는 기존에 엔비디아 H100 GPU 8장이 필요했던 GPU 환경을 단 2장으로 바꿀 수 있게 해주었다. 이러한 발전은 AI 모델을 구동하는 데 드는 비용과 인프라 부담을 크게 경감시킬 것으로 기대된다.

경량화 기술의 핵심

경량화 과정에는 데이터 기반 MoE 양자화, 라우터 인지형 MoE 양자화, 비균일 전역 프루닝 기술 등이 사용됐다. 이러한 기술들은 모델 가중치를 4비트 형식으로 변환하고, 중요도가 낮은 연산 모듈을 정리하여 전체 시스템의 효율성을 높였다. 이 과정에서도 솔라 오픈 2의 핵심 기능인 툴 호출 기능은 안정적으로 유지되어, 실질적으로 비즈니스 환경에서도 충분히 활용 가능하다는 점이 강조되었다.

김태호 노타 최고 기술책임자(CTO)는 "앞으로도 기업들이 자사의 환경에 적합한 에이전트 AI를 도입하고 활용할 수 있도록, 모델 구조와 하드웨어 환경에 맞춘 양자화 및 경량화 기술을 지속적으로 발전시켜 나가겠다"고 포부를 밝혔다.

미래의 AI 도입을 위한 기회

이번 노타의 성과는 AI 기술이 기업에 실질적으로 적용될 수 있는 길을 열어주는 중요한 이정표가 될 것으로 보인다. 기업들은 이제 대규모 인프라를 갖추지 않고도 강력한 AI 솔루션을 구현할 수 있게 되었으며, 이는 AI 도입에 대한 경제적 장벽을 낮출 것으로 예상된다.

노타의 경량화 모델은 단순한 기술 혁신을 넘어, 기업들이 AI를 보다 효과적으로 활용할 수 있는 기반을 마련해줄 것으로 기대된다. 앞으로 AI 분야의 발전이 어떤 방향으로 나아갈지, 그리고 기업들이 이를 어떻게 활용해 나갈지를 주목해볼 필요가 있다.