“180B 모델, 개인용 노트북으로 구동”...비드래프트, 고성능 모델 경량화 전략 이어간다

비드래프트가 최근 개인용 노트북에서도 실행 가능한 고성능 AI 모델을 발표하면서 IT 업계에 큰 화제를 불러일으키고 있다. 이 회사는 자사의 최신 경량화 모델인 ‘포켓-다윈-180B-GGUF’를 통해 1800억 개의 매개변수를 가진 모델을 개인 사용자가 손쉽게 접근할 수 있도록 한 것이다. 이번 발표는 AI 기술의 대중화에 한 걸음 더 다가선 의미 있는 전환점으로 평가된다.

경량화 기술의 혁신

비드래프트가 공개한 포켓-다윈-180B-GGUF 모델은 기존의 다윈-180B-RSI 모델에서 파라미터를 선별적으로 활성화하는 방식으로 성능을 유지하면서도 용량을 대폭 줄인 혁신적인 모델이다. 원본 모델은 무려 360GB에 달하는 대용량의 파일로, 이를 실행하기 위해서는 고사양의 서버가 필요했다. 그러나 비드래프트는 이 모델의 크기를 111GB로 줄여, 200만 원대의 게이밍 노트북에서도 원활하게 작동할 수 있도록 했다. 이는 기존 서버 환경에서의 실행 비용 대비 약 250분의 1로, 경제적 부담을 대폭 완화시킨다.

이 모델의 핵심 기술은 전문가 혼합(MoE) 구조로, 512개의 신경망 중에서 상황에 맞는 약 30억 개의 파라미터만을 선택적으로 활성화하여 효율성을 극대화한다. 이렇게 함으로써 전체 모델의 복잡성을 크게 줄이고, 동시에 처리 성능은 유지하는 데 성공했다. 특히, 비드래프트는 4비트 양자화 기술을 도입해 데이터 압축률을 높이는 동시에 성능 저하를 최소화했다. 실제 테스트 결과, 압축 전후의 성능 차이는 미미해, 안정적으로 고성능 AI 기능을 제공할 수 있음을 입증했다.

개인사용자를 위한 AI 솔루션

포켓-다윈-180B-GGUF는 GGUF 형식으로 배포되어, 개인 사용자가 별도의 클라우드 환경 없이도 쉽게 활용할 수 있는 점이 큰 장점이다. GGUF는 오픈소스 추론 엔진인 llama.cpp에서 사용하는 파일 형식으로, 가벼운 파일 구조 덕분에 손쉽게 다운로드하고 실행할 수 있다. 4개의 파일만으로도 전체 모델을 사용 가능하며, 최신 추론 엔진에서는 간단한 명령어로 실행이 가능하다. 이는 기업과 공공기관에서 데이터 전송이 어려운 상황에서도 유용하게 활용될 수 있는 기반을 제공한다.

특히, 비드래프트는 이 모델을 활용해 AI 기술을 필요한 상황에 맞게 조정할 수 있는 수단이 될 것이라고 강조하고 있다. 사내 서버나 미니PC에서 실행할 수 있는 포켓-다윈은 기업들이 데이터 보안 문제를 해결하면서도 AI의 이점을 누릴 수 있도록 하여, 더욱 다양한 응용 프로그램에 활용될 것으로 기대된다.

미래를 향한 비전

비드래프트의 경량화 AI 모델은 고성능 AI 기술을 개인 사용자에게까지 확장할 수 있는 가능성을 보여주며, AI의 대중화에 중요한 역할을 할 것으로 전망된다. 김민식 대표는 “재귀적 자기개선(RSI) 기법을 통해 성능을 끌어올리고, 포켓 모델로 어디에서나 AI를 활용할 수 있게 만드는 것이 우리의 목표”라며, 앞으로 더욱 진화된 AI 서비스를 제공할 것을 다짐했다.

이러한 기술적 진보는 AI 분야에서의 경쟁력을 높이는 것은 물론, 다양한 산업에서의 활용 가능성을 더욱 넓혀 줄 것으로 기대된다. 앞으로 비드래프트가 어떤 추가 혁신을 이루어낼지 주목된다.