'애플 인수설' 프리즘ML, 270억 매개변수 모델 5.9GB로 압축

애플의 인수 검토에 힘입어 주목받고 있는 AI 스타트업 프리즘ML(PrismML)이 최근 한층 더 발전된 온디바이스 AI 모델을 발표했다. 이 모델은 270억 개의 매개변수를 갖춘 대형 언어 모델(LLM)로, 놀랍게도 크기를 5.9GB로 압축하여 일반적인 PC, 노트북 및 고성능 스마트폰에서도 원활히 작동할 수 있도록 설계되었다. 프리즘ML은 과거에도 54GB 크기의 모델을 4GB 미만으로 줄여 아이폰 17 프로에서 성공적으로 구동한 바 있어, 이번 발표는 그 연장선상에서 이뤄진 혁신으로 볼 수 있다.

혁신적인 압축 기술

프리즘ML의 최신 모델 '터너리 본사이 2 27B(Ternary Bonsai 2 27B)'는 알리바바의 오픈소스 LLM인 '큐원2.5 27B(Qwen2.5 27B)'를 기반으로 하고 있다. 이 모델은 기존의 FP16(16비트 부동소수점) 정밀도로 저장될 경우 53.8GB에 달하는 용량을 성능 저하를 최소화하며 5.93GB까지 압축하는 데 성공했다. 특히 주목할 만한 점은, 가중치 표현 방식을 기존의 16비트에서 -1, 0, +1의 3가지 값만을 사용하는 '3진 가중치' 방식으로 전환했다는 점이다. 이를 통해 메모리 사용량을 원본 대비 9분의 1 이하로 줄일 수 있었다.

이러한 혁신은 전체 273억6000만 개의 매개변수 중 대다수를 저비트로 처리하면서도, 일부 정규화된 가중치와 상태값은 고정밀도로 유지하여 효율성과 정확성을 동시에 확보하는 데 기여했다. 벤치마크 평가에서도 터너리 본사이 2 27B는 원본 모델 성능의 98.2%를 유지하는 성과를 달성했다. 이는 두 달 전 발표된 최초의 본사이 27B 모델 성능 유지율인 약 95%에서 한 단계 더 발전한 결과다.

성능과 효율성의 조화

프리즘ML의 새로운 모델은 다양한 작업에서 뛰어난 성능을 보여준다. 추론, 수학, 코딩, 지시 수행, 이미지 이해 등 여러 분야에서 정교한 결과를 도출하는 능력을 갖추고 있다. 그러나 여러 단계를 연쇄적으로 수행해야 하는 복잡한 에이전트 작업에서는 여전히 성능 격차가 존재하는 점은 아쉬운 부분이다. 예를 들어, '터미널-벤치 2.1'에서는 52.8점, 'SWE-벤치 베리파이드'에서는 60.8점을 기록해 원본 모델에 비해 낮은 점수를 받았다.

그럼에도 불구하고 실행 속도와 전력 소비 효율성에서는 큰 향상을 이루었다. 엔비디아 RTX 5090 환경에서는 초당 최대 142.5토큰을 생성할 수 있으며, 애플의 M5 맥스 칩 기반 단말기에서도 초당 46.8토큰을 기록했다. 특히 RTX 4090에서의 전력 소비는 0.714밀리와트시(mWh)로, FP16 방식의 80억 매개변수 모델보다 약 40% 높은 에너지 효율성을 자랑한다.

온디바이스 AI의 미래

프리즘ML의 혁신적인 압축 기술은 클라우드 서버 의존도를 대폭 낮추며, 보안과 반응 속도를 극대화하는 온디바이스 AI 구현에 한 걸음 더 다가가게 했다. 동일한 하드웨어 사양에서 더 많은 사용자 요청을 처리할 수 있어, 코딩 에이전트, 문서 분석, 컴퓨터 제어 등 다양한 분야에 즉시 활용될 수 있을 것으로 기대된다.

프리즘ML의 '터너리 본사이 2 27B'는 텍스트와 이미지 입력이 모두 가능한 멀티모달 모델로, 최대 26만2000토큰의 긴 문맥을 지원한다. 이러한 다재다능한 기능은 향후 AI의 활용 범위를 넓히고, 사용자 경험을 한층 향상시키는 데 기여할 것으로 보인다. AI 기술의 발전과 함께 프리즘ML이 어떠한 행보를 이어갈지, 앞으로의 행보가 주목된다.