리퀴드 AI, '추측적 디코딩'으로 VLM 추론 3배 가속

리퀴드 AI가 비전-언어 모델(VLM)에서의 추론 속도를 획기적으로 향상시키는 새로운 기술을 공개했습니다. 이 기술은 소형 초안 모델이 여러 토큰을 동시에 예측하고, 대형 모델이 이를 검증하는 '추측적 디코딩' 방식을 기반으로 합니다. 이를 통해 리퀴드 AI는 '디스파크(DSpark)'라는 새로운 모델을 선보이며, 인공지능의 효율성을 한층 끌어올렸습니다.

디스파크: 추측적 디코딩의 혁신

리퀴드 AI는 24일(현지시간) 'LFM2.5-VL-3B' 모델에 대한 실험용 디스파크 드래프터를 발표했습니다. 이 드래프터는 기존의 텍스트 중심의 추측적 디코딩 기술을 이미지와 텍스트의 결합인 멀티모달 분야로 확장시킨 것으로, 향상된 속도는 물론 출력 품질까지 유지하는 것을 목표로 하고 있습니다.

추측적 디코딩은 전통적인 언어 모델이 하나의 토큰을 순차적으로 생성하는 방식에서 벗어나, 경량 모델인 드래프터가 미리 여러 토큰을 제안합니다. 그 후 대형 타깃 모델이 이 제안된 토큰들을 한 번에 검증하는 방식으로 진행됩니다. 이를 통해 리퀴드 AI는 애플의 'M5 맥스' 칩에서 디코딩 속도가 최대 3.13배, 엔드투엔드 처리 속도는 최대 2.62배 빨라졌다고 밝혔습니다. 이와 같은 성과는 엔비디아 'H100' 칩에서도 확인되었으며, 다양한 환경에서 활용 가능성을 제시합니다.

VLM의 한계를 넘어서기 위한 도전

디스파크의 발전으로 비전-언어 모델의 속도는 비약적으로 향상되었지만, 여전히 해결해야 할 과제가 남아 있습니다. 특히 인공지능의 비전 인코더와 텍스트 모델의 프리필 단계는 디코딩 속도 향상과는 별개로 처리되어야 하며, 이 부분의 병목 현상은 여전히 존재합니다. 따라서 디스파크는 디코딩 단계만 빠르게 만들어주는 역할을 수행하며, 전체 처리 시간의 단축은 작업의 성격에 따라 다르게 나타날 수 있습니다.

리퀴드 AI는 이번 기술 발표를 통해 VLM이 데이터센터는 물론 엣지 기기에서도 효과적으로 작동할 수 있는 가능성을 제시했습니다. 그러나, VLM의 최적화를 위해서는 비전 인코딩 및 프리필 과정의 효율성을 높이는 것이 다음 단계의 과제가 될 것입니다.

향후 전망과 의미

리퀴드 AI의 디스파크 모델은 VLM의 성능을 크게 개선할 수 있는 중요한 이정표가 될 것으로 기대됩니다. 특히, 데이터센터에서 뿐만 아니라 개인 사용자가 주로 이용하는 엣지 기기에서도 더욱 빠르고 효율적으로 작동할 수 있는 길을 열었습니다. 이는 온디바이스 AI의 실용성을 높이는 데 큰 기여를 할 것으로 보이며, 앞으로 다양한 분야에서의 활용이 기대됩니다. 기술의 발전이 인공지능의 접근성과 효율성을 한층 더 높일 것으로 전망되는 가운데, VLM 최적화에 대한 지속적인 연구와 개발이 필요할 것입니다.