리퀴드 AI ‘디스파크’, 메모리 병목 뚫었다…소형 모델이 미리 쓰고 대형 모델이 검증

리퀴드 AI가 최근 발표한 '디스파크(DSpark)' 기술은 대형언어모델(LLM)의 성능을 한층 더 끌어올릴 수 있는 혁신적인 접근 방식을 제시하고 있습니다. 이번 기술은 AI의 추론 과정에서 발생하는 메모리 병목 현상을 효과적으로 해결하며, 소형 모델이 생성한 결과를 대형 모델이 검증하는 방식으로 추론 속도를 획기적으로 향상시킵니다. 이러한 방향은 단순히 모델의 크기나 정확도를 넘어, 실제 사용 환경에서의 효율성을 더욱 강조하는 흐름의 일환으로 볼 수 있습니다.

디스파크 기술의 핵심

디스파크는 리퀴드 AI의 자체 모델인 'LFM2.5' 시리즈와 함께 작동하여, 약 3억 개의 매개변수를 가진 경량 모델이 여러 후보 토큰을 사전 생성하고, 대형 모델이 이를 한 번의 연산으로 검증하는 방식을 채택합니다. 이 방식에서는 대형 모델이 메모리에서 가중치를 불러오는 비용을 여러 토큰에 나눠서 처리함으로써, 전체 생성 속도를 크게 향상시킵니다. 리퀴드 AI는 이 기술을 통해 GPU 환경에서 최대 3.18배, 온디바이스 환경에서는 최대 2.87배의 디코딩 처리량 향상을 이뤄냈다고 설명합니다.

추측 디코딩 방식의 도입은 특히 주목할 만합니다. 일반적인 디코딩 과정에서 대형 모델은 각 토큰을 생성하기 위해 메모리 접근을 반복해야 하지만, 디스파크는 초안 모델이 후보 토큰을 먼저 생성한 후, 대형 모델이 이를 검증함으로써 메모리 접근 횟수를 줄이고 효율성을 극대화합니다. 이를 통해 AI의 응답 속도가 빨라지고, 사용자 경험이 크게 개선되는 효과를 가져옵니다.

성능 테스트와 결과

리퀴드 AI는 LFM2.5-2.6B 모델을 대상으로 H100 GPU 및 애플 M4 Max를 통해 실제 성능 테스트를 진행했습니다. 그 결과 GPU 환경에서는 3.18배, 온디바이스 환경에서는 2.87배의 성능 개선이 확인되었으며, 특히 AI 에이전트 환경에서의 효과가 두드러졌습니다. 여러 도구를 사용하는 시나리오에서 평균 지연시간이 57% 감소한 것은 디스파크 기술의 효율성을 입증하는 사례로, AI가 다양한 작업을 동시에 수행할 때 발생하는 지연을 크게 줄이는 성과를 보여줍니다.

물론, 모델별로 성능 차이가 존재하는 점은 주의할 필요가 있습니다. 예를 들어, LFM2.5-1.2B-Instruct 모델의 경우 데이터셋에 따라 수용률 변동이 커 최대 52%의 속도 향상 폭을 보였고, LFM2.5-8B-A1B 모델은 GPU에서 2.54배 향상이 있었지만, 엣지 기기에서는 18% 향상에 그치는 경우도 있었습니다. 이러한 차이는 각 모델의 구조적 특성과 메모리 접근 방식에 기인한 것으로 분석됩니다.

향후 전망

리퀴드 AI의 디스파크 기술은 AI 모델의 추론 속도와 효율성을 높이는 중요한 전환점이 될 것으로 기대됩니다. 특히, 동시 사용자 수가 증가하는 환경에서도 디스파크의 효과는 더욱 뚜렷하게 나타나며, AI 에이전트의 성능을 극대화할 수 있는 가능성을 보여줍니다. 앞으로 리퀴드 AI는 디스파크 기술을 허깅페이스와 같은 플랫폼에 공개하고, 다양한 오픈소스 프레임워크와 통합하여 더 많은 사용자들이 즉시 활용할 수 있도록 지원할 계획입니다. 이는 AI 기술의 민주화를 더욱 가속화하고, 보다 많은 이들에게 실질적인 혜택을 제공할 수 있는 중요한 발걸음이 될 것입니다.