엔비디아, AI 모델 라우팅 병목 뚫었다...‘선형 연산’으로 KV 캐시 전송 성공

엔비디아가 AI 모델 간의 전환 시 발생하는 '라우팅 병목' 문제를 해결하기 위한 혁신적인 기술을 발표했다. 최근 공개된 이 기술은 AI 모델이 누적한 KV(Key-Value) 캐시를 다른 모델이 재활용할 수 있도록 변환하는 ‘크로스 모델 KV 캐시 전송(Cross-Model KV Cache Transfer)’ 방식을 활용한다. 이를 통해 AI 에이전트는 긴 대화나 복잡한 작업에서 여러 모델을 오갈 때 발생하는 막대한 연산 비용과 지연 시간을 획기적으로 줄일 수 있게 되었다.

라우팅 병목의 문제

AI가 대화나 작업을 수행하는 과정에서는 종종 여러 모델을 번갈아 사용해야 할 때가 있다. 이런 상황에서 기존 모델의 KV 캐시를 그대로 사용할 수 없기 때문에, 새로운 모델은 누적된 대화 내용을 처음부터 다시 계산해야 했다. 이는 특히 대화의 길이가 길어질수록 계산량과 지연시간이 크게 증가하는 문제를 초래했다. 엔비디아의 연구진은 이 문제를 해결하기 위해 한 모델이 생성한 KV 캐시를 다른 모델이 직접 사용할 수 있도록 변환하는 방안을 모색했다.

연구진은 AI 모델 간의 KV 캐시가 비슷한 패턴을 가진다는 점에 주목했다. 이는 같은 계열의 AI 모델이라면 그 크기와 상관없이 KV 캐시의 정보가 선형적 관계를 유지한다는 것이다. 이 원리를 바탕으로, 복잡한 AI 학습 과정을 거치지 않고도 간단한 수학적 계산을 통해 한 모델의 캐시를 다른 모델에 맞게 변환할 수 있는 가능성을 발견했다.

혁신적인 기술의 작동 원리

엔비디아의 새로운 기술은 헤드별 릿지 회귀(ridge regression)를 활용해 KV 캐시를 변환하는 방법을 사용한다. 이 과정에서 타깃 모델의 각 레이어에 가장 적합한 소스 모델의 레이어를 선택한 뒤, 소량의 데이터를 기반으로 KV 캐시를 변환하는 계산식을 구성한다. 연구진은 이를 통해 모델 간의 KV 캐시 전송이 가능하다는 것을 입증했다. 실제로 '큐원3 14B'와 '32B' 모델을 대상으로 한 실험에서는, 14B 모델의 정보만으로도 32B 모델의 키(Key)와 값(Value) 변화량의 상당 부분을 설명할 수 있었다.

이러한 접근법은 AI 모델 간의 KV 캐시 전송을 통해, 타깃 모델이 전체 문맥을 다시 프리필할 필요 없이 직접 디코딩할 수 있도록 만들어 준다. 실험 결과, KV 캐시를 변환하여 전달하는 방식이 기존의 방식보다 2.7배에서 최대 25배까지 빠른 속도를 기록하며, 정확도 또한 73%에서 98%까지 유지하는 성과를 보여주었다.

향후 전망과 의미

엔비디아의 이번 기술은 AI 모델의 효율성을 크게 향상시킬 것으로 기대된다. 특히 다양한 모델을 사용하는 복잡한 AI 에이전트 작업에서 시간과 자원을 절약할 수 있는 기회를 제공할 것이다. 그러나 모든 AI 모델 간에 KV 캐시를 자유롭게 주고받을 수 있는 단계에는 아직 이르지 않다. 연구진은 향후 서로 다른 모델 계열 간의 호환성 여부와 더 복잡한 구조에서의 성능을 향상시키기 위한 추가 연구를 계획하고 있다.

이러한 기술 발전은 AI 분야의 새로운 전환점이 될 것으로 보이며, 향후 다양한 산업에서 AI의 활용도를 높이는 데 기여할 것으로 기대된다. AI 모델 간의 원활한 소통이 가능해진다면, 보다 효율적이고 스마트한 에이전트를 통한 서비스 혁신이 실현될 날이 멀지 않은 것 같다.