KAIST, ‘지식 재사용’으로 서버 호출 57% 줄였다…“증류·추가학습 필요 없어”

최근 국내 연구진이 효율적인 온디바이스 AI 기술을 개발하여 서버 호출 횟수를 57%나 줄이는 성과를 올렸다. 한국과학기술원(KAIST) 이재길 전산학부 교수 연구팀은 'CURE(Cumulative Knowledge Reuse, 누적 지식 재사용)'라는 프레임워크를 통해 이제까지의 기기-서버 협업 방식을 혁신적으로 개선했다. 이 기술은 기기가 한 번 학습한 지식을 내부 저장소에 쌓아두고 이를 재사용함으로써, 대형 AI 모델의 서버 의존도를 효과적으로 낮추는 데 중점을 두었다.

지식 재사용의 새로운 패러다임

CURE 프레임워크는 문제의 난이도에 따라 소형 AI 모델과 대형 AI 서버 간의 협업을 최적화하는 방식으로 설계되었다. 기존의 기기-서버 협업 형태는 소형 모델이 다루기 어려운 문제를 서버에 전송했지만, 도출된 결과를 저장하지 않아 같은 문제를 다시 서버에 요청해야 하는 비효율성을 보였다. CURE는 이러한 문제를 해결하기 위해, 먼저 소형 AI가 직접 입력을 처리할 수 있는지를 판단하고, 해결이 어려운 경우에만 기기에 저장된 서버 지식을 활용하도록 했다. 이 과정에서 소형 AI는 마치 학생이 선생님에게 질문하기 전에 자신의 지식을 먼저 활용하는 것과 유사하다.

특히 CURE는 서버에서 받은 결과를 그대로 저장하지 않고, 핵심 특징을 요약하여 기기에 보관하는 방식으로 운영된다. 이로 인해 지식이 축적되면서 관련 문제를 다시 마주했을 때 신속하게 대응할 수 있게 된다.

성능과 효율성의 균형

연구팀은 CURE의 성능을 기존 대형 AI 모델과 비교하여 평가한 결과, 두 모델 간 정확도는 평균 1~2%의 미세한 차이를 보였다. 이미지넷(ImageNet) 벤치마크에서는 CURE의 정확도가 82.43%로, 모든 이미지를 대형 서버에 전송했을 때의 83.68%와 유사한 성과를 나타냈다. 그러나 서버 호출 횟수는 평균 55.61% 감소했으며, 처리 속도는 기존 방식보다 최대 2.80배, 서버로 모든 입력을 보내는 방식보다 최대 3.67배 빨라졌다. 이는 대규모 서버 자원의 효율적인 활용과 함께, 사용자에게 더 나은 응답 속도를 제공할 수 있는 기반이 된다.

이재길 교수는 "CURE는 기존의 '지식 증류' 기술과는 다르다"며, "모델 가중치를 변경하거나 재학습하지 않고도 기존 모델에 적용 가능하다"고 설명했다. 즉, 추가 학습 데이터나 비용 없이도 소형 모델이 서버에서 얻은 지식을 축적하여 재사용할 수 있는 것이다.

향후 발전 방향

이번 연구는 스마트폰, 로봇, 웨어러블 기기 등 자원이 제한된 환경에서의 응답 속도 향상과 서버 운영 효율성을 높이는 데 기여할 것으로 기대된다. 하지만 연구진은 서버 호출 감소가 곧바로 비용 절감으로 이어지지는 않으며, 실제 사용 환경에서의 추가 검증이 필요하다고 강조했다. 이 교수는 "앞으로 다양한 모바일 환경에서 응답 속도, 전력 소모, 저장 공간 및 장기 안정성을 추가로 확인할 것"이라며, 비전-언어 과제로의 적용 범위를 넓히고 데이터 분포 변화에 강한 지식 관리 기법을 연구할 계획임을 밝혔다.

이러한 혁신적인 기술은 AI의 활용 범위를 더욱 확장하고, 사용자 경험을 개선하는 데 크게 기여할 전망이다.