"AI 검색 속도 최대 20배"...구글, 차세대 프레임워크 'R4T' 발표

구글이 차세대 AI 검색 프레임워크 'R4T'를 공개하며 검색 속도를 획기적으로 향상시키는 방안을 제시했다. 이 새로운 기술은 최대 20배에 달하는 검색 속도 개선을 통해 사용자 경험을 한층 더 매끄럽게 만들 것으로 기대된다. 구글은 15일(현지시간) 복잡한 AI 검색에서 발생하는 시간 지연과 추론 연산 비용 문제를 해결하기 위해 R4T라는 혁신적인 접근 방식을 선보였다.

복잡한 질문, 느린 검색 속도 문제

현재 AI 검색 시스템은 사용자로부터 입력된 질문을 다루는 과정에서 여러 세부 검색어로 나누고 이를 조합하는 복잡한 과정을 거친다. 이로 인해 막대한 계산이 필요하고, 그 결과 검색 응답이 지연되는 문제가 발생한다. 예를 들어, ‘캠핑 장비’라는 검색어를 입력하면 기존 시스템은 비슷한 텐트들만 보여주는 경우가 많았다. 사용자는 다양한 상품, 즉 텐트와 침낭, 스토브 등을 한 번에 보고 싶어 한다. 따라서 쿼리 팬아웃(query fan-out) 방식이 필요하지만, 대형 언어 모델(LLM)이 실시간으로 검색을 수행할 경우 ‘패러프레이즈 붕괴(paraphrastic collapse)’와 같은 문제가 발생한다. 이는 비슷한 의미의 검색어가 반복적으로 생성되는 현상으로, 검색의 효율성을 저해한다.

R4T의 혁신적인 접근

R4T는 이러한 문제를 사전 학습 단계에서 해결하는 데 초점을 맞춘다. 이 프레임워크는 강화학습(RL)을 통해 다양한 검색 전략을 학습한 후, 이를 경량 확산 모델(Diffusion Model)에 전달한다. 구체적으로, R4T는 먼저 대규모 오픈소스 모델을 활용해 검색 대상 데이터베이스에 적합한 다양한 하위 검색어를 생성할 수 있는 FOLM(fan-out language model)을 훈련한다.

이후 이 FOLM을 통해 지도학습 데이터를 합성하고, 확산 모델을 이용해 질의 임베딩에서 콘텐츠 임베딩을 직접 샘플링하는 방식으로 작동한다. 이 과정에서 각 검색 결과의 품질을 평가하며, 데이터베이스와의 연관성, 결과 간의 다양성, 원래 검색어와의 정렬 정도 등을 보상으로 활용한다. 이러한 접근 방식 덕분에 R4T는 기존 자기회귀 방식보다 검색 속도를 12배에서 최대 20배까지 높일 수 있었다.

실험 결과를 보면, 배치 크기가 8인 경우 자기회귀 방식의 팬아웃 검색에 약 1.46초가 걸리는 반면, R4T의 확산 모델은 단 0.07초 만에 결과를 도출했다. 배치 크기가 1024로 증가했을 때도 자기회귀 방식은 약 50초가 걸린 반면, R4T는 4.21초에 불과했다. 이처럼 속도 향상과 더불어 검색 품질 또한 유지된 것으로 나타났다.

AI 검색의 미래

구글의 R4T는 AI 검색의 고질적인 문제인 연산 병목과 지연 시간을 오프라인 학습 단계에서 효과적으로 해결한 중요한 기술적 이정표로 평가된다. 연구진은 향후 R4T가 복잡한 질의를 처리하는 실시간 AI 검색 및 추천 서비스에 적용되어 사용자 경험을 획기적으로 개선할 것으로 기대하고 있다. 이러한 혁신은 정보 검색의 패러다임을 바꾸고, 사용자에게 보다 유용하고 빠른 결과를 제공하는 데 크게 기여할 것으로 보인다. AI 검색의 진화는 이제 시작에 불과하며, R4T와 같은 기술이 그 중심에 서게 될 것이다.