KAIST, 데이터 변화해도 검색 정확도 유지하는 ‘CONDA’ 기술 개발

KAIST에서 데이터의 변화에도 검색 정확도를 유지하는 혁신적인 기술이 개발됐다. 한국과학기술원(KAIST) 전산학부의 김민수 교수 연구팀은 동적 벡터 검색 기술인 ‘CONDA(Connectivity-Aware Dynamic Index)’를 통해, 변화하는 데이터 환경에서도 높은 검색 효율성을 확보할 수 있는 방법을 제시했다. 이 기술은 이미 상용화를 위한 준비에 돌입했으며, 향후 다양한 AI 서비스에 적용될 예정이다.

데이터가 변해도 정확한 정보 검색

AI 기술이 발전함에 따라, 생성 AI는 방대한 양의 데이터를 처리하고 분석하는 데 큰 역할을 하고 있다. 그러나 이러한 AI 모델은 학습이 완료된 후, 새로 등장한 정보에 대한 인식이 떨어질 수 있다. 이 문제를 해결하기 위해서는 최신 정보나 문서를 실시간으로 검색해 활용하는 방법이 필수적이다. 이를 가능하게 하는 것이 바로 검색증강생성(RAG) 기술이다. 하지만 RAG가 제대로 작동하기 위해서는 신속하고 정확한 검색 기술이 필요하며, 이 과정에서 벡터 검색 기술이 주목받고 있다.

벡터 검색 기술은 문서나 이미지의 의미를 수치 데이터로 변환하고, 이를 통해 유사한 정보들을 효과적으로 연결하여 검색하는 방식을 사용한다. 하지만 데이터가 계속해서 추가되거나 삭제되는 현실에서는, 이러한 연결망이 끊어질 위험이 존재한다. 즉, 필요한 정보가 데이터베이스에 있음에도 불구하고 AI가 이를 찾지 못하는 상황이 발생할 수 있다. 이는 마치 내비게이션에서 도로가 자주 바뀌는 상황과 유사하다.

CONDA의 혁신적 접근

CONDA는 이러한 문제를 해결하기 위해 설계된 그래프 기반의 벡터 검색 기술로, 데이터가 수시로 변동하는 환경에서도 검색 경로의 연결성을 유지하는 데 중점을 두고 있다. 핵심 기능은 ▲ 연결성을 고려한 검색 경로 선택(CRNG) ▲ 새 데이터의 연결 보강(In-neighbor Candidate Expansion) ▲ 효율적인 지연 삭제(Lazy Deletion)로 구성된다.

CRNG 기술은 데이터 간의 거리뿐만 아니라, 현재의 연결 구조를 분석하여 실제로 해당 정보에 도달할 수 있는지를 확인한다. 이를 통해 불필요한 연결을 줄이면서도 필요한 경로는 유지한다. 또한, 새 데이터가 추가될 때마다 주변 데이터의 연결 후보를 확보하여 검색 경로의 고립을 방지하는 방법도 도입됐다. 마지막으로, Lazy Deletion 기술은 데이터를 삭제할 때 연결을 즉시 제거하는 대신 점진적으로 정리해 나가는 방식을 채택하여 시스템의 효율성을 높였다.

연구팀의 실험 결과에 따르면, CONDA는 기존의 최신 기술 대비 검색 정확도를 최대 24.5% 향상시키고, 데이터 처리 속도도 최대 1.90배 개선된 것으로 나타났다. 특히, 연구팀은 1억 개의 데이터가 존재하는 대규모 환경에서 실험을 진행하여, 검색 및 데이터 업데이트를 동시에 수행하는 데 있어 가장 짧은 응답 시간과 높은 정확도를 기록했다.

실용화와 미래 전망

CONDA 기술은 기업 내부 문서 관리 시스템, 최신 뉴스 검색, 상품 추천 서비스 등 데이터가 지속적으로 변하는 다양한 AI 서비스에 적용될 수 있는 잠재력을 지니고 있다. 특히, 김민수 교수가 창립한 AI 데이터 인프라 기업 그래파이(GraphAI)에서 제공하는 데이터베이스 제품인 ‘아카식DB(AkasicDB)’에 CONDA 기술이 적용되어 올 4분기에 상용화될 예정이다.

김민수 교수는 이번 연구의 의의에 대해 “데이터가 지속적으로 변하는 현실에서도 AI가 오랜 시간 동안 정확하게 최신 지식을 활용할 수 있는 데이터 인프라를 제시했다”고 설명했다. 이는 AI 기술의 진화에 있어 중요한 이정표가 될 것으로 보이며, 향후 다양한 분야에서 데이터 검색의 정확성과 신뢰성을 한층 높여줄 것으로 기대된다.