구글, 세계 첫 AI 이중맹검 평가 시범 운영…'벤치마크 오염' 방지 나서

구글이 인공지능(AI) 평가의 새로운 지평을 열기 위한 혁신적 시도를 발표했다. 최근 구글 딥마인드는 세계 최초로 자사의 AI 모델에 대해 이중맹검(Double-blind) 평가를 시범 운영한다고 밝혔다. 이 평가 방식은 AI 모델의 성능을 보다 객관적으로 측정하기 위해 개발된 기술로, 기존의 ‘벤치마크 오염’ 문제를 획기적으로 해결할 것으로 기대된다.

이중맹검 평가란 무엇인가?

이중맹검 평가는 AI 모델의 성능을 평가하는 과정에서 평가자와 개발자 사이의 정보 비대칭을 제거하는 방법론이다. 과거에는 평가자가 문제 데이터를 공개하면, 개발사가 이를 미리 학습하여 점수가 인위적으로 부풀려지는 경우가 발생했다. 이러한 문제는 공정한 평가를 방해할 뿐 아니라, 개발사의 핵심 자산인 모델의 기밀성을 위협하는 요소로 작용했다.

구글은 이러한 문제를 해결하기 위해 ‘기밀 공간(Confidential Space)’ 기술을 도입했다. 이 기술은 보안성이 높은 GPU 인클레이브 환경 내에서 평가 데이터와 모델이 암호학적으로 검증되어 비공개로 유지되도록 설계되었다. 즉, 평가자는 모델의 가중치를 확인할 수 없고, 개발자는 평가자가 제공한 테스트 프롬프트를 사전에 알 수 없는 구조다. 이렇게 하여 양측이 서로의 핵심 데이터에 접근할 수 없는 상태에서 평가가 이루어지기 때문에, 더욱 신뢰성 있는 성능 평가가 가능해진다.

협업으로 이룬 성과

이번 이중맹검 평가 시범 사업은 싱가포르 AI 안전 연구소(AISI), 오픈마인드(OpenMined), AVERI, ML커먼스 등 다양한 외부 기관과 협력하여 진행되었다. 특히 ML커먼스의 비공식 벤치마크인 ‘AILuminate’와 같은 도구를 사용해 보안 환경 내에서 평가를 수행함으로써, 실제 산업에서의 적용 가능성을 더욱 높였다. 이러한 협업은 AI 성능 평가의 객관성을 확보하는 데 중요한 역할을 할 것으로 보인다.

구글의 이번 연구는 단순한 기술적 성과를 넘어, AI 성능 평가의 신뢰성을 높이는 데 기여할 것으로 예상된다. 특히 데이터의 유출이 허용되지 않는 사이버 보안, 군사 및 정부 영역 등 민감한 분야에서 AI 모델의 안전성을 검증할 수 있는 기초 인프라로 자리잡을 가능성이 크다.

향후 전망

구글은 이번 연구를 통해 독립적인 평가 기관이 데이터 주권을 손상시키지 않으면서도 고성능 AI 모델의 실제 능력과 안전성을 엄격히 검증할 수 있는 기회를 제공할 것이라고 밝혔다. 이는 결국 AI 업계의 전반적인 신뢰성을 높이는 데 기여할 것으로 기대된다. 향후 정부나 평가 기관이 이중맹검 환경을 표준 방식으로 채택하게 될 경우, AI 시스템의 안전성과 신뢰성은 한층 더 강화될 전망이다. 구글의 이번 혁신이 AI 기술 발전에 끼치는 긍정적인 영향은 앞으로도 계속될 것으로 보인다.