지니젠AI, 메타인지 벤치마크·AI 모델 리더보드·모델별 메타인지 어댑터 동시 공개

지니젠AI, AI 신뢰성 평가의 새로운 패러다임 제시

최근 지니젠AI(대표 최선영)가 인공지능(AI)의 신뢰성을 평가하기 위한 새로운 기준으로 '메타인지(Metacognition)'라는 개념을 도입하고, 이를 검증할 수 있는 메타인지 벤치마크 및 AI 모델 리더보드를 공개했습니다. 메타인지는 AI가 스스로 자신의 판단을 점검하고 오류 가능성을 인식하는 능력을 의미하며, 이는 의료, 금융, 법률 등 오류가 큰 사회적 비용을 초래할 수 있는 분야에서 AI의 신뢰성을 높이는 데 핵심 요소로 작용할 것으로 기대됩니다.

메타인지 벤치마크와 AI 모델 리더보드

지니젠AI가 공개한 메타인지 벤치마크는 총 400개의 함정형 문제로 구성되어 있습니다. 이 문제들은 단순한 패턴 학습을 넘어 AI가 자신의 답변을 스스로 검증하도록 설계되었습니다. 예를 들어, 표면적으로 정답처럼 보이는 선택지가 있지만, 실제 정답은 다른 방향에 위치해 있어 AI가 오류를 인식하는지를 평가하게 됩니다. 이번 평가에서는 객관식 정답률뿐 아니라 서술형 답변 후 AI가 자신의 오류 가능성을 얼마나 정확히 판단하는지도 종합적으로 분석했습니다.

흥미로운 점은 한국어 AI 모델인 JGOS-31B-Citizen이 24개 모델 중에서 가장 높은 성적을 기록했다는 것입니다. 이 모델은 전체 400문항 중 단 2개만 오답을 기록하며 99.5%의 함정 회피율을 보였습니다. 이외에도 Darwin 시리즈 모델들이 상위권에 올라 AI의 성능이 국내에서도 크게 발전하고 있음을 보여주었습니다. 그러나 일부 모델은 객관식에서는 우수한 성적을 보였음에도 불구하고 서술형에서는 자신의 오류 가능성을 잘 인식하지 못하는 경향이 나타났습니다. 이는 정답을 맞히는 추론 능력과 자신의 판단을 점검하는 메타인지 능력이 서로 다른 평가 영역임을 시사합니다.

메타인지 어댑터: 신뢰성 향상의 열쇠

지니젠AI는 이러한 메타인지 평가를 통해 AI 모델의 신뢰성을 높이는 방법으로 '메타인지 어댑터'를 제안합니다. 이 어댑터는 AI 모델의 구조나 가중치를 변경하지 않고도 기존 모델을 보완할 수 있는 도구입니다. 11종의 메타인지 어댑터는 AI가 답변을 생성하는 과정에서 발생하는 내부 신호를 분석해 오류 발생 가능성을 계산하고, 이를 기반으로 위험도를 제시하는 기능을 갖추고 있습니다. 이러한 접근 방식은 AI 모델에 신뢰성 검증 기능을 추가하면서도 기존 모델의 성능을 유지할 수 있는 장점을 제공합니다.

최선영 대표는 “앞으로의 AI 경쟁력은 얼마나 많은 정답을 맞히느냐보다 자신의 한계를 인식하고 잘못된 판단을 스스로 경고할 수 있는 능력에 달려 있다”고 강조하며, 이번 공개가 AI 평가 기준이 정확도 중심에서 자기 검증과 신뢰성 중심으로 확대되는 계기가 되기를 기대한다고 밝혔습니다.

향후 전망

지니젠AI의 메타인지 벤치마크와 어댑터는 AI의 신뢰성을 높이는 데 중요한 이정표가 될 것으로 보입니다. AI가 단순히 정답을 찾는 것에 그치지 않고, 자신의 판단을 스스로 점검할 수 있는 능력을 갖추게 된다면, 다양한 산업에서 AI의 활용 가능성이 더욱 확대될 것입니다. 앞으로 메타인지가 AI 평가의 새로운 패러다임으로 자리잡을 수 있을지 귀추가 주목됩니다.