KAIST “AI도 모른다고 말할 수 있어야…‘노이즈 예열 학습’으로 해결”

한국과학기술원(KAIST)의 연구팀이 인공지능(AI)의 과도한 확신 문제를 해결하기 위한 혁신적인 접근법을 제안하며 주목을 받고 있다. 백세범 석좌교수의 연구는 AI가 모르는 정보에 대해서도 자신 있게 대답하는 경향을 줄이고, '노이즈 예열 학습'이라는 새로운 학습 방식을 도입함으로써 AI의 신뢰성을 크게 향상시키는 데 기여하고 있다.

AI의 과도한 확신 문제

최근 AI 기술이 발전하면서 생성 AI가 사람처럼 대화를 나누고 이미지, 음악 등을 생성하는 등 다양한 분야에서 활용되고 있다. 그러나 이러한 AI들이 실제로는 모르는 상황에서도 자신 있게 대답하는 '과신' 현상은 큰 문제로 지적되어 왔다. 예를 들어, 무작위로 초기화된 신경망에 데이터를 입력했을 때, AI는 아무것도 배우지 않은 상태임에도 불구하고 높은 확신을 보이는 경우가 많았다. 이는 결국 생성 AI가 환각 현상을 보이는 원인 중 하나로 작용할 수 있다.

KAIST 연구팀은 이러한 과신 문제의 발생 원인을 초기화 단계에서 찾았다. AI가 학습하는 과정에서 '무작위 가중치 초기화' 방식이 과도한 확신을 초래하며, 이는 결국 AI의 신뢰성을 떨어뜨리는 요소로 작용한다는 것이다.

노이즈 예열 학습의 도입

연구진은 이러한 문제를 해결하기 위해 인간의 두뇌 발달 과정을 모사한 '노이즈 예열 학습' 방식을 도입했다. 인간의 뇌는 태어나기 전부터 외부 자극 없이도 자발적인 신경 활동을 통해 신경 회로를 형성하는데, 이를 인공지능 모델에 적용한 것이다. 구체적으로는, AI가 본격적인 학습을 시작하기 전, 무작위 노이즈 입력으로 짧은 사전 학습을 실시한다. 이 과정은 AI가 본인의 불확실성을 조정하고, 예를 들어 "나는 아직 아무것도 모른다"는 상태를 먼저 학습하도록 돕는다.

이와 같은 접근은 AI 모델의 초기 확신도를 우연 수준으로 낮추고, 기존의 과신 편향을 크게 완화하는 효과를 나타냈다. 결과적으로, 예열 학습을 거친 AI는 처음 보는 데이터에 대해서도 적절하게 '모른다'고 판단할 수 있는 능력을 갖추게 되었다. 이러한 변화는 AI가 단순히 정답을 맞히는 것을 넘어, 무엇을 알고 무엇을 모르는지를 구분하는 메타 인지 능력을 발전시킬 수 있는 가능성을 제시한다.

향후 전망

이번 KAIST의 연구는 AI 기술이 더욱 신뢰할 수 있는 방향으로 발전할 수 있는 길을 열었다. 자율주행차, 의료 AI, 생성 AI 등 신뢰성이 중요한 분야에서의 적용 가능성도 크다. 백세범 교수는 "정확도를 높이는 것을 넘어 AI가 스스로 불확실성을 판단할 수 있는 원리를 제시했다"며 이번 연구의 중요성을 강조했다. 앞으로 이 기술이 다양한 딥러닝 모델의 초기화 방식에 적용되며 AI의 신뢰성을 높이는 데 기여할 것으로 기대된다. AI가 인간과 유사한 방식으로 자신의 지식 상태를 인식할 수 있는 시대가 다가오고 있다.