"헛것 보고 듣는 AI 막는다"...KAIST, 멀티모달 환각 줄이는 기술 개발

한국과학기술원(KAIST) 전기및전자공학부의 노용만 교수 연구팀이 멀티모달 AI의 감각 혼선을 줄이는 혁신적인 기술을 개발해 주목받고 있다. 이번 연구의 핵심은 감각 정보를 보다 정확하게 해석하고 혼동을 최소화하여, AI가 올바른 판단을 내릴 수 있도록 돕는 것이다.

감각 이해를 위한 최적화 기술

노 교수 연구팀의 ‘센서 이해 AI 최적화(DNA)’ 기술은 다양한 센서의 물리적 특성을 AI가 이해하도록 돕는다. 예를 들어, 열화상 카메라에서 나타나는 밝은 부분이 단순한 빛으로 잘못 해석되는 상황을 개선하는 데 초점을 맞춘다. AI는 특정 센서에서 자주 발생하는 오차 사례를 반복적으로 학습하여, 열화상 이미지에서 ‘뜨거운 곳’을 올바르게 인식하도록 정확도를 높인다. 이러한 기술은 단순한 감각 데이터 처리에서 벗어나, AI가 실제 환경에서 더 신뢰할 수 있는 판단을 내릴 수 있게 한다.

감각 혼선 방지 기술로 환각 줄이기

AI가 시각과 청각 정보를 동시에 처리하는 과정에서 발생하는 환각을 줄이는 ‘감각 혼선 방지(MAD)’ 기술도 개발됐다. 기존의 AI 시스템은 시각적 데이터에 기반하여 잘못된 결론을 내리는 경우가 많았다. 예를 들어, CCTV 영상에는 자동차 소리가 녹음되지 않았는데도 불구하고 화면 속 자동차의 움직임을 보고 “엔진 소리가 들린다”고 잘못 판단하는 사례가 그런 경우다. MAD 기술은 영상과 소리 중에서 어떤 정보가 더 중요한지를 판단하고, AI가 주목해야 할 정보에 집중하도록 설계되어 환각을 최소화한다.

다양한 분야에서의 응용 가능성

이번 연구에서 개발된 두 가지 기술은 자율주행차, 구조 로봇, 드론 및 병원 이미지 진단 장비 등 다양한 분야에 활용될 수 있다. 특히 야간이나 안개 속에서 보행자와 차량을 인식해야 하는 자율주행차의 경우, 정확한 감각 정보의 해석이 필수적이다. 또한, 연기 속에서 생존자를 찾는 구조 로봇이나 열화상 카메라를 탑재한 드론의 정확성과 신뢰성을 높이는 데 기여할 전망이다.

노용만 교수는 “멀티모달 AI가 실제 환경에서 활용되기 위해서는 다양한 센서의 특성을 정확히 이해하고 감각 정보를 혼동하지 않는 것이 중요하다”며, “이번 기술은 AI의 감각 편향과 환각을 줄여 믿고 사용할 수 있는 멀티모달 AI의 기초를 마련했다”고 강조했다.

이러한 기술 개발은 AI의 신뢰성을 한 단계 끌어올리는 중요한 이정표가 될 것으로 기대된다. 앞으로 다양한 산업에서 AI의 활용이 더욱 확대되고, 보다 안전하고 효율적인 시스템 구축에 기여할 것으로 보인다.