KAIST, 국내 유일 ‘MS AI 안전성 연구 프로그램’ 선정

한국과학기술원(KAIST)이 마이크로소프트의 글로벌 AI 안전성 연구 프로그램 ‘엑스트라(EXTRA)’의 연구지원 대상으로 선정되었다. KAIST의 손수엘 전산학부 교수는 이번 결정으로 국내에서 유일하게 이 프로그램에 참여하게 되었으며, AI 시스템의 안전성과 보안 취약점을 다각도로 연구할 수 있는 기회를 얻게 됐다.

AI 안전성과 보안 연구의 중요성

올해 출범한 ‘엑스트라’는 마이크로소프트 AI 레드팀이 주관하는 프로그램으로, AI 시스템의 안정성과 보안 취약점을 검증하기 위해 설계되었다. 이 프로그램의 핵심은 AI 안전성을 기업 내부뿐만 아니라 전 세계 대학과 연구기관으로 확장해, 독립적인 연구 생태계를 구축하는 것이다. KAIST를 포함한 전 세계 10여 개 대학이 참여하고 있으며, 이는 AI 연구의 범위를 넓히고, 다양한 관점에서의 검토를 가능하게 한다.

KAIST는 이번 선정으로 2만5000달러(약 3700만원)의 연구 지원금을 받게 되며, 연구 과제 수행 기간에 대한 제한이 없는 ‘기프트 어워드(Gifted Award)’ 형태로 제공된다. 지원금은 손 교수의 연구팀이 AI 보안 및 안전성 관련 연구에 사용할 예정이다.

손수엘 교수의 연구팀과 그 목표

손수엘 교수의 연구팀은 생성 AI 및 대형 언어 모델(LLM)을 기반으로 한 AI 시스템의 보안과 개인정보 보호 기술에 중점을 두고 있다. 이들은 심층신경망과 언어모델을 대상으로 한 다양한 적대적 공격 기법을 분석하여 AI 시스템의 취약점을 평가하고, 이를 방어하기 위한 기술을 개발 중이다. 연구팀의 주요 과제는 모델 탈취, 멤버십 추론, 개인정보 추출, 모델 전도, 탈학습, 프롬프트 주입 등 다양한 보안 위협을 체계적으로 분석하는 것이다.

또한, 연구팀은 실제 서비스 환경에서 AI 에이전트가 안전하고 신뢰성 있게 운영될 수 있도록 시스템 수준의 방어 기술도 연구하고 있다. 이러한 연구는 AI 기술의 사회적 수용성을 높이는데 기여할 것으로 기대된다.

향후 전망과 의미

손수엘 교수는 "AI 시스템이 사회 전반에 걸쳐 빠르게 확산됨에 따라, 성능뿐만 아니라 안전성과 신뢰성을 확보하는 것이 무엇보다 중요해지고 있다"고 강조했다. 그는 또한 "AI 서비스 환경에서 발생할 수 있는 다양한 보안 위협을 체계적으로 분석하고, 누구나 안심하고 활용할 수 있는 AI 기술 개발에 기여하겠다"고 덧붙였다.

이번 KAIST의 선정은 국내 AI 연구의 수준을 한층 끌어올리고, 전 세계적으로 인정받는 안전성 연구를 진행하는 계기가 될 것이다. AI 기술이 발전함에 따라, 이러한 연구가 더욱 중요해질 것이며, 향후에도 지속적인 관심과 지원이 필요할 것이다. AI의 안전성과 신뢰성을 확보하는 연구가 진행됨으로써, 우리는 보다 안전한 디지털 환경에서 AI 기술을 활용할 수 있는 날이 가까워질 것으로 기대된다.