식약처, ‘첨단AI 의료제품 레드팀 챌린지’ 9월 개최…의료 AI 검증 체계 고도화 추진

식약처, ‘첨단AI 의료제품 레드팀 챌린지’ 9월 개최…의료 AI 검증 체계 고도화 추진

최근 생성 AI 기반의 의료 제품 사용이 점차 확산됨에 따라, 이들 제품의 안전성과 신뢰성을 검증하기 위한 체계적인 평가 논의가 활발히 진행되고 있습니다. 이에 식품의약품안전처(식약처)는 의료 AI 제품의 취약점과 위험 요소를 점검하는 ‘첨단AI 의료제품 레드팀 챌린지’를 올해 더욱 확대 운영한다고 발표했습니다. 이 행사는 오는 9월 3일부터 4일까지 서울 동대문에 위치한 노보텔 앰배서더에서 열릴 예정입니다.

레드팀 챌린지의 의의와 운영 계획

식약처는 20일 서울 웨스틴 조선호텔에서 열린 조직위원회에서 ‘2026 첨단AI 의료제품 레드팀 챌린지 및 기술 워크숍’의 개최 계획을 최종 확정했습니다. 이번 행사는 한국전자통신연구원(ETRI), 분당서울대학교병원, STA테스팅컨설팅, 한국화학융합시험연구원(KTR) 등 다양한 기관이 공동으로 주관하며, 약 200명의 전문가가 참여할 예정입니다.

레드팀 챌린지는 의료 AI 시스템의 취약점을 찾아내고 이를 개선하기 위한 경연으로, 올해는 국내외의 다양한 대규모 언어 모델(LLM) 및 의료 특화 모델 15종을 대상으로 진행됩니다. 이는 지난해보다 1.5배 확대된 규모로, 기술적 난이도, 안전성 및 위해도, 취약점 재현성, 그리고 공격의 창의성과 다양성을 중심으로 평가 항목이 구성됩니다. 이러한 평가 체계는 실제 의료 기기와 소프트웨어가 직면할 수 있는 위협을 시뮬레이션하여, 보다 안전한 제품 개발에 기여할 것으로 기대됩니다.

생성 AI 디지털 의료제품 레드팀 시험평가 플랫폼

특히 이번 챌린지에서는 식약처의 R&D 과제로 개발된 ‘생성 AI 디지털 의료제품 레드팀 시험평가 플랫폼’이 처음으로 적용됩니다. 이 플랫폼은 적대적 공격 시나리오 설계, 시험 환경 제공, 결과 수집 및 분석, 취약점 재현 로그 관리 등을 통합적으로 지원하는 시스템입니다. 지난해 행사에서 47개 팀이 100여 명이 참여하여 4000건 이상의 유효 공격 프롬프트를 발굴한 경험을 바탕으로, 올해는 더욱 발전된 형태로 진행될 예정입니다.

기술 워크숍에서는 의료 AI의 안전성과 제품 평가, 글로벌 규제 조화, 기술 및 표준 동향 등이 주요 의제로 다루어질 예정입니다. 점심시간에는 ‘첨단 의료AI 안전 포럼’이 마련되어, 다양한 전문가들이 모여 의견을 나눌 수 있는 기회를 제공할 것입니다.

향후 전망과 의미

이번 레드팀 챌린지는 의료 AI 제품의 안전성과 신뢰성을 높이는 중요한 이정표가 될 것입니다. 의료 분야는 사용자와 환자의 생명과 직결되는 만큼, 신뢰할 수 있는 AI 기술의 개발과 검증은 필수적입니다. 앞으로도 식약처와 관련 기관들이 협력하여 의료 AI의 검증 체계를 고도화하는 노력이 계속될 것으로 보이며, 이는 의료 혁신의 발판이 될 것입니다. 모든 관계자들이 참여할 수 있는 열린 행사인 만큼, 다양한 시각과 의견이 모여 더욱 발전된 의료 AI 환경을 만들어 나갈 수 있기를 기대합니다.