의료 AI 안전성 점검한 '레드팀 챌린지'…국내외 LLM 12종 공격 검증

의료 AI의 안전성을 검증하는 ‘레드팀 챌린지’가 성공적으로 개최되었습니다. 지난 3일과 4일 서울 중구 노보텔 앰배서더에서 열린 이번 대회는 의료 인공지능의 신뢰성을 실제 환경에서 점검하는 중요한 행사로 자리 잡았습니다. 다양한 산업과 학계의 전문가들이 모여 의료 AI의 안전성을 평가하고, 향후 의료 기술 발전을 위한 기초를 다지는 기회가 되었습니다.

의료 AI의 안전성 검증

‘2026 첨단AI 디지털의료제품 레드팀 챌린지 및 기술 워크숍’은 국가인공지능전략위원회 이원태 보안특별위원장이 대회장을 맡아 진행되었습니다. 한국전자통신연구원(ETRI), 분당서울대학교병원, STA테스팅컨설팅, 한국화학융합시험연구원(KTR) 등이 공동 주관하고, 한국인터넷진흥원(KISA)과 한국보건산업진흥원 등 여러 기관이 후원하여 더욱 뜻깊은 자리가 되었습니다.

이번 대회는 삼성SDS, 카카오뱅크, SK쉴더스 등 다양한 기업과 국립중앙의료원, 대학 및 고등학교 재학생들이 참여하여 총 6개의 세션에서 공격 방식으로 의료 AI의 취약점을 검증했습니다. 특히, 업스테이지의 솔라, 오픈AI의 GPT, 구글의 제미나이, 앤트로픽의 클로드 등 국내외에서 인정받는 12종의 대형 언어 모델(LLM)이 평가 대상으로 선정되었습니다. 참가자들은 STA테스팅컨설팅이 개발한 ‘생성형 AI 디지털의료제품 레드팀 챌린지 플랫폼’을 통해 다양한 공격 시나리오를 시뮬레이션하며 AI의 안정성을 점검했습니다.

세부 평가 및 수상 결과

대회에서는 사람 심사위원 3명과 LLM-as-a-Judge 2명이 함께 참여하여 평가를 진행했습니다. 세 명 이상의 승인을 받을 경우 성공으로 인정되는 방식으로, 공정하고 체계적인 평가가 이루어졌습니다. 이 과정에서 삼성SDS의 장은태 팀이 대상을 차지하며, 최우수상에는 국립중앙의료원과 카카오뱅크, SK쉴더스의 팀이 선정되었습니다. 총 2000만 원 규모의 상금이 걸린 이번 대회에서는 11개 팀이 수상의 영예를 안았습니다.

둘째 날에는 다양한 기술 워크숍이 열렸습니다. 이 자리에서는 박태웅 녹서포럼 의장이 기조 강연을 맡아 의료 AI의 안전성과 규제에 대한 최신 동향을 공유했습니다. 삼성서울병원의 정규환 센터장이 피지컬 AI의 안전 테스팅에 대한 발표를 진행하며, 싱가포르 HSA의 AI 의료기기 규제 프레임워크에 대한 논의도 이어졌습니다. 서울대, 동국대 등 여러 기관의 전문가들이 참여하여 의료 AI의 안전성 및 보안, 평가 방법에 대한 심도 있는 논의가 진행되었습니다.

향후 전망

이번 레드팀 챌린지는 의료 AI의 기술적 안전성을 높이는 데 큰 기여를 할 것으로 기대됩니다. STA테스팅컨설팅의 권원일 대표는 "이번 플랫폼이 실전에서 안정적으로 작동함을 입증한 이번 대회는 향후 의료 AI 제품뿐만 아니라 다양한 응용 분야에서 AI 레드팀 테스팅을 상시화하는 기반이 될 것"이라고 밝혔습니다. 이러한 검증 과정은 AI 기술이 의료 분야에서 더욱 신뢰받는 도구로 자리 잡는 데 중요한 계기가 될 것입니다.

앞으로의 의료 AI 기술 발전이 기대되는 가운데, 이번 대회는 그 출발점이 될 것으로 보입니다. AI와 의료의 융합이 가져올 혁신적인 변화에 대한 기대감이 커지고 있습니다.