셀렉트스타 "AI 안전성, 빅테크도 못 다루는 로컬 리스크 해결이 핵심"

AI 기술이 날로 발전하면서 성능의 평준화가 이루어지고 있습니다. 그러나 이러한 발전 속에서도 'AI 신뢰성'이라는 정성적 요소를 정량화하고, 위험한 답변을 효과적으로 걸러내는 기술이 더욱 중요해지고 있다는 목소리가 커지고 있습니다. 이에 대한 해결책을 제시하는 기업 중 하나가 바로 셀렉트스타입니다. 이들은 코스닥 상장을 목표로 하며, AI 신뢰성 평가 기술을 기반으로 안전한 AI 서비스의 확산을 위해 노력하고 있습니다.

AI 신뢰성의 필요성

셀렉트스타의 김민우 세이프티팀 리드는 "현재 AI 모델의 성능은 상향 평준화되어 있다"며, 다수의 기업이 최신 AI 기술을 도입하고 있으나 실제로는 그 활용이 부족하다는 점을 지적했습니다. 특히, 기업과 산업별로 발생할 수 있는 환각 현상이나 사실성 오류, 편향된 답변 등을 정밀하게 걸러내는 것이 AI의 안전성을 확보하는 데 필수적이라는 설명입니다. 이를 위해서는 위험한 답변을 안전하다고 판단하는 '거짓 음성'과 안전한 답변을 과잉 차단하는 '거짓 양성' 간의 균형을 맞추는 것이 중요합니다.

셀렉트스타는 이를 해결하기 위해 고객의 요구에 맞춘 지속적인 테스트와 모델 조정을 통해 리스크를 최소화하는 역할을 수행하고 있습니다. 김 리드는 "고객 접점의 마지막 단계에서 이루어지는 평가와 조정을 통해 신뢰성을 높이는 것이 우리의 목표"라고 강조했습니다.

맞춤형 신뢰성 평가 방식

셀렉트스타의 AI 신뢰성 평가는 독자적인 '다투모(Datumo)' 플랫폼을 통해 이루어집니다. 이 플랫폼은 평가 기준을 설정하는 벤치마크, 평가 기준의 허점을 찾아내는 레드팀, 이를 방어하는 가드레일, 최종 답변을 평가하는 이밸류에이터 등 네 가지 단계로 구성되어 있습니다. 이러한 구조는 반복적으로 고도화되며, 고객의 요구에 맞춘 맞춤형 신뢰성 평가를 제공합니다.

현재 많은 기업들이 AI 모델을 도입하기는 했지만, 실제로 어떤 기준으로 평가해야 할지에 대한 명확한 정의가 부족한 상황입니다. 김 리드는 "우리는 특정 벤치마크 점수를 높이기 위한 튜닝이 아니라, 각 기업과 도메인별로 취약한 리스크를 새롭게 정의하고 이를 검증하는 원스톱 솔루션을 제공하고 있다"고 밝혔습니다. 이러한 접근 방식은 셀렉트스타가 쌓아온 R&D 성과와 표준화 노력의 결과물이라 할 수 있습니다.

AI 신뢰성의 새로운 패러다임

셀렉트스타는 현재 한국정보통신기술협회(TTA), 한국인터넷진흥원(KISA), 그리고 한국지능정보사회진흥원(NIA)와 협력해 AI 신뢰성 가이드라인 제작 자문을 진행하고 있으며, 과학기술정보통신부의 다양한 프로젝트에도 참여하고 있습니다. 특히, AI 에이전트 및 피지컬 AI의 신뢰성 평가 범위를 넓히기 위한 계획을 세우고 있습니다. 김 리드는 "이제는 AI 간의 소통과 데이터베이스, 플러그인, 권한 문제까지 검증 범위를 확장해야 한다"고 강조했습니다.

향후 셀렉트스타는 AI 기술의 신뢰성을 더욱 높이기 위해 하드웨어와 소프트웨어가 결합된 상태에서의 실증을 통해 피지컬 AI 영역의 신뢰성 평가 표준을 정립할 계획입니다. 이러한 노력은 국내 AI 생태계의 안전성 향상에 기여할 것으로 기대됩니다. AI 기술의 중요성이 커지고 있는 가운데, 신뢰성 확보는 이제 선택이 아닌 필수로 자리 잡아가고 있습니다.