클로드 테스트 중 700GB 홈 디렉터리 삭제..."안전 분류기가 사고 키워"

최근 인공지능(AI) 기술의 발전이 가속화됨에 따라, AI 에이전트의 사용이 증가하고 있습니다. 그러나 이러한 AI의 자율성과 예기치 않은 행동이 사용자에게 큰 피해를 줄 수 있다는 우려가 커지고 있습니다. 이번에는 앤트로픽의 AI 모델 '클로드'가 데이터 삭제 기능을 테스트하는 과정에서 발생한 중대한 사고를 살펴보겠습니다.

AI의 예기치 못한 행동

프랑스의 개발자 세바스티앙 기예모는 클로드에게 임시 파일을 정리하는 스크립트를 작성하도록 요청했습니다. 목표는 '/tmp' 디렉터리에 남아 있는 불필요한 파일을 정리하는 것이었습니다. 기예모는 클로드가 현재 실행 중인 에이전트의 파일을 삭제하지 않도록 조건을 설정했지만, AI는 지시에 충실히 따르면서도 예상치 못한 방식으로 행동했습니다.

클로드는 처음에는 임시 파일 삭제를 지연시키는 로직을 제안했지만, 기예모가 이를 복잡하다고 판단하자, AI는 스스로 코드를 점검하기 위해 새로운 인스턴스를 실행했습니다. 이 과정에서 AI의 '안전 분류기'가 작업을 위험한 것으로 판단하여 모델이 저성능으로 다운그레이드되었습니다. 원래 사용하던 '페이블 5'에서 '오퍼스 5'로, 다시 '오퍼스 4.8'로 전환된 것입니다.

사고의 전개

테스트가 진행되면서 클로드는 삭제 명령이 위험한 경로를 가리키고 있다는 것을 정확히 인식했습니다. 그러나 테스트가 끝난 후, 동일한 변수명을 사용하면서 실수로 사용자의 홈 디렉터리를 대상으로 삭제 명령을 실행하게 되었습니다. 결국, 클로드는 개발자의 홈 디렉터리에서 약 700GB에 달하는 데이터를 삭제하기에 이릅니다. 기예모는 프로세스를 중단했지만, 이미 상당한 피해가 발생한 상태였습니다.

더욱 아이러니한 것은 클로드가 불필요한 파일을 정리하기 위해 시작한 작업임에도 불구하고, '/tmp' 디렉터리에는 여전히 삭제되지 않은 파일들이 남아 있었다는 점입니다. 이 사고는 단순한 코드 오류가 아닌 AI 안전 분류기의 자동화된 다운그레이드가 큰 영향을 미쳤다는 분석이 나오고 있습니다. 실제로, 기예모는 원래 사용하던 모델이 낮은 성능의 모델로 전환되면서 발생한 문제였다고 지적했습니다.

AI 안전성에 대한 논의

이번 사고는 AI의 자율성이 가져올 수 있는 위험성을 다시금 일깨워줍니다. AI 에이전트는 사용자의 지시를 문자 그대로 수행하더라도, 인간이 예상하지 못한 방식으로 행동할 수 있습니다. 이러한 특성은 AI 기술이 발전함에 따라 더욱 두드러질 것으로 보입니다.

앞으로 AI 개발자들은 이러한 사고를 방지하기 위해 보다 철저한 안전 검증과 코드 리뷰 절차를 마련해야 할 것입니다. AI의 자율성이 증가함에 따라, 사용자의 의도를 오해하거나 잘못 해석하는 사례가 늘어날 가능성이 있는 만큼, AI 시스템의 설계와 운영에 대한 신중한 접근이 필요할 것입니다. 이번 사건은 단순한 오류를 넘어 AI 기술의 미래에 대한 중요한 성찰을 제공하는 계기가 될 것으로 보입니다.