"위성·로봇 제어도 차단"…오픈AI·앤트로픽 '안전장치 오탐'에 개발자 이탈

최근 인공지능(AI) 모델의 안전장치가 사이버보안, 로봇, 항공우주 등 다양한 분야의 정상적인 개발 작업을 방해하고 있다는 우려의 목소리가 커지고 있다. AI 코딩 에이전트가 소프트웨어 개발의 필수 도구로 자리 잡고 있는 가운데, 과도한 차단과 거절이 오히려 개발자의 업무 생산성을 저하시킨다는 지적이 잇따르고 있다.

안전장치의 오탐 문제

전문 개발자들이 사용하는 AI 도구의 대표주자인 앤트로픽의 '클로드 코드'와 오픈AI의 '코덱스'는 개발 과정에서 발생할 수 있는 여러 요청에 대해 안전장치를 통해 검증을 실시한다. 하지만 이 안전장치가 의도와는 다르게 작동하는 경우가 발생하고 있다. 예를 들어, MIT에서 항공우주공학을 전공하는 알레한드로 카라스코는 시뮬레이션된 우주선을 제어하는 작업을 진행하면서 자신의 요청이 군사적 목적과 관련된 것으로 잘못 판단되는 경우가 많다고 밝혔다. 그는 "모델이 시뮬레이션된 위성이라는 점을 인식하지 못하고, 모든 요청을 위험 신호로 간주한다"며 불만을 토로했다.

로봇 개발자 마틴 켐카도 유사한 경험을 공유했다. 그는 로봇 팔의 사용자 인터페이스를 개발하는 과정에서 일반적인 작업조차 AI의 안전 장치에 의해 거절당하는 경우가 많다고 언급했다. 이처럼 안전장치가 지나치게 민감하게 작동함으로써 개발자들은 필수적인 작업을 진행하기 어렵게 되고 있다.

사이버보안 분야에서의 장벽

사이버보안 분야에서도 이러한 문제가 더욱 두드러진다. 엑솔라와 바이브그로에서 활동 중인 로한 발콘데카르는 "사이버보안이라는 단어만 언급하면 즉시 요청이 거절된다"며 불편함을 호소했다. 그의 팀은 오픈소스 개발자가 작성한 코드를 검토하고 취약점을 찾아내는 작업을 하고 있으나, 이러한 방어적 목적의 코드 분석조차도 안전장치의 방해를 받는 상황이다.

이에 대해 오픈AI는 최근 발표한 'GPT-6' 모델이 이전 모델보다 무해한 요청에 대한 거절을 줄이도록 개선했지만, 여전히 추가적인 안전 검사가 정상적인 업무를 방해할 수 있음을 인정했다. 앤트로픽 또한 최신 모델에서 사이버보안 관련 취약점 탐지 등을 허용하기 위해 노력하고 있으나, 여전히 침투 테스트와 같은 특정 작업에는 제한이 따르고 있다.

개발자의 선택, 오픈소스로의 이동

이러한 상황 속에서 일부 개발자들은 결국 폐쇄형 모델 대신 오픈소스 모델로의 이동을 고려하고 있다. DAIR.AI의 공동 창립자 엘비스 사라비아는 "안전 문제의 중요성을 인정하지만, 반복되는 거절에 불만을 느껴 앤트로픽 구독을 취소했다"며 오픈소스 모델로의 전환 이유를 설명했다. 오픈 모델의 경우, 로컬 환경에서 실행하거나 특정 분야에 맞게 조정할 수 있는 유연함이 개발자들에게 매력적으로 작용하고 있다.

결국 AI 기술과 안전장치 간의 균형을 찾는 것이 앞으로의 과제가 될 것으로 보인다. 개발자들이 필요로 하는 도구가 방해를 받지 않고, 동시에 안전성을 유지할 수 있는 솔루션이 마련되어야 할 때이다. AI 코딩 에이전트의 발전이 이러한 문제를 해결할 수 있을지, 앞으로의 행보에 이목이 집중된다.