오픈AI "중국 문샷의 '보호된 추론' 대규모 추출 시도 차단"

오픈AI, 중국 문샷 AI의 '보호된 추론' 대규모 추출 시도 차단

최근 오픈AI가 자사의 첨단 AI 모델의 핵심 기능인 ‘보호된 추론(Protected Reasoning)’을 대규모로 빼내려는 조직적인 시도를 적발하고 이를 차단했다. 특히 이 시도가 중국의 문샷 AI와 연결되어 있다는 주장이 제기되면서, AI 업계의 주목을 받고 있다.

보호된 추론과 그 중요성

보호된 추론이란 AI 모델이 질문에 답하기 위해 내부적으로 문제를 해결하는 과정을 담고 있는 정보이다. 이러한 정보는 최종 답변에는 포함되지 않지만, AI의 성능을 높이기 위해서는 매우 중요한 요소다. 만약 공격자가 이 정보를 대량으로 확보하게 된다면, 다른 AI 모델이 기존 모델의 능력을 모방하거나 재현하는 데 활용할 수 있다. 이는 AI의 경쟁력을 심각하게 위협할 수 있는 상황이다.

이번 사건은 7월 1일 처음 포착됐으며, 초기에는 소규모 공격으로 시작되었으나 7월 24일과 25일에는 4,000개 이상의 계정에서 1만6,000건의 특정 추출 패턴이 집중적으로 발생했다. 오픈AI는 7월 28일까지 이러한 활동을 차단했다고 발표했다. 공격에 사용된 방식은 ‘적대적 증류(Adversarial Distillation)’라 불리며, 이는 고성능 AI 모델의 출력이나 내부 추론 정보를 대규모로 수집하여 다른 AI 모델의 학습과 성능 개선에 활용하는 기법이다. 일반적인 모델 증류는 AI 업계에서 널리 사용되는 기술이지만, 이처럼 허가 없이 대규모로 수행하는 것은 명백한 서비스 이용약관 위반이 된다.

공격 방식과 방어 체계

오픈AI에 따르면, 공격자들은 특히 새로운 방식으로 보호된 추론 정보를 획득하려 했다. 이들은 한 대화에서 암호화된 추론 정보를 복사한 뒤, 다른 대화에서 AI 모델에 이를 해독하고 기록하도록 요구하는 방식으로 접근했다. 또한, 오픈AI의 방어 체계가 강화될 때마다 공격 방식을 변경하며 추출을 시도해 나갔다. 다행히 이번 사건에서 암호화가 직접 뚫리거나 데이터베이스가 침해된 것은 아니었다. 오픈AI는 사용자의 대화에 직접 접근한 것이 아니라, 모델과의 상호작용 방식을 조작해 원래 사용자에게는 보이지 않아야 할 추론 정보를 요청자가 확인할 수 있는 형태로 재현한 것으로 보인다.

오픈AI는 문제의 계정을 차단하고 가입 및 인프라 통제를 강화하는 한편, 관련 네트워크에 대한 감시를 확대했다. 또한, 암호화된 추론 정보가 다른 사용자가 재생해 복원될 수 있는 경로를 차단하고, 추론 정보가 노출되는지를 탐지하는 검사 기능을 추가했다. 이러한 노력은 AI 업계의 보안성을 높이는 데 기여할 것으로 예상된다.

향후 전망과 의미

이번 사건은 앤트로픽이 최근 문샷 AI가 자사 모델에 수천 건의 요청을 우회적으로 보내고 그 응답을 학습에 활용했다고 주장한 것과 맥락을 같이 한다. 오픈AI는 확인된 요청 규모가 앤트로픽이 발표한 대규모 증류 사례보다 작지만, 탐지 방식과 조사 기간이 다르기 때문에 단순 비교는 어렵다고 설명했다.

AI 분야에서의 보안 문제는 점점 더 중요해지고 있으며, 이번 사건은 그러한 경각심을 일깨우는 계기가 되었다. 앞으로 적대적 증류 시도가 더욱 정교해질 것으로 예상되는 가운데, 오픈AI는 기술적 차단, 공격 계정 탐지 및 제재, 그리고 업계 및 정부 간 위협 정보 공유를 강화할 계획이다. 이는 AI 기술의 지속 가능한 발전을 위한 중요한 발판이 될 것이다.