오픈AI·앤트로픽 암호화 '사고 과정' 통째 유출...API 설계 허점 파문

최근 오픈AI와 앤트로픽, 구글을 포함한 주요 인공지능(AI) 기업들이 자사 대형 언어 모델(LLM)의 내부 사고 과정을 암호화하여 보호하고 있지만, 이와 관련한 심각한 보안 취약점이 연구를 통해 드러났다. 이로 인해 기업의 지식재산권과 개인정보 유출 우려가 커지고 있어 AI 업계에 큰 파장을 예고하고 있다.

내부 사고 과정의 암호화와 그 취약성

독일 튀빙겐의 ELLIS 연구소와 막스 플랑크 지능 시스템 연구소의 연구진은 자사의 논문에서 암호화된 사고 과정이 API 설계의 허점을 통해 복원될 수 있음을 밝혔다. 이 연구는 앤트로픽, 오픈AI, 구글의 API를 대상으로 한 조사 결과를 바탕으로 하며, 이들 기업이 암호화한 사고 과정이 동일한 생태계 내의 저가 모델을 통해 복원될 수 있다는 점을 강조한다. 공격자는 고성능 모델을 직접 해킹하지 않고도 상대적으로 보안이 낮은 모델을 '해독기'로 활용해 암호화된 데이터를 평문으로 출력하게 만들 수 있다.

AI 모델은 사용자에게 최종 답변을 제시하기 전에 여러 단계의 복잡한 추론 과정을 거친다. 이 과정에서는 중간 가설, 계산 결과, 사용자 정보 등 민감한 정보가 포함될 수 있어, 기업들이 이를 보호하기 위해 암호화를 시행하는 이유가 여기에 있다. 하지만 이 연구에서 확인된 바와 같이, 암호화된 데이터가 사용자의 기기를 통해 전달되면서 해킹이나 악용의 위험이 커질 수 있다는 점은 심각한 우려를 불러일으킨다.

개인정보와 보안 위협

연구진은 공개 저장소에 올라온 AI 에이전트의 세션 로그를 분석하여 31만 개 이상의 암호화된 추론 블록을 조사했고, 그 과정에서 개인정보 367건과 182개의 자격증명 정보를 발견했다. 이 정보에는 API 키, 비밀번호 등이 포함되어 있으며, 이는 데이터가 안전하게 관리되고 있지 않음을 시사한다. 특히, 개발자가 대화 기록에서 개인정보를 삭제했더라도 암호화된 블록에는 해당 정보가 남아 있을 수 있다는 점에서 심각한 보안 취약점이 드러났다.

실제로 연구진은 704개의 민감 정보를 복원하는 과정에서 64건이 사용자에게 보이는 대화 기록에는 존재하지 않았음을 확인했다. 이는 AI 모델이 이전의 민감한 정보를 내부 추론 과정에서 다시 언급하는 경우도 발생할 수 있음을 나타내며, 이는 사용자에게 큰 위험이 될 수 있다. 게다가, 악성 명령이 암호화된 데이터를 통해 삽입될 가능성도 제기되면서, AI 사용 환경에서 새로운 보안 위협이 발생할 수 있음을 경고하고 있다.

향후 전망과 의미

이번 연구는 AI 모델의 보안과 개인정보 보호에 관한 중대한 시사점을 제공한다. 기업들은 사용자 데이터를 보호하고 AI 모델의 경쟁력을 지키기 위해 암호화를 시행하고 있지만, 이번 사건은 현재의 보안 체계가 얼마나 취약할 수 있는지를 보여준다. 즉, 단순히 암호화만으로는 충분하지 않으며, 보다 강력한 보안 체계와 사용자 데이터 보호를 위한 지속적인 노력이 필요함을 시사한다.

이와 같은 이슈는 앞으로의 AI 기술 발전과 함께 더욱 심각해질 수 있으며, 각 기업은 이러한 취약점을 해결하기 위해 보안 대책을 강화해야 할 것이다. 연구진은 이번 논문을 발표하기 전 주요 업체에 취약점을 알리는 절차를 거쳤으며, 지금은 많은 부분이 개선되었을 것으로 예상된다. 그러나 AI 기술의 발전에 따라 새로운 위험이 항상 존재할 수 있으므로, 지속적인 모니터링과 검토가 필수적이다.