오픈AI, 모델 개발 초기부터 외부 안전성 검증 받는다

오픈AI, AI 모델 안전성 검증을 개발 초기부터 실시한다

최근 오픈AI가 인공지능(AI) 모델의 안전성을 강화하기 위해 개발 초기 단계부터 외부 독립기관의 검증을 받기로 결정했다. 이는 AI 기술의 발전 속도가 빨라지면서 예상치 못한 위험이 증가하고 있다는 인식에서 비롯된 조치로, 오픈AI는 모델의 학습, 평가, 배포 과정 전반에 걸쳐 보다 철저한 검증 체계를 구축하겠다고 밝혔다.

독립적인 검증 체계 도입

오픈AI의 외부 안전성 검토 담당자인 라마 아마드는 "AI 모델이 출시 직전뿐만 아니라 학습과 평가 과정에서도 높은 위험이 따르기 때문에, 이를 철저하게 검증할 필요가 있다"고 설명했다. 기존에도 주요 모델 출시 전에는 외부 기관을 통한 안전성 평가가 진행되었지만, 앞으로는 이 과정에 외부 평가기관이 더욱 일찍 참여하게 된다. 이를 통해 오픈AI는 AI 모델의 신뢰성을 높이고, 개발사가 간과할 수 있는 위험 요소를 사전에 발견할 수 있을 것으로 기대하고 있다.

특히, 오픈AI는 외부 평가기관과의 협력에 있어 강력한 독립성을 유지하고, 과학적 엄밀성과 견고한 보안 체계를 바탕으로 명확한 책임 분담을 설정하기로 했다. 이런 방식은 AI 모델의 안전성을 주관적으로 주장하는 것이 아닌, 독립적인 기관을 통해 객관적으로 검증받겠다는 의지를 담고 있다.

포괄적인 안전성 평가 영역

오픈AI가 향후 진행할 안전성 평가는 크게 네 가지 영역으로 나뉜다. 첫째로, AI 모델의 학습과 평가, 내부 및 외부 배포 과정에서의 안전성 사례(safety case)를 독립적으로 검증한다. 둘째, 탈옥 공격, 사이버 및 생물학적 위험 등에 대한 안전장치가 실제 환경에서 제대로 작동하는지를 평가한다. 셋째, 화학 및 생물학적 위험, 사이버 보안, AI의 자기 개선 및 심각한 오정렬 위험에 대한 능력을 점검한다. 마지막으로, 모델이 감독을 회피하거나 승인되지 않은 행동을 하는 경우 발생할 수 있는 중대한 오정렬 사고에 대한 독립적인 사고 조사를 진행할 예정이다.

이러한 포괄적인 평가 방침은 AI 모델의 안전성을 높이는 데 큰 기여를 할 것으로 보인다. 특히, 오픈AI는 AI 연구 기관인 METR와 레드우드 리서치 등 여러 외부 기관과 협의하여 더욱 철저한 검증을 가능하게 할 계획이다.

AI 안전성의 새로운 기준 마련

오픈AI의 이번 결정은 단순히 자사 모델의 안전성을 높이는 데 그치지 않고, 전 세계 AI 개발사들이 공통적으로 따를 수 있는 안전성 기준을 마련하겠다는 의지를 내포하고 있다. 앤트로픽의 다리오 아모데이 CEO가 주장한 것처럼, AI 개발 속도를 늦추고 제3자 평가기관을 활용해야 한다는 목소리가 점차 커지고 있는 상황에서, 오픈AI의 움직임은 업계의 새로운 표준을 제시하는 계기가 될 수 있다.

AI 기술이 사회에 미치는 영향력이 커짐에 따라, 안전성과 신뢰성을 확보하는 것은 더 이상 선택이 아닌 필수가 되고 있다. 오픈AI는 "민감한 정보를 보호하면서도 의미 있는 검증을 가능하게 할 책임이 있다"고 강조하며, 각국 정부와 민간 부문이 활용할 수 있는 AI 안전성 평가 기준을 국제적으로 공유하는 데에도 힘쓸 것이라고 밝혔다. 앞으로의 행보가 기대되는 이유다.