나델라 “AI에도 비상 브레이크 필요”...인간 통제·독립 감사 강조

사티아 나델라 마이크로소프트 CEO가 최근 AI 시스템의 안전성과 통제 가능성에 대한 중요성을 강조하며, 고성능 AI에 대한 비상 브레이크 장치의 필요성을 주장했다. 이는 AI가 복잡한 결정을 내리는 과정에서 발생할 수 있는 위험을 사전에 차단하기 위한 방안으로, 나델라 CEO는 이를 통해 AI의 신뢰성을 한층 높일 수 있을 것으로 전망하고 있다.

AI의 비상 브레이크 필요성

나델라 CEO는 10일(현지시간) X 플랫폼에 게시한 글에서 AI 모델이 오작동하거나 보안 침해의 위험에 처할 경우를 상정하고, 이를 격리하는 시스템 설계의 필요성을 강조했다. 그는 “권한이 있는 사람이 언제든 AI 모델을 일시 중지하거나 종료할 수 있어야 한다”면서, 인간의 통제 아래에서 AI가 작동해야 한다고 주장했다. 이는 최근 AI의 예기치 못한 행동이나 보안 사고가 잇따르면서 더욱 두드러진 필요성이 되고 있다.

AI의 판단을 무조건 신뢰하는 것이 아니라, 사전에 잠재적인 위험을 인지하고 적절한 안전장치를 마련하는 것이 중요하다는 것이다. 나델라 CEO는 AI 모델을 설계할 때 그 행동이 예측 불가능할 수 있다는 점을 감안하여, 결정을 내리는 시스템에 인간의 통제를 결합해야 한다고 설명했다.

새로운 보안 표준의 필요성

그는 특히 최첨단 AI 모델이 기업의 핵심 시스템에 접근할 수 있는 권한을 가질 경우, 이를 내부자 위협으로 간주하고 적절한 안전장치를 마련해야 한다고도 주장했다. 나델라 CEO는 AI 모델과 이들을 조율하는 주변 시스템을 물리적으로 분리해 통제해야 한다고 강조했다. 이렇게 함으로써 AI 모델이 스스로 접근 권한이나 행동 제한을 변경할 수 없도록 외부의 통제 시스템에 권한을 두는 것이 필요하다는 것이다.

또한, 모든 주요 행동이 변조 불가능한 감사 기록으로 남겨져야 한다고 덧붙이며, 이러한 구조적 분리가 기업의 AI 시장과 클라우드 인프라에서 필수적인 보안 표준이 될 것이라고 주장했다. 이는 AI 시스템의 신뢰성을 높이는 동시에, 기업들이 AI 기술을 안전하게 활용할 수 있도록 하는 기반이 될 것으로 기대된다.

안전한 AI 운영을 위한 원칙들

나델라 CEO가 제시한 AI 운영의 안전 원칙은 모델 다양성을 통한 의사결정 검증, 지속적인 시스템 테스트, 독립적인 통제 및 감사, AI 활동의 격리, 보안 사고 공개 등을 포함한다. 그는 기업들이 AI가 중대한 오류를 일으키거나 보안 침해를 당했을 때 즉각적으로 피해 당사자에게 알리고 사고 원인과 대응 정보를 공유해야 한다고 강조하며, 이를 통해 업계 전체의 안전 수준을 높이는 데 기여해야 한다고 말했다.

기술이 발전함에 따라 AI의 복잡성은 증가하고 있으며, 이에 따른 안전 우려도 커지고 있다. 나델라 CEO는 “초지능 시스템의 신뢰성은 우리가 모델을 얼마나 신뢰하느냐에 달리지 않는다”면서, 시스템이 최대한 신뢰하지 않더라도 안전하게 운영될 수 있도록 하는 것이 중요하다고 강조했다. 이는 앞으로의 AI 개발에 있어 더욱 철저한 안전 기준이 요구되는 시대가 올 것임을 시사한다.

사티아 나델라 CEO의 발언은 AI의 안전성과 통제 가능성을 더욱 강조하는 계기가 될 것으로 보인다. AI 기술이 우리 사회에 긍정적인 영향을 미치기 위해서는 인간의 통제가 반드시 뒷받침되어야 하며, 이를 위한 노력은 지속적으로 이루어져야 할 것이다. AI의 가능성을 최대한 활용하면서도, 이에 따른 잠재적 리스크를 사전에 차단하는 것이 이제는 선택이 아닌 필수가 되어가고 있다.