[9월17일] 초지능 경고에서 에이전트 통제까지...'p(doom)'이 다시 주목받는 이유

최근 인공지능(AI) 기술의 발전과 함께 'AI 종말론'이 다시금 주목받고 있습니다. 이와 함께 특정 AI 연구자들 사이에서 사용되는 'p(doom)'이라는 용어도 화제입니다. p(doom)는 인류가 AI로 인해 멸종하거나 심각한 파멸적 결과를 겪을 확률을 의미하는데, 이러한 논의는 AI가 단순히 도구에서 점차 인간의 통제를 벗어나는 단계로 나아가고 있다는 점에서 더욱 긴급하게 다뤄지고 있습니다.

AI 종말론의 부활

AI의 아버지로 잘 알려진 제프리 힌튼 교수는 한 인터뷰에서 "앞으로 10년 이내에 AI가 인류를 멸종시킬 확률이 10%에 달할 수 있다"고 경고했습니다. 물론, 이 수치가 정확한 계산을 기반으로 한 것은 아니며, 각 연구자들의 주관적인 추정에 의해 형성된 것입니다. p(doom)이라는 개념은 'Probability of Doom'의 약자로, AI의 위험성을 수치적으로 표현하려는 시도에서 비롯되었습니다.

이러한 경고는 단순한 시나리오가 아닌 현실적인 위험으로 다가오고 있습니다. AI 기술이 단순한 질문 답변을 넘어 웹 탐색, 코드 실행 등 다양한 작업을 수행할 수 있는 에이전트 단계로 발전함에 따라, 과거에는 상상하기 힘들었던 '통제 상실'의 문제가 실제 사례로 나타나고 있습니다.

p(doom)의 의미와 활용

p(doom)는 공식적인 통계가 아니라, AI 안전 연구자들과 관련 커뮤니티에서 자발적으로 생성된 개념입니다. 2016년부터 비영리 연구 기관 AI 임팩트가 진행해 온 'AI 진보에 관한 전문가 조사'에서는 AI가 인류 멸종의 가능성을 묻는 질문에 대해 연구자들의 응답을 수집했습니다. 그 결과 중앙값은 5~10%, 평균은 14.4~19.4%로 나타났습니다. 이러한 수치는 시간이 지남에 따라 변화할 수 있으며, 각기 다른 조건을 바탕으로 한 추산이기에 단순 비교는 어렵습니다.

이처럼 p(doom)이라는 용어가 대중의 관심을 끌고 있는 이유는 AI 기술이 변곡점을 맞이하고 있기 때문입니다. 과거에는 먼 미래의 이야기로 여겨졌던 AI의 위험성이 이제는 실질적으로 논의되고 있으며, 실제 사례들이 증가하면서 그 심각성이 더욱 부각되고 있습니다.

향후 전망과 의미

AI 기술이 로봇이나 다양한 기계와 연결될 경우, AI의 판단과 행동이 우리의 현실 세계에 미치는 영향은 더욱 커질 것입니다. AI의 발전이 가져올 두 가지 주요 위험 경로는 첫째, AI가 인간의 통제를 벗어나는 경우와 둘째, 인간이 AI를 악용하여 치명적인 공격을 감행하는 경우입니다. 이러한 복잡한 상황 속에서 p(doom)이라는 개념은 AI와 인간의 관계를 재정의하는 중요한 기준이 되어가고 있습니다.

결국 AI의 발전은 우리 사회에 큰 변화를 가져오고 있습니다. '10%'라는 숫자가 시사하는 바는 단순한 경고가 아니라, AI 기술이 인류에게 미칠 수 있는 심각한 위험을 인식하고 대비해야 할 필요성을 강조합니다. 우리는 기술 발전 속도와 안전성을 균형 있게 고려해야 하며, 앞으로 다가올 AI 시대에 대한 준비가 더욱 중요해질 것입니다.