미소스, METR 자율성 평가서 '16시간' 기록..."측정 한계 돌파"

AI의 자율성이 날로 향상되면서, 이제는 인간 전문가가 하루를 보내야 하는 업무를 독립적으로 수행할 수 있는 가능성이 열렸습니다. 비영리 AI 연구기관인 METR가 최근 발표한 연구 결과에 따르면, AI 모델 '클로드 미소스 프리뷰(Claude Mythos Preview)'가 약 16시간이 소요되는 작업을 50% 성공률로 수행했다는 것입니다. 이는 AI의 자율성 측정 기준이 새롭게 설정되고 있음을 시사합니다.

자율성의 새로운 지표

METR의 연구에서 도입된 '작업 완료 시간 지평(task-completion time horizon)'이라는 새로운 지표는 AI가 얼마나 오랜 시간 동안 인간의 개입 없이 작업을 수행할 수 있는지를 측정하는 데 초점을 맞추고 있습니다. 이 지표는 인간 전문가가 특정 작업을 완료하는 데 소요되는 시간을 기준으로, AI가 이 작업을 성공적으로 수행할 수 있는 가능성을 평가하는 방식입니다. 예를 들어, AI가 절반의 확률로 성공할 수 있는 작업의 난이도를 인간 작업 시간으로 환산한 것이 바로 '50% 시간 지평'입니다.

METR은 이번 연구에서 AI 모델의 성공률을 다양한 소프트웨어 엔지니어링, 머신러닝, 사이버 보안 과제에 대해 측정하였으며, 그 결과는 흥미롭게도 클로드 미소스 프리뷰가 이전 버전인 '클로드 오퍼스 4.6'보다 향상된 16시간 이상의 작업 시간을 기록했다는 점입니다. 이는 AI가 기존 평가 체계를 넘어서는 성능을 보이고 있음을 나타냅니다.

AI의 발전 속도와 의미

AI 기술의 발전 속도는 가속화되고 있습니다. METR의 연구에 따르면, 2019년 이후 출시된 주요 AI 모델의 작업 수행 가능 시간은 평균 7개월마다 두 배로 증가해 왔습니다. 그러나 2024년부터 AI 에이전트 개념이 본격적으로 도입되면서, 이 속도는 더욱 빨라져 3개월마다 두 배로 늘어나는 추세를 보이고 있습니다. 연구진은 AI의 신뢰성과 오류 복구 능력이 향상되면서 장시간 자율 작업 수행이 가능해졌다고 분석했습니다. 이는 단순한 논리적 추론 능력의 향상을 넘어, 작업 도중 발생하는 실수를 수정하고 새로운 상황에 적응하는 능력의 강화가 크게 기여한 결과입니다.

하지만 이러한 성능 향상에는 한계도 존재합니다. 연구진은 실제 산업 현장에서 인간 전문가들이 갖고 있는 맥락적 지식과 경험이 AI의 성과에 영향을 미칠 수 있다는 점을 강조하며, 현재의 측정치가 인간의 업무 시간을 과대평가했을 가능성을 언급했습니다.

미래의 AI와 그 경계

AI의 자율성 증가가 가져올 변화는 생산성 혁신을 기약할 수 있지만, 동시에 사회적 위험성도 동반할 수 있습니다. 장시간 인간의 감독 없이 독립적으로 작동할 수 있는 AI는 다양한 분야에서 효율성을 높일 수 있으나, 오작동이나 악의적 활용 시에는 큰 위험을 초래할 수 있습니다. METR은 앞으로 5년 내에 AI가 인간이 한 달 걸리는 소프트웨어 업무 상당수를 자동화할 가능성이 있다고 전망하며, 이러한 기회와 위험을 동시에 고려해야 한다고 경고하고 있습니다.

AI의 발전은 우리 사회의 다양한 측면을 변화시킬 잠재력을 지니고 있습니다. 하지만 그에 따른 책임과 관리의 중요성도 간과해서는 안 될 것입니다. 우리가 AI의 자율성을 어떻게 활용하고 통제할지가 향후 기술 발전의 방향성을 결정짓는 중요한 요소가 될 것입니다.