“1조 매개변수 모델, 뇌 수준 20W 구동 가능”…리처드 서튼의 반격

리처드 서튼 교수와 그의 제자, 쿠람 자베드 박사가 최근 AI 분야의 새로운 패러다임을 제시하며, 현재의 대형 언어 모델(LLM) 중심의 접근 방식을 강하게 비판하고 나섰다. 이들은 인간의 뇌가 사용하는 전력인 20와트(W)로 1조 개의 매개변수를 가진 모델을 구동할 수 있는 가능성을 강조하면서, 연속 학습(Continual Learning) 기반의 초고효율 AI 시대를 예고하고 있다.

LLM의 한계와 대안 제시

서튼 교수는 최근 세쿼이아 캐피털의 팟캐스트에 출연하여 AI 스타트업 ‘옥 랩(Oak Lab)’의 창립을 알리며, 현재 AI 산업이 직면한 여러 한계를 지적했다. 그는 현재 대부분의 AI 시스템이 대규모 LLM과 사전 학습에 의존하는 경향이 있으며, 이는 장기적으로 지속 가능한 해결책이 아니라고 주장했다. 특히 데이터 고갈 문제를 해결하기 위해 사용되는 합성 데이터 생성 방식에 대해 “단순한 실수”라고 단언하며, 이러한 접근이 결국 인간 전문가에게 의존하게 되어 병목현상을 초래할 것이라는 우려를 드러냈다.

서튼 교수는 LLM 기반 시스템의 가장 큰 문제로 ‘학습의 정지’를 지적했다. 현재 이러한 시스템은 배포 후 가중치가 변화하지 않기 때문에 사용자가 상호작용하는 동안 새로운 학습을 하지 않는다. 그는 모든 학습이 지속적이어야 하며, 지능의 본질 또한 환경과의 상호작용 속에서 스스로 가중치를 업데이트하는 연속 학습에 있다고 강조했다.

전력 효율성을 통한 AI 혁신

특히 두 연구자는 초저전력으로 작동하는 AI 알고리즘의 가능성을 제시하며 주목을 끌었다. 현재의 대형 AI 모델들은 수천 개의 GPU와 메가와트급 전력을 소모하지만, 인간의 뇌는 단 20W의 전력으로 복잡한 지적 작업을 수행한다. 자베드 박사는 현재의 메모리 기술로는 1조 매개변수를 20W로 유지하는 것이 거의 불가능하다고 인정하면서도, 알고리즘 혁신과 하드웨어 효율성 개선이 결합된다면 5~10년 안에 가능할 것이라고 내다봤다.

서튼 교수는 이러한 전력 소모의 문제를 지적하며, 현재의 AI 기업들이 막대한 에너지를 쏟아부어야만 진정한 역량을 인정받으려는 경향이 있다고 비판했다. 그는 기존 패러다임에 갇혀 새로운 알고리즘 개발을 주저하고 있다고 덧붙였다. 그들은 ‘치명적 망각(Catastrophic Forgetting)’을 극복하고 지속적인 학습을 가능하게 하는 ‘연속 역전파’ 알고리즘을 개발하여, 기존 지식을 보존하면서도 새로운 정보로 지속적으로 업데이트할 수 있는 방안을 제시했다.

혁신을 향한 비전

서튼 교수와 자베드 박사는 자신들이 설립한 옥 랩을 통해 이러한 혁신적인 AI 아키텍처를 구현할 계획을 세우고 있다. 그들은 언어 능력이 지능의 20%에 불과하다는 점을 강조하며, 나머지 80%를 채우는 진정한 초지능을 목표로 하고 있다. 서튼 교수는 자신이 내놓은 의견이 “급진적”으로 여겨지는 것에 대해, 오히려 AI 학계가 비정상적으로 변화한 것이라고 반박했다.

이러한 연구는 향후 AI 기술의 발전 방향에 중요한 영향을 미칠 것으로 보인다. 지속적인 학습과 효율적인 전력 사용을 통해 진정한 의미의 ‘지능’을 구현할 수 있는 가능성이 열리며, 이는 우리가 AI와 상호작용하는 방식을 근본적으로 변화시킬 잠재력을 지니고 있다. AI의 미래는 이제 더 이상 단순한 데이터의 집합체가 아닌, 지속적으로 학습하고 발전하는 생명체와 같은 존재로 나아갈 수 있을지도 모른다.