"뇌처럼 학습한다"…사카나 AI, 역전파 대체 기술 'PC-ALM' 발표

사카나 AI가 발표한 새로운 인공지능 학습 기법, 'PC-ALM'이 주목받고 있다. 이 기술은 딥러닝의 핵심 프로세스인 역전파(Backpropagation)를 사용하지 않고도 깊은 신경망을 효과적으로 학습할 수 있는 혁신적인 방법으로, 학습의 효율성을 한 단계 끌어올릴 것으로 기대된다.

PC-ALM: 진화하는 딥러닝 기술

PC-ALM(Augmented Lagrangian Predictive Coding)은 기존의 예측 코딩(PC) 방식의 한계를 극복하기 위해 고안된 새로운 학습 방법이다. 사카나 AI 연구팀은 각 레이어가 주변 정보와 자신의 상태를 기반으로 독립적으로 학습할 수 있도록 설계했다. 이 방식은 최대 1000개 레이어로 구성된 복잡한 신경망에서도 역전파에 버금가는 성능을 보일 수 있음을 입증했다.

기존의 역전파 방식은 데이터를 한 방향으로 처리한 후 발생한 오류를 거꾸로 전달해 각 연결의 가중치를 조정하는 방식이다. 이 과정은 전체 신경망이 정해진 순서에 따라 순방향 계산과 역방향 계산을 동시에 수행해야 하는 복잡한 구조를 갖추고 있다. 그러나 PC-ALM은 각 레이어가 자신의 예측 오차를 기록하고 이를 누적하여 다음 학습 단계에 전달함으로써, 보다 자연스러운 방식으로 학습을 진행할 수 있다. 연구팀은 이를 통해 생물학적 뇌의 학습 방식과 유사한 모델을 제시하고 있다.

탄도형 신호 전달로 효율성 극대화

사카나 AI의 연구진은 기존 예측 코딩의 문제점인 신호의 약화를 극복하기 위해, 오차 정보를 빠르게 전달하는 '탄도형' 신호 전파 방식을 도입했다. 이 방법은 학습 신호가 여러 레이어를 지나면서 약해지는 기존의 '확산형' 방식에 비해 훨씬 더 효과적이다.

실험 결과, '패션-MNIST' 및 'MNIST' 데이터셋을 활용해 다양한 네트워크 구조를 테스트한 결과 PC-ALM은 역전파와 유사한 성능을 보였다. 특히 레이어가 많고 폭이 좁은 신경망에서는 기존 예측 코딩의 성능 저하 문제가 크게 줄어들었다. 예를 들어, 1000개 레이어의 잔차형 다층 퍼셉트론(MLP) 실험에서는 PC-ALM이 역전파 방식과 약 2%포인트 이내의 성능 차이를 보였다.

미래의 가능성과 도전 과제

PC-ALM은 이론적으로도 역전파를 대체할 가능성을 제시하고 있다. 연구진은 PC-ALM이 안정적으로 수렴할 경우, 각 레이어에 저장된 라그랑주 승수가 역전파에서 사용되는 그래디언트 신호와 정확히 대응한다는 사실을 발견했다. 이는 네트워크 전체를 거꾸로 계산할 필요 없이 각 레이어가 주변 정보와 자체 학습 과정을 통해 유사한 방향으로 학습할 수 있음을 의미한다.

하지만 PC-ALM은 여전히 연구 단계에 있으며, 현재까지의 실험은 주로 소규모 이미지 분류 문제에 집중되고 있다. 또한, 기존 예측 코딩보다 더 많은 메모리를 요구하는 단점이 있다. 향후 연구가 진행됨에 따라 이 기술의 한계가 극복되고, 실제 응용 분야에서의 가능성이 열릴 것으로 기대된다.

사카나 AI의 PC-ALM은 인공지능 학습의 패러다임을 바꿀 수 있는 잠재력을 지니고 있으며, 이러한 발전이 향후 AI 기술의 진화에 큰 기여를 할 것으로 보인다.