"두배 크기 트랜스포머 모델과 같은 성능 제공"...새로운 아키텍처 ‘파르카에’ 등장

새로운 트랜스포머 아키텍처 ‘파르카에(Parcae)’가 기존 모델을 넘어서는 성능을 보여주며 주목받고 있다. UC 샌디에고와 투게더 AI의 연구진이 개발한 이 혁신적인 모델은 동일한 매개변수 수와 학습 데이터 조건에서 기존의 트랜스포머 아키텍처를 능가하는 성능을 자랑한다. 특히, 메모리 사용량을 유지하면서도 유연하게 연산을 조절할 수 있는 점에서 모바일 및 온디바이스 AI 환경에 적합한 대안으로 떠오르고 있다.

루프형 구조의 장점

파르카에의 가장 큰 특징은 루프형 구조를 채택했다는 점이다. 기존의 트랜스포머 모델은 여러 층을 한 번씩 지나가는 고정 구조를 가지고 있지만, 파르카에는 동일한 연산 블록을 반복적으로 실행하는 방식을 채택하고 있다. 이렇게 하면 더 많은 계산을 수행하면서도 모델의 깊이를 늘리지 않고 메모리 사용량을 안정적으로 유지할 수 있다. 연구진은 이 구조를 통해 높은 정확도가 필요한 상황에서는 반복 횟수를 늘리고, 반대로 빠른 응답이나 배터리 소모를 줄여야 할 때는 반복 횟수를 줄일 수 있는 유연성을 제공한다고 설명했다. 이러한 가변적인 반복 방식은 특히 메모리 제약이 큰 모바일 환경에서 강력한 성능을 발휘할 것으로 기대된다.

성능 개선의 비결

파르카에는 ‘프렐류드(Prelude)-리커런트(Recurrent)-코다(Coda)’의 3단계 구조로 설계되어 있다. 입력은 프렐류드 단계에서 잠재 표현으로 변환되고, 리커런트 블록에서 여러 번 갱신된 후 코다 단계에서 최종 출력을 생성하게 된다. 이 과정에서 입력 정보는 매 반복마다 다시 주입되며 정보 손실을 방지한다. 연구진은 과거의 유사한 루프형 구조가 학습 과정에서 불안정해지는 문제를 ‘비선형 시간 불변 동적 시스템’으로 접근하여 해결했다. 특히 음수 대각 파라미터화와 이산화 기법을 활용해 반복 구조가 안정적으로 작동할 수 있도록 개선한 결과, 학습 과정에서의 값의 급격한 변화와 불안정성을 효과적으로 예방할 수 있었다.

실험 결과, 파르카에는 동일 조건에서 최대 6.3%까지 검증 퍼플렉서티를 낮추면서 기존 모델에 비해 뚜렷한 성능 향상을 보였다. 또한, 7억7000만 개의 매개변수로 13억 개의 매개변수를 가진 기존 트랜스포머 모델과 유사한 성능을 낼 수 있어, 보다 작은 모델로도 높은 성능을 달성할 수 있음을 입증했다.

향후 전망

파르카에는 새로운 아키텍처 디자인의 가능성을 열어주며, 대형 언어 모델의 효율적인 발전 방향을 제시하고 있다. 연구진은 이 모델이 약 2배 더 큰 모델과 동등한 성능을 발휘할 수 있다고 강조하며, 앞으로의 연구가 소형 고성능 모델 설계의 중요한 이정표가 될 것으로 기대하고 있다. 하지만 반복 횟수를 무한히 늘려도 성능이 계속 향상되지 않는 경향이 있어, 학습 단계에서 설정한 깊이가 성능의 한계를 결정짓는다는 점은 앞으로 해결해야 할 과제로 남아 있다. 새로운 모델 파르카에는 AI 기술의 발전을 한 단계 더 끌어올릴 핵심이 될 것으로 보인다.