누스 리서치, ‘토큰 중첩 학습’으로 사전훈련 시간 2.5배 단축

대형언어모델(LLM)의 개발 비용이 날로 증가하는 가운데, 새로운 학습 기법이 등장해 주목받고 있다. 미국의 AI 연구조직인 누스 리서치(NUS Research)는 기존 모델 구조를 변경하지 않고도 사전훈련(pre-training) 시간을 2.5배 단축할 수 있는 '토큰 중첩 학습(Token Superposition Training, TST)' 기법을 발표했다. 이 기술은 최신 AI 업계의 가장 큰 이슈인 학습 비용 절감에 대한 새로운 해법으로 자리 잡을 가능성이 높다.

토큰 중첩 학습(TST)의 혁신

TST는 기존의 학습 방식과는 전혀 다른 접근법을 취하고 있다. 전통적인 AI 모델은 각각의 토큰을 차례대로 학습하는 방식이었지만, TST는 초기 학습 단계에서 여러 토큰를 하나로 묶어 압축하여 처리한다. 이를 통해 동일한 연산 자원으로도 더 많은 데이터를 더 빠르게 학습할 수 있게 된다. 이 방식은 단순히 학습 효율을 높이는 데 그치지 않고, 모델의 성능을 세밀하게 다듬는 데에도 기여한다.

TST는 두 단계로 나뉜다. 첫 번째는 '중첩 단계(superposition phase)'로, 여기서 여러 토큰을 하나로 묶어 압축한 후 학습을 진행한다. 이후 '복구 단계(recovery phase)'에서는 다시 기존 방식처럼 하나씩 예측하며 모델 성능을 향상시킨다. 이러한 방식으로 TST는 기존의 GPU 연산량을 유지하면서도 더 낮은 손실을 달성하는 성과를 거두었다.

효율성 입증, 비용 절감의 길 열리다

누스 리서치는 이번 연구를 통해 다양한 규모의 모델에서 TST의 효과를 검증했다. 특히 10B-A1B 전문가 혼합(MoE) 모델 실험에서 TST는 기존 사전학습 방식보다 약 2.5배 빠른 속도를 기록했다. 연구진은 TST가 기존 학습 시스템을 그대로 활용할 수 있도록 설계되었으며, 추가적인 하드웨어나 모델 구조 변경이 필요 없다는 점을 강조했다.

실험 결과, TST는 1만2311 B200 GPU-시간이 필요했던 기존 방식에 비해 4768 GPU-시간으로 더 낮은 최종 손실을 기록했다. 이는 같은 연산량(FLOPs) 기준에서도 성능 향상을 이끌어냈으며, 여러 주요 벤치마크에서도 우수한 결과를 나타냈다. TST는 모델이 처음에는 압축된 형태의 데이터를 익히고, 이후 세밀한 언어 학습으로 넘어가면서 일종의 '예비 사전학습(pre-pretraining)' 역할을 수행한다.

미래의 LLM 개발 비용 구조 변화할까?

TST의 도입은 LLM 개발 비용을 크게 줄일 수 있는 가능성을 열어준다. 현재 AI 업계에서는 GPU 확보와 학습 비용 부담이 커지고 있으며, 단 몇 퍼센트의 효율 향상만으로도 막대한 비용 절감 효과를 누릴 수 있다. 그러나 TST가 모든 상황에 무조건 유리한 것은 아니라는 점도 유념해야 한다. 동일 데이터 소비량 기준에서는 기존 방식이 더 높은 성능을 기록할 수 있기 때문이다.

그럼에도 불구하고 TST는 AI 학습의 새로운 패러다임을 제시하며, 향후 LLM 개발에서 중요한 역할을 할 것으로 기대된다. 특히, 데이터 처리량을 극대화하는 방향으로 이동하는 AI 업계에서 TST는 경쟁력을 높이는 데 기여할 수 있는 기술로 자리 잡을 가능성이 크다. 이처럼, 누스 리서치의 연구는 앞으로 AI 모델 개발의 비용 구조를 변화시킬 중요한 이정표가 될 것이다.