메타, ‘토큰화’ 없애고 추론 효율 2배 높인 바이트 언어모델 'BLT' 공개

최근 메타, 스탠포드대학교, 워싱턴대학교의 연구진이 함께 개발한 혁신적인 대형 언어 모델인 ‘BLT(Byte Latent Transformer)’가 주목받고 있다. 이 모델은 기존의 텍스트 처리 방식을 뒤바꾸며, 바이트 단위로 데이터를 처리하는 새로운 접근법을 통해 생성 속도를 두 배로 향상시켰다. 특히, BLT는 언어 모델의 한계로 지적받던 토큰화(tokenization) 과정을 제거해 실용성을 높였다.

바이트 단위 처리의 혁신

대부분의 현재 생성 AI는 단어와 문자를 압축한 토큰 단위로 텍스트를 처리한다. 이러한 방식은 효율적이긴 하지만 입력 노이즈에 민감하고, 다국어 처리나 코드 및 숫자처럼 구조화된 데이터를 다루는 데는 한계가 있다. BLT는 이러한 문제를 해결하기 위해 바이트 단위로 텍스트를 처리하는 접근방식을 채택했다. 이를 통해 텍스트를 가장 기본적인 원시 바이트 형태로 읽어들이고, 각 바이트를 패치(patch) 단위로 묶어 효율성을 극대화한다.

BLT는 ‘엔트로피 패칭(Entropy Patching)’이라는 기술을 사용하여, 예측하기 어려운 부분은 더 짧게, 반복적이거나 단순한 부분은 더 길게 묶어 처리한다. 이는 모델이 데이터를 더 유연하게 다룰 수 있도록 하여, 다양한 형식의 입력에 대한 처리 능력을 향상시킨다. 하지만 기존 BLT는 여전히 바이트를 하나씩 순차적으로 생성해야 하는 한계가 있었다. 이를 개선하기 위해 연구진은 새로운 접근법을 도입했다.

BLT-D의 병렬 처리 기술

새롭게 발표된 BLT-D는 다양한 바이트를 병렬로 생성하는 디코딩 구조를 채택해 추론 속도를 획기적으로 높였다. 이 모델은 입력 정보를 처리하는 로컬 인코더, 전체 문맥을 이해하는 글로벌 트랜스포머, 그리고 결과를 생성하는 로컬 디코더로 구성되어 있다. 이러한 구조 덕분에 BLT-D는 기존 모델보다 훨씬 적은 연산으로 긴 문장을 빠르게 생성할 수 있다. 실험 결과, 30억 매개변수 모델에서 BLT-D는 메모리 대역폭 사용량을 절반 이상 줄이는 성과를 거두었다.

BLT-D의 핵심 기술 중 하나는 ‘BLT 셀프 스페큘레이션(BLT-S)’이다. 이 기술은 기존 BLT의 로컬 디코더를 활용하여 마스킹된 바이트를 빠르게 예측하도록 한 구조다. BLT-S는 그리디 디코딩 환경에서도 품질 저하 없이 최대 77%의 메모리 대역폭 절감을 이뤘다. 이를 통해 연구진은 적은 연산으로도 높은 품질의 출력을 가능하게 했다.

미래의 가능성

BLT-D의 또 다른 혁신은 ‘BLT 디퓨전+검증(BLT-DV)’ 방식이다. 이는 빠른 병렬 생성 구조에 검증 단계를 추가해 속도와 품질 간의 균형을 유지하는 접근법이다. 디퓨전 방식으로 여러 바이트를 초안 생성한 후, 자기회귀 검증 단계를 통해 생성 품질을 높였다. 이 모델 역시 뛰어난 효율성을 보여주며, BLT 대비 최대 81%의 메모리 대역폭 절감 효과를 기록했다.

이번 BLT의 출시는 언어 모델 분야에 큰 변화를 가져올 것으로 예상된다. 특히, 기존 토큰 기반 모델의 한계를 극복하고 다양한 언어 및 데이터 형식에 대한 적응력을 높이는 데 기여할 것으로 보인다. 앞으로 BLT가 생성 AI의 발전에 어떤 영향을 미칠지 귀추가 주목된다.