'기억 저장 순서' 바꿔 성능 향상...고속 어텐션 프레임워크 '팰컨' 등장

대형 언어 모델(LLM)의 지속적인 학습 능력을 향상시키기 위한 새로운 프레임워크, '팰컨(Falcon)'이 등장하면서 AI의 미래가 한층 밝아지고 있다. 바이트댄스와 프린스턴대학교, 칭화대학교, UCLA, 하이퍼볼릭 랩스가 공동으로 개발한 이 혁신적인 기술은 기존의 정보 처리 방식에서 발생하는 문제들을 해결하고, AI의 기억 업데이트 메커니즘을 새롭게 설계했다.

고속 가중치 어텐션: 기억의 혁신

대부분의 LLM은 학습이 끝나면 가중치가 고정되어 새로운 정보를 효과적으로 처리하기 어려운 한계가 있다. 기존의 순환형 AI 모델들은 과거 정보를 고정된 크기의 내부 기억에 저장하고 이를 수정하는 방식으로 새로운 정보를 처리하지만, 이 과정에서 시간적 정렬 오류가 발생하는 문제가 있었다. 팰컨은 이러한 문제를 해결하기 위해 '읽은 뒤 쓰는(Read-after-write)' 방식을 도입했다. 즉, AI가 먼저 이전 정보를 이해하고 이를 기반으로 새로운 정보를 예측하고 저장하도록 재구성한 것이다.

이러한 접근은 고정된 내부 기억을 단순한 저장 공간이 아니라, 실시간으로 학습하는 임시 가중치로 활용하는 방식을 가능하게 했다. 연구진은 팰컨-1, 팰컨-2, 팰컨-3이라는 세 가지 버전을 제안하며, 각 버전마다 정규화 방식과 업데이트 범위를 달리하여 다양한 사용 사례를 지원할 수 있도록 했다.

뛰어난 성능: 실험으로 증명된 우수성

팰컨은 데이터셋인 FineWeb-Edu를 기반으로 한 학습 실험에서 뛰어난 성능을 발휘했다. 팰컨-1.3은 검증 퍼플렉시티(perplexity) 지표에서 17.10을 기록하며, 게이티드 델타넷(17.32)과 트랜스포머(17.38)를 초월하는 언어 예측 능력을 보여주었다. 퍼플렉시티는 모델이 다음에 올 단어를 얼마나 잘 예측하는지를 나타내는 지표로, 수치가 낮을수록 성능이 좋은 것을 의미한다.

특히 긴 입력 맥락을 유지하는 능력도 탁월했다. 가변 자리수 덧셈 실험에서는 팰컨-3A.3가 87.2%의 정확도로 트랜스포머(65.8%)를 크게 앞섰다. 이는 긴 문맥에서 필요한 정보를 정확히 유지하고 제거할 수 있는 능력이 뛰어나다는 것을 증명한다.

AI의 미래: 지속적 학습의 가능성

이번 팰컨 연구는 AI가 스스로 기억을 최적화하고, 긴 문맥을 처리하는 과정에서의 정보 유지 및 제거 강도를 정밀하게 조절할 수 있도록 설계되었다는 점에서 큰 의의를 가진다. 그러나 팰컨은 임시 기억을 다루는 기술로, 모델 자체에 영구적으로 저장되는 장기 기억과는 다른 개념이다.

연구진은 현재 소규모 모델 중심의 연구를 넘어 대규모 상용 LLM으로의 확장 적용을 목표로 하고 있다. 팰컨의 성공적인 적용은 AI 기술의 발전에 있어 중요한 이정표가 될 것이며, 향후 다양한 분야에서의 활용 가능성을 기대하게 만든다. AI가 실시간으로 학습하고 적응하는 능력이 더욱 강화될 경우, 인공지능의 역할은 더욱 확대될 것으로 전망된다.