'클로드 미소스'를 파이토치로 재현한 오픈소스 프로젝트 '오픈미소스' 등장

앤트로픽의 최신 AI 모델 ‘클로드 미소스(Claude Mythos)’의 구조에 대한 궁금증이 커지는 가운데, 이를 이론적으로 재구성한 오픈소스 프로젝트 ‘오픈미소스(OpenMythos)’가 공개됐다. 이 프로젝트는 AI 분야에서의 혁신적인 접근 방식을 제시하며 주목을 받고 있다.

오픈미소스의 탄생

19일(현지시간), 스웜즈(swarms.ai)의 CEO인 카이 고메스는 오픈미소스를 깃허브를 통해 공개했다. 이 프로젝트는 클로드 미소스의 실제 모델이나 유출된 코드가 아닌, 순수한 이론적 가설을 바탕으로 한 것이 특징이다. 오픈미소스는 파이토치(PyTorch) 기반으로 개발된 루프형 트랜스포머 구조인 ‘파르카에(Parcae)’를 채택하고 있으며, 전문가 혼합(MoE) 메커니즘을 결합해 계산 효율성과 성능을 극대화하고자 했다.

기존의 트랜스포머 모델, 예를 들어 GPT나 라마 및 미스트랄 등은 서로 다른 가중치를 가진 레이어를 순차적으로 통과하면서 처리 능력을 확장하지만, 오픈미소스는 동일한 가중치를 여러 번 반복 적용하는 ‘재귀적 깊이 트랜스포머(RDT·Recurrent-Depth Transformer)’ 구조를 특징으로 한다. 이는 모델의 추론 능력이 파라미터 수에 의존하지 않고, 반복 적용 횟수에 따라 결정된다는 점에서 혁신적이다.

파르카에 구조의 혁신

오픈미소스의 핵심인 파르카에 구조는 ‘프렐류드(Prelude)-리커런트(Recurrent)-코다(Coda)’의 세 단계로 구성된다. 특히, 리커런트 단계는 최대 16회까지 반복되며, 각 반복에서 은닉 상태는 이전 상태와 입력 정보를 함께 반영해 갱신된다. 이 방식은 정보를 왜곡하는 문제를 방지하며, 피드포워드 네트워크 대신 MoE 레이어를 도입해 희소 연산 구조를 구현한다. 이러한 구조 덕분에 각 반복 단계마다 서로 다른 전문가 조합을 선택할 수 있어, 동일한 가중치를 사용하면서도 각 반복마다 독특한 계산 경로를 가지게 된다.

추론 과정에서도 기존 방식과의 차별성이 두드러진다. 오픈미소스는 중간 단계에서 텍스트를 생성하는 대신, 연속적인 잠재 공간(latent space) 내에서 직접적으로 추론을 진행한다. 이로 인해 여러 가능성을 병렬적으로 탐색할 수 있는 장점이 있으며, 각 반복 단계는 CoT(Chain of Thought)의 역할을 수행하면서도 더욱 유연한 구조를 형성한다.

효율성의 새로운 기준

최근 연구에 따르면, 파르카에 기반의 RDT 모델은 약 7억7000만 개의 매개변수를 지니고 있음에도 불구하고 동일 데이터에서 학습된 13억 개 매개변수의 전통적인 트랜스포머와 유사한 성능을 발휘하는 것으로 확인됐다. 이는 모델의 성능이 단순히 크기만으로 결정되지 않음을 시사하며, 반복 깊이에 의해 좌우될 수 있는 가능성을 보여준다.

앤트로픽은 클로드 미소스를 공개하면서 구체적인 기술적 세부사항을 공개하지 않았기 때문에, 고메스 CEO는 전문가들의 분석과 관련 자료를 바탕으로 이 모델을 추정하고 있다. 그는 “순환 트랜스포머(RT)와 MoE 관련 연구에 참여를 권장한다”고 강조하며, AI 분야의 발전에 대한 기대감을 드러냈다.

오픈미소스는 AI 모델의 구조적 재고를 촉진할 것으로 보이며, 향후 AI 기술의 발전에 기여할 가능성이 높다. 새로운 접근 방식이 AI 연구자들과 개발자들에게 영감을 주어, 더 나은 모델 개발로 이어지길 기대해 본다.