구글, 노트북용 멀티모달 '젬마 4 12B' 출시..."인코더 빼고 경량화 성공"

구글이 새로운 온디바이스 멀티모달 AI 모델 ‘젬마 4 12B’를 출시하며 업계의 이목을 집중시키고 있다. 이 모델은 텍스트, 이미지, 오디오, 비디오를 한꺼번에 처리할 수 있는 강력한 기능을 갖추고 있으며, 일반 소비자용 노트북에서도 원활하게 작동하도록 설계되었다. 특히, 기존 멀티모달 AI 모델의 핵심 구성 요소인 이미지와 오디오 인코더를 완전히 제거함으로써 경량화에 성공했으며, 이는 AI 기술의 새로운 가능성을 제시하는 중요한 변곡점이 될 것으로 기대된다.

혁신적인 구조, 인코더 없는 멀티모달 모델

젬마 4 12B는 약 120억 개의 매개변수를 보유한 디코더 전용 트랜스포머 모델로, 기본적으로 텍스트와 함께 이미지, 비디오, 오디오 입력을 처리할 수 있다. 구글은 이 모델을 "노트북을 위한 에이전트형 멀티모달 AI"라고 소개하며, 중형 젬마 시리즈 중 최초로 네이티브 오디오 기능을 채택했다고 밝혔다.

가장 주목할 만한 점은 기존의 멀티모달 모델들이 이미지와 오디오 데이터를 각각 별도의 인코더를 통해 처리하는 방식에서 벗어나, 젬마 4 12B는 인코더 없이 대형언어모델(LLM)로 직접 전달하는 구조를採用했다는 점이다. 이를 통해 모델의 추론 지연 시간을 줄이고 메모리 사용량을 비약적으로 감소시키는 성과를 거두었다. 예를 들면, 이미지 처리 과정이 선형 투영 구조로 단순화되어, 입력 이미지가 48×48 픽셀 단위로 분할된 후 한 번의 행렬 곱셈으로 LLM 임베딩 공간으로 전환된다.

성능과 기능: 다양한 작업을 한 번에

젬마 4 12B는 260억 매개변수 규모의 젬마 26B 모델과 비슷한 성능을 발휘하면서도 메모리 사용량은 절반 이하로 줄였다. 또한, 25만6000 토큰에 달하는 대규모 컨텍스트 창을 지원하여, 장문의 문서나 코드 저장소, 회의록 등을 한 번에 처리할 수 있는 능력을 보여준다. 기본적으로 제공되는 기능으로는 음성 인식(ASR), 화자 구분(Diarization), 비디오 이해, 코드 생성, 함수 호출(Function Calling), 시스템 프롬프트, 단계별 추론(Thinking Mode) 등이 있다. 이 덕분에 젬마 4 12B는 별도의 음성 인식 시스템 없이도 음성을 직접 텍스트로 전사할 수 있으며, 오디오와 비디오를 동시에 분석하는 멀티모달 작업도 강력하게 수행할 수 있다.

구글은 개발자들이 복잡한 에이전트형 AI 시스템을 쉽게 구축할 수 있도록 젬마 모델용 공식 기술 저장소인 ‘젬마 스킬(Gemma Skills)’도 공개했다. 이 저장소는 다양한 에이전트 기능을 모듈 형태로 제공하여, 개발자들이 창의적인 아이디어를 실현할 수 있는 발판을 마련하고 있다.

미래를 여는 기술의 경계

구글의 젬마 4 12B는 멀티모달 AI의 경계를 다시 한번 확장하는 혁신적인 모델로 평가된다. 인코더를 제거한 아키텍처와 향상된 메모리 효율성은 앞으로의 AI 기술 발전에 중요한 시사점을 제공할 것으로 보인다. AI의 다양한 가능성을 탐색하는 개발자들과 연구자들은 이제 젬마 4 12B의 힘을 활용하여 새로운 형태의 지능형 시스템을 꿈꿀 수 있을 것이다. 이러한 변화가 가져올 미래의 AI 환경이 어떤 모습일지 기대가 모아진다.