의사결정 모델도 멀티모달로 진화… vLLM·클라우드플레어 오픈소스 모델 공개

멀티모달 AI 모델이 의사결정의 경계를 확장하다

최근 AI 기술은 새로운 국면에 접어들고 있습니다. 기존의 텍스트 및 구조화된 데이터 중심의 의사결정 모델이 텍스트를 넘어 이미지, 오디오, 비디오 등 다양한 입력 데이터를 처리할 수 있는 멀티모달 모델로 진화하고 있습니다. 이 변화는 AI 에이전트의 이해력과 판단력을 향상시키며, 여러 산업 분야에서의 활용 가능성을 더욱 넓혀주고 있습니다.

vLLM의 디시전 3.0, 멀티모달 처리의 새 기준

vLLM 개발팀은 11일(현지시간) 새로운 멀티모달 의사결정 모델인 '디시전 3.0(Decision 3.0)'을 오픈소스로 공개했습니다. 이 모델은 텍스트와 JSON뿐만 아니라 이미지까지 직접 분석할 수 있는 기능을 갖추고 있습니다. 전통적인 의사결정 모델은 주로 미리 정해진 선택지의 확률을 반환하는 방식으로 작동했지만, 디시전 3.0은 이미지 속 정보를 이해하고 이를 기반으로 판단을 내리는 데 초점을 맞추었습니다.

흥미로운 점은 이 모델이 다양한 크기로 제공된다는 것입니다. 가장 작은 'd3-라이트(lite)'부터 시작해, 'd3-나노(nano)', 'd3-미니(mini)', 'd3-플래시(flash)', 마지막으로 대형 모델인 'd3'까지 총 5가지의 모델이 준비되었습니다. 각각의 모델은 허깅페이스에서 아파치 2.0 라이선스 하에 공개되어 개발자들이 자유롭게 활용할 수 있습니다.

디시전 3.0의 핵심적인 특징은 내장된 비전 인코더입니다. 이를 통해 이미지가 포함된 사용자 인터페이스(UI) 화면이나 인포그래픽, 스캔 문서 등을 별도의 절차 없이 직접 분석할 수 있습니다. PNG, JPEG, WebP 형식의 이미지를 최대 160만 픽셀 해상도로 처리할 수 있으며, 여러 이미지를 동시에 요청할 수도 있습니다. 이러한 기능은 AI 에이전트의 지연 시간을 줄이고 운영 비용을 절감하는 데 큰 도움이 될 것으로 기대됩니다.

클라우드플레어의 클레프-옴니, 멀티모달의 다양성

클라우드플레어 역시 이러한 트렌드에 발맞춰 새로운 멀티모달 의사결정 모델인 '클레프-옴니(Clef-omni)'를 공개했습니다. 이 모델은 텍스트, 이미지, 오디오, 비디오를 동시에 처리할 수 있으며, 총 300억 개의 매개변수 중 30억 개가 실제 추론에 활용되는 구조를 가지고 있습니다. 특히 클레프-옴니는 허깅페이스를 통해 오픈 가중치를 제공하여 개발자들이 자체 환경에서도 쉽게 사용할 수 있도록 하고 있습니다.

이 모델은 입력된 데이터에서 텍스트를 추출하거나 음성을 전사하는 별도의 과정을 거치지 않고, 여러 형태의 데이터를 한 번에 분석하여 의사결정 결과를 확률값으로 반환합니다. 예를 들어, 이미지 최대 4개, 오디오 클립 최대 4개, 동영상 최대 2개를 한 요청에 포함할 수 있으며, 질문은 요청당 최대 64개까지 처리할 수 있습니다. 이러한 기능은 사용자에게 한층 더 매끄러운 경험을 제공합니다.

하지만 모든 평가에서 우위를 보인 것은 아닙니다. 클레프-옴니 모델은 다양한 입력 형식을 처리하는 데 강점을 보였지만, 복잡한 추론 평가에서는 기존 모델에 비해 낮은 성능을 기록했습니다. 이는 멀티모달 처리 능력과 복잡한 추론 성능이 반드시 비례하지 않음을 보여주는 사례로, 향후 연구와 개발에 있어 중요한 시사점을 제공하고 있습니다.

미래를 향한 흐름

이처럼 멀티모달 AI 모델들이 등장함에 따라, 의사결정의 방식은 더욱 진화하고 있습니다. 이러한 변화는 단순히 기술적 진보를 넘어서, 다양한 산업 분야에서의 활용 가능성을 넓히고, 인간과 AI 간의 상호작용을 한층 더 매끄럽게 만들어줄 것입니다. 앞으로도 멀티모달 AI의 발전이 기대되며, 이를 통해 보다 효율적이고 창의적인 문제 해결 방식이 제시될 것으로 보입니다. AI 기술의 진화가 우리 삶에 가져다줄 변화는 과연 얼마나 클지, 그 귀추가 주목됩니다.