리퀴드 AI, 라즈베리 파이서 구동되는 소형 에이전트 모델 'LFM2.5-2.6B' 공개

리퀴드 AI가 저전력 기기에서도 뛰어난 성능을 발휘할 수 있는 소형 AI 언어 모델을 공개했습니다. 이 모델, 'LFM2.5-2.6B'는 스마트폰, 노트북은 물론 라즈베리 파이와 같은 임베디드 기기에서 구동이 가능하다는 점이 큰 특징입니다. 리퀴드 AI는 이 모델을 통해 클라우드 서버에 의존하지 않고도 개인정보 보호와 낮은 지연 시간, 추론 비용 절감을 동시에 이루고자 했습니다.

AI 에이전트의 진화

리퀴드 AI가 새롭게 선보인 LFM2.5-2.6B는 26억 개의 매개변수를 갖춘 소형 언어 모델로, 기존의 대화형 챗봇을 넘어 실제 작업을 수행하는 AI 에이전트에 초점을 맞췄습니다. 이 모델은 12만8000개의 토큰으로 구성된 컨텍스트 창을 지원하며, llama.cpp, MLX, vLLM 등 다양한 추론 프레임워크와 호환됩니다. 특히, 이 모델은 문서 관리, 웹 검색, 소프트웨어 개발, 일정 관리, 데이터 분석 등 다양한 작업을 처리할 수 있는 능력을 갖추고 있습니다.

LFM2.5-2.6B는 비라틴 문자에 대한 처리 능력을 높이기 위해 어휘 규모를 확대했으며, 에이전트 작업에서 발생할 수 있는 장문의 입력을 효과적으로 처리하도록 설계되었습니다. 이를 통해 AI가 단순한 질문 응답을 넘어 실제 도구를 선택하고 호출하여 작업을 완수할 수 있는 능력을 갖추게 되었습니다.

성능과 활용 가능성

이 모델은 성능 면에서도 기대 이상의 결과를 보여주었습니다. LFM2.5-2.6B는 지시 이행 관련 평가에서 높은 점수를 기록하며, 도구 사용 평가에서도 상위권에 올라 있습니다. 특히 '툴샌드박스' 평가에서 77.83점을 기록하며, 동급의 다른 대형 모델을 앞서는 성과를 달성했습니다. 다만, 복잡한 수학이나 코딩 관련 작업에서는 여전히 대형 모델이 우위를 보이는 것으로 나타났습니다.

리퀴드 AI는 이 모델을 대규모 프론티어 모델의 대안이 아닌, 저전력 환경에서의 속도, 비용, 개인정보 보호를 중시한 활용 가능성을 강조했습니다. LFM2.5-2.6B는 스마트폰에서도 초당 30토큰을 생성할 수 있으며, 라즈베리 파이에서도 원활하게 작동하여 다양한 저전력 기기에서의 활용이 기대됩니다.

향후 전망 및 의미

리퀴드 AI는 LFM2.5-2.6B의 출시를 통해 기업 내부에서의 문서 관리, 일정 자동화, 백그라운드 업무 처리 등 다양한 분야에서의 활용 가능성을 모색하고 있습니다. 이 모델은 기존의 에이전트 프레임워크와도 호환되며, 오픈AI와 같은 API 형태로도 제공될 수 있어, AI 에이전트 운영에 필요한 유연성을 제공합니다.

앞으로 리퀴드 AI는 사용자의 요청을 기다리는 것을 넘어, 스스로 상황을 파악하고 필요한 작업을 수행하는 능동형 에이전트를 구현할 계획입니다. 이러한 발전이 이루어진다면, 기업과 개인 모두에게 더욱 스마트한 작업 환경을 제공할 수 있을 것입니다. 다만, 기업의 상업적 이용 시 라이선스 조건에 따른 추가적인 고려가 필요하다는 점은 주의해야 할 사항입니다.