코히어, H100 2장으로 구동하는 에이전트용 모델 '커맨드 A+' 오픈 출시

코히어가 최근 기업용 AI 에이전트에 최적화된 오픈소스 대형언어모델(LLM) ‘커맨드 A+’를 출시했다. 이 모델은 적은 연산 자원으로도 뛰어난 성능을 발휘할 수 있도록 설계되어, 다양한 기업 환경에서 활용할 수 있는 스마트한 솔루션을 제공한다. 특히 H100 GPU 두 대로 구동 가능하다는 점이 주목할 만하다.

커맨드 A+의 혁신적인 설계

커맨드 A+는 텍스트, 이미지, 도구 사용을 동시에 처리할 수 있는 멀티모달 AI 모델로, 이전 모델인 ‘커맨드 A’와 그 파생 모델들을 통합한 형태다. 그동안 개별적으로 제공되던 커맨드 A 리즈닝, 비전, 트랜슬레이트 기능이 하나로 집약되어 사용자에게 보다 통합된 경험을 제공한다. 이 모델은 ‘희소 전문가 혼합(Sparse MoE)’ 구조를 채택해, 총 2180억 개의 매개변수 중 추론 시 활성화되는 매개변수는 250억 개로 제한함으로써 연산 효율성을 극대화했다.

코히어는 이를 통해 기업들이 높은 성능을 유지하면서도 인프라 비용을 줄일 수 있도록 도와주고 있다. 특히, 기업 환경에서 요구되는 에이전트형 워크플로, 검색증강생성, 멀티모달 문서 처리 및 다국어 추론 등 다양한 분야에서 최적화되어 있는 것이 특징이다.

성능과 활용성의 향상

커맨드 A+는 최대 12만 8000 토큰의 입력과 6만 4000 토큰의 출력을 지원하며, 이는 복잡한 작업을 수행하는 데 매우 유용하다. 출력은 단순한 텍스트 응답뿐만 아니라, 추론 과정과 외부 도구 호출까지 포함된다. 특히 다양한 양자화 버전이 제공되어, 개발자들은 자신의 환경에 맞는 모델을 선택할 수 있다. 4비트 양자화 버전인 W4A4는 특히 경량화되어, 단일 H100 GPU로도 원활하게 구동될 수 있다.

성능 개선도 상당하다. 통신 분야의 AI 벤치마크인 ‘타우2-벤치 텔레콤’에서의 점수가 기존 모델 대비 37%에서 85%로 향상되었고, 기업용 플랫폼 ‘노스’에서의 AI 질의응답 정확도도 20% 개선됐다. 또한, 멀티모달 성능이 강화되어 이미지와 문서 이해 능력에서 높은 점수를 기록했다.

다국어 지원과 미래 전망

이번 모델은 기존 23개 언어에서 48개 언어로 다국어 지원 범위를 확대했다는 점도 큰 장점이다. 특히 아랍어, 한국어, 일본어의 토큰 효율이 각각 20%, 16%, 18% 개선되어, 다양한 언어로도 효율적으로 작업할 수 있게 되었다. 추론 속도 또한 강화되어, 모델의 응답 속도와 처리 능력이 크게 향상되었다.

코히어는 커맨드 A+의 출시에 대해 “개발자들이 모델을 직접 실행하고 수정할 수 있도록 하는 것이 중요하다”며, 기업들이 자체 인프라에서 독립적으로 AI를 운영할 수 있도록 지원하겠다는 의지를 보였다. 현재 허깅페이스와 코히어의 모델 배포 플랫폼 ‘모델 볼트’를 통해 제공되고 있으며, API와 무료 체험 환경도 마련되어 있어, 다양한 사용자들이 손쉽게 접근할 수 있을 것으로 기대된다.

이번 커맨드 A+의 출시는 기업들이 AI를 활용하는 데 있어 새로운 패러다임을 제시할 것으로 보인다. 효율성과 성능을 모두 갖춘 이 모델은 앞으로의 AI 솔루션 시장에서 중요한 역할을 할 것으로 예상된다.