옵트에이아이, 온디바이스 특화 자체 경량 AI 모델 '옵트기어' 공개

옵트에이아이, 온디바이스 최적화 경량 AI 모델 '옵트기어' 공개

IT 분야의 혁신이 끊임없이 이어지고 있는 가운데, 옵트에이아이(대표 이재호)가 6일 자체 개발한 경량 언어 모델 '옵트기어(Opt.Gear)'를 발표했다. 옵트기어는 설계부터 구현까지 모두 옵트에이아이의 손에서 탄생한 첫 번째 파운데이션 모델로, 스마트폰과 노트북은 물론 마이크로컨트롤러(MCU)에서도 실행될 수 있도록 최적화된 구조를 갖춘 것이 특징이다.

온디바이스 환경을 고려한 설계

옵트기어는 단순히 기존의 거대 언어 모델을 축소한 것이 아니라, 온디바이스 환경의 특성을 철저히 반영하여 제작됐다. 매개변수는 10억 개(1B), 2억 7000만 개(270M), 100만 개(1M)로 나뉘며, 각기 다른 사용 환경과 요구 사항에 맞춰 선택할 수 있도록 되어 있다. 특히, SRAM과 메모리 대역폭, 전력 소모, 지연 시간 등 제한된 자원 아래에서도 원활하게 작동할 수 있도록 설계된 것이 큰 장점이다.

옵트에이아이는 이 모델의 핵심 기술로 'ConvKV-Gated Mixer' 구조를 내세우고 있다. 이 기술은 다수의 어텐션 계층을 합성곱 연산으로 대체하여, 문맥 길이가 증가해도 KV 캐시의 크기가 고정되도록 하는 혁신적인 접근법을 제공한다. 기존 모델들이 문맥이 늘어날수록 KV 캐시가 비례적으로 커져 속도 저하를 겪는 문제를 해결한 것이다. 이로 인해 옵트기어는 CPU, GPU, NPU 등 다양한 프로세서 환경에서도 안정적인 성능을 발휘할 수 있다.

성능과 활용 가능성

성능 면에서도 옵트기어는 동급의 오픈 모델들과 비교해 뛰어난 성과를 보였다. 퀄컴 스냅드래곤 8 Elite Gen5 NPU를 기준으로 할 때, 입력 토큰 처리 속도는 초당 7042토큰에 달해, 알리바바의 '큐원 3-1.7B'보다 무려 2.9배 빠른 속도를 기록했다. 애플 아이폰 17 프로에서의 토큰 생성 속도는 LG '엑사원 4.0-1.2B'의 4.9배에 달하며, 이는 옵트기어의 높은 효율성을 잘 보여준다.

또한, 벤치마크 평가에서도 지식 평가(MMLU)에서 43.2점, 한국 문화 및 상식 평가(HAERAE)에서 44.2점을 기록하여 '젬마 3-1B' 및 '엑사원 4.0-1.2B'를 앞서는 성과를 거두었다. 특히 한국어 관련 평가에서도 '라마 3.2-1B'보다 높은 점수를 기록하며, 국내 시장에서도 적합한 모델임을 입증했다. 이러한 성과들은 옵트기어가 다양한 산업에서 활용될 가능성을 더욱 높인다.

AI 최적화 기술의 미래

옵트에이아이는 국방, 모빌리티, 로보틱스 분야에서 AI 최적화 기술을 제공하며, LG전자, LG유플러스, 현대자동차, 한화에어로스페이스 등과 협력하고 있다. 옵트기어의 출시는 이러한 협업을 통해 더욱 확대될 전망이다. 앞으로 옵트에이아이가 구축할 AI 생태계가 어떤 혁신을 가져올지 기대된다. 경량 모델의 필요성이 커지는 시장에서 옵트기어가 가져올 변화는 분명 흥미로운 주제가 될 것이다.