오케스트로, GPU 활용률 높이는 AI 추론 운영 플랫폼 ‘콘체르토 AI’ 공개

AI와 클라우드 기술의 발전이 가속화됨에 따라, 기업들이 보유한 GPU 인프라의 효율적 운영이 더욱 중요해지고 있습니다. 이러한 흐름에 발맞춰, AI 및 클라우드 전문 기업 오케스트로가 GPU 활용도를 극대화하기 위한 새로운 AI 추론 운영 플랫폼 ‘콘체르토 AI(CONCERTO A.I.)’를 출시했습니다. 이번 플랫폼은 특히 에이전트형 AI의 확산에 따른 급증하는 추론 트래픽에 효과적으로 대응할 수 있도록 설계되었습니다.

GPU 자원 최적화의 필수 요소

콘체르토 AI는 대규모 추론 요청을 효율적으로 처리하기 위해 GPU와 NPU(신경망 처리 장치) 등 다양한 가속기 자원을 작업의 특성에 맞춰 배분합니다. 전통적으로, 질문을 분석하는 작업과 답변을 생성하는 작업은 동일한 GPU 자원에서 동시에 이루어졌습니다. 그러나 콘체르토 AI는 이 두 작업을 분산 처리하여 각 작업에 최적화된 자원을 할당함으로써 병목 현상을 줄이는 혁신적인 접근 방식을 채택하고 있습니다.

이와 함께 콘체르토 AI는 키-값 캐시(KV Cache) 최적화와 메모리 재사용 기술을 적용하여 초기 응답 시간과 토큰 처리 속도를 개선했습니다. 이러한 기술들은 실시간 대기열과 자원 상태를 반영한 지능형 라우팅 기능과 결합되어, 고부하 환경에서도 안정적인 응답 성능을 유지하는 데 기여합니다. 예를 들어, 오케스트로는 자체 온프레미스 AI 인프라 환경에서 벤치마크 테스트를 진행한 결과, 콘체르토 AI의 분산 서빙 방식이 기존의 단일 처리 방식에 비해 응답 속도를 2.2배 향상시켰음을 확인했습니다.

변화하는 AI 환경과 기업의 대응

김범재 오케스트로 대표는 “생성 AI가 실제 업무에 빠르게 확산되고 있고, 에이전트형 AI 서비스의 수요가 증가하면서 기업들은 더 많은 GPU를 확보하는 데 집중하기보다는 보유한 자원을 얼마나 효율적으로 운영할 것인지에 대한 고민이 필요해졌다”고 강조했습니다. 이는 기업들이 AI 인프라의 운영 방식에 있어 새로운 패러다임을 맞이하고 있다는 점을 잘 보여줍니다.

실제로 AI 기술이 발전함에 따라, 기업들은 대량의 데이터를 실시간으로 처리할 수 있는 능력이 요구되고 있습니다. 이에 따라 GPU 자원의 효율적인 활용은 더 이상 선택이 아닌 필수로 자리잡고 있습니다. 콘체르토 AI는 이러한 시대적 요구에 부응하는 솔루션으로, 기업들이 AI 서비스를 보다 원활하게 운영할 수 있도록 돕는 중요한 역할을 할 것으로 기대됩니다.

향후 전망

이번 콘체르토 AI의 출시는 GPU 인프라의 효율적 운영을 통해 AI 추론의 새로운 가능성을 열어줍니다. 오케스트로는 앞으로도 지속적으로 AI 기술 개발에 투자하며, 기업들의 AI 도입과 운영을 더욱 매끄럽게 할 수 있는 다양한 솔루션들을 선보일 예정입니다. 이러한 변화는 곧 AI 산업 전반에 긍정적인 영향을 미칠 것으로 전망되며, 기업들이 AI를 통해 새로운 가치를 창출하는 데 큰 도움이 될 것입니다.