“AI 서버 구축 전 미리 성능 검증”…KAIST, LLM 인프라 시뮬레이터 개발

한국과학기술원(KAIST)이 대형 언어 모델(LLM) 인프라의 성능을 사전에 검증할 수 있는 혁신적인 도구를 개발했습니다. 이번에 선보인 ‘LLM서빙심 2.0’은 AI 서버를 구축하기 전 가상 환경에서 성능을 테스트할 수 있는 시뮬레이터로, AI 기술의 발전에 중요한 기여를 할 것으로 기대됩니다.

AI 인프라의 새로운 패러다임

연구팀은 LLM 서비스를 운영하기 위해서는 수만 대의 서버가 필요하다는 점을 주목했습니다. 특히, 최근의 AI 인프라는 단순히 GPU를 연결하는 것을 넘어서 다양한 하드웨어를 통합해야 하는 복잡한 구조로 발전하고 있습니다. 이 과정에서 새로운 AI 반도체와 시스템 구조를 검증하기 위해 실제 장비를 구축하는 데는 막대한 비용과 시간이 소요되는데, LLM서빙심 2.0은 이러한 문제를 해결하기 위한 목적으로 개발되었습니다.

이번 연구는 국제적인 컴퓨터 시스템 학회 ‘ISPASS 2026’에서 최우수 논문상을 수상하며 그 가치를 인정받았습니다. 박종세 KAIST 전산학부 교수는 "변화하는 LLM 서빙 인프라의 성능과 효율을 빠르게 예측하고 다양한 설계 옵션을 탐색할 수 있는 도구가 필요하다고 판단해 연구를 시작하게 됐다"고 설명했습니다.

복잡한 시스템을 간편하게 분석하다

LLM서빙심 2.0은 사용자가 입력한 워크로드, 클러스터 구성, 하드웨어 프로파일을 바탕으로 서빙 엔진을 구성합니다. 이 과정에서 요청 라우터와 모델 서빙 그룹을 통해 LLM 요청을 반복적으로 처리하며, 연산 실행, 메모리 접근, 통신 비용을 동시에 모델링합니다. 이를 통해 전력 사용량, 처리량 등의 런타임 성능을 분석하고, 최종 시스템 성능을 평가할 수 있습니다.

특히, 이 시뮬레이터는 다양한 하드웨어 환경을 지원하여 AI 반도체와 메모리 장치의 성능을 실제 데이터센터와 유사한 환경에서 미리 시험할 수 있는 점이 큰 장점입니다. 이를 통해 특정 반도체가 서비스 속도에 미치는 영향, 전력 소모 감소 여부, 그리고 대규모 서버 환경에서의 안정성을 미리 검증할 수 있는 길이 열렸습니다.

향후 LLM 인프라 연구의 방향

연구진은 LLM 인프라의 성능을 개선하기 위해서는 하드웨어와 소프트웨어 간의 상호작용을 보다 현실적으로 분석하는 것이 중요하다고 강조했습니다. LLM서빙심 2.0은 기존의 시뮬레이터들과 달리 이종 장치 간의 상호작용을 보다 정교하게 모델링할 수 있어, 실제 시스템에서 발생할 수 있는 병목 현상과 트레이드오프를 효과적으로 분석할 수 있습니다.

앞으로 KAIST 연구팀은 이 시뮬레이터를 오픈소스로 공개하고, 다양한 하드웨어 프로파일을 지속적으로 추가할 계획입니다. 이를 통해 클라우드 데이터센터에서의 서버 배치, 메모리 계층 추가, 서빙 정책 최적화 등 다양한 분야에 활용될 것으로 기대하고 있습니다. LLM서빙심 2.0은 AI 인프라의 미래를 밝히는 중요한 도구로 자리 잡을 전망입니다.