엔비디아, '그로크 3 LPX' 본격 양산...초고속 추론 에이전트 시장 타깃

엔비디아가 AI 에이전트 시대의 핵심 인프라로 떠오르는 초고속 추론 시장을 겨냥해 '그로크 3 LPX' 랙 시스템의 본격 양산에 나선다고 발표했다. 지난해 약 28조 원에 인수한 AI 칩 스타트업 그로크의 기술을 바탕으로 한 이번 제품은, AI 모델의 추론 과정에서 발생하는 지연을 최소화하기 위해 설계됐다.

그로크 3 LPX, 초고속 추론의 새로운 기준

엔비디아는 25일(현지시간) 그로크 3 LPX의 생산이 시작됐다고 밝혔다. 이 시스템은 엔비디아의 차세대 플랫폼인 '베라 루빈'과 함께 작동하며, 특히 AI 에이전트가 여러 단계를 거쳐 결과를 도출하는 과정에서 발생하는 토큰 생성 지연을 줄이는 데 중점을 두고 있다. 그로크 3 LPX는 AI 데이터센터인 네오클라우드 네비우스에 배치되어, 올해 말부터 '네비우스 토큰 팩토리'라는 서비스에 활용될 예정이다.

이 시스템의 가장 큰 특징은 초저지연 토큰 생성 성능이다. 그로크 아키텍처는 500MB 규모의 고속 SRAM을 칩에 내장해 메모리 접근 속도를 높이며, 이를 통해 병목 현상을 줄였다. 하나의 LPX 랙에는 256개의 그로크 3 칩이 설치되어 있어, AI 모델의 토큰 생성 속도를 극대화할 수 있도록 설계됐다. 실제로 AI 모델 벤치마크 업체인 아티피셜 애널리시스 테스트에 따르면, 이 시스템은 오픈소스 에이전트 모델인 '젬마 4 31B'를 통해 초당 3400개의 출력 토큰을 생성하는 기록을 세웠다.

AI 에이전트의 혁신, 응답 속도를 높이다

AI 에이전트의 작업에서 빠른 응답 속도는 매우 중요하다. 에이전트가 파일을 분석하고 코드를 작성한 뒤, 이를 실행하고 검증한 후 다시 수정하는 과정은 각 단계의 반응 속도가 전체 작업의 효율성에 큰 영향을 미친다. 엔비디아는 그로크 3 LPX가 이러한 작업의 응답성을 기존 플랫폼 대비 최대 4배 향상시킬 수 있다고 강조하고 있다. 이는 특히 코딩 및 AI 에이전트 개발 분야에서 큰 도움이 될 것으로 기대된다.

또한, 그로크 3 LPX는 엔비디아의 GPU와는 다른 역할을 수행한다. GPU는 AI 모델의 학습과 추론을 포함한 다양한 작업을 처리하는 범용 가속기인 반면, 그로크 3 LPX는 주로 사용자에게 필요한 결과를 신속하게 생성하는 '디코드' 단계에 집중한다. 엔비디아는 이 두 가지 기술을 적절하게 결합함으로써 최적의 성능을 이끌어낼 계획이다.

저지연 추론 시장의 경쟁 및 전망

이번 그로크 3 LPX의 양산은 엔비디아가 그로크 인수 후 첫 번째로 선보이는 상용 데이터센터 제품으로, 그 의미가 크다. 최근 저지연 추론 시장은 AMD와 오픈AI 등 경쟁업체들도 새로운 기술을 선보이며 치열한 경쟁을 벌이고 있다. AMD는 세레브라스의 칩을 자체 시스템과 결합할 계획을 밝혔고, 오픈AI는 세레브라스 기반의 초고속 서비스인 '울트라패스트'를 출시했다.

엔비디아의 그로크 3 LPX가 초고속 추론 인프라의 새로운 기준을 제시할 수 있을지, 앞으로의 시장 반응이 주목된다. AI 기술이 더욱 발전함에 따라, 저지연 추론의 필요성이 커지는 상황에서 엔비디아의 행보는 향후 AI 에이전트의 성능 극대화에 중요한 역할을 할 것으로 기대된다.