오픈AI, 첫 자체 추론 칩 '할라피뇨' 성능 공개..."블랙웰보다 3.6배 빨라"

오픈AI가 자사의 첫 자체 설계 AI 추론 칩 ‘할라피뇨(Jalapeño)’의 성능을 공개하며, 인공지능 하드웨어 시장에 중요한 변화를 예고하고 있다. 최근 스탠포드대학교에서 열린 반도체 컨퍼런스 ‘핫 칩스(Hot Chips)’에서 발표된 이 칩은, 엔비디아의 최신 블랙웰 기반 시스템을 제치고 뛰어난 성능을 자랑하며 주목을 받고 있다.

할라피뇨의 성능, 블랙웰을 뛰어넘다

할라피뇨는 오픈AI가 브로드컴과 협력하여 개발한 AI 추론 전용 칩으로, 이번 벤치마크 테스트에서는 ‘GPT-OSS 120B’, ‘딥시크-R1 670B’, 문샷 AI의 ‘키미 K2.5 1T’ 모델을 대상으로 성능을 평가했다. 그 결과, 할라피뇨는 전력 대비 처리량과 응답 지연시간에서 모두 뛰어난 성능을 보여주었다. 최대 처리량 기준으로 기존 시스템보다 1.5배에서 1.9배 많은 AI 작업을 처리할 수 있었으며, 응답 속도는 1.7배에서 3.6배 더 빨라졌다.

특히, 가장 큰 공개 모델인 키미 K2.5 1T에서는 할라피뇨가 전력 대비 성능에서 약 1.5배 높은 결과를 기록했고, 지연시간은 3.4배 낮아졌다. 리처드 호 오픈AI 하드웨어 책임자는 “할라피뇨는 많은 사용자에게 저렴한 비용으로 높은 처리량을 제공할 뿐만 아니라, 빠른 응답을 요구하는 환경에서도 뛰어난 성능을 발휘한다”고 설명했다. 이 칩은 700와트(W)급 전력 설계를 기반으로 하고 있지만, 실제 테스트에서는 550W 이하의 전력을 소비하며 효율성을 높였다.

AI 추론 전용 칩의 경제적 이점

오픈AI는 할라피뇨의 개발을 통해 AI 데이터센터 운영비 중 전력 비용을 줄이는 데 큰 기여를 할 것으로 기대하고 있다. AI 추론 작업의 전력 효율성을 극대화함으로써, 같은 전력으로 더 많은 작업을 처리할 수 있어 경제적 효과를 가져올 전망이다. 오픈AI는 이 칩이 AI 모델과 반도체, 메모리, 네트워크, 소프트웨어를 통합적으로 설계한 ‘풀스택’ 전략을 적용했음을 강조했다.

이러한 구조는 기존 AI 가속기의 한계점을 극복하는 데 초점을 맞췄다. 모델 상태와 KV 캐시를 필요한 위치에 효율적으로 유지하여 데이터 이동을 줄이고, 연산과 메모리, 네트워크 자원을 최적화해 추론 단계에서의 성능을 향상시켰다. 오픈AI는 자사의 AI 모델을 활용하여 설계와 검증 과정을 가속화했으며, 이로 인해 초기 설계부터 테이프아웃까지 9개월 만에 완료할 수 있었다.

미래를 향한 발걸음

오픈AI는 할라피뇨를 단일 세대 제품이 아닌 다세대 반도체 플랫폼으로 발전시킬 계획이다. 이미 2세대 칩 개발이 상당히 진행됐으며, 3세대 설계에도 착수했다. 올해 말부터 자체 컴퓨팅 인프라에 소량 배치할 예정이며, 2027년부터는 본격적으로 확대할 계획이다. 다만, 이번 성능 비교는 엔비디아의 모든 최신 제품을 대상으로 한 것이 아니며, 블랙웰 기반 시스템이 아닌 차세대 ‘베라 루빈(Vera Rubin)’이 포함되지 않았다.

할라피뇨는 AI 모델 훈련이 아닌 추론에 특화된 칩으로, 훈련 분야에서 강점을 가진 엔비디아 GPU를 전면적으로 대체할 수는 없지만, AI 추론 시장에서의 경쟁력을 크게 높일 것으로 기대된다. 오픈AI의 이번 발표는 향후 AI 추론 기술의 발전 방향을 제시하며, 인공지능 하드웨어의 새로운 패러다임을 열어가는 계기가 될 것이다.