메타, AI 전용 통신 규격 ‘메타RoCE’ 공개…수십만 GPU 네트워크 병목 잡는다

메타가 AI 전용 통신 규격 ‘메타RoCE’를 공개하며 대규모 AI 클러스터의 네트워크 병목 문제 해결에 나섰다. 기존의 RDMA(Remote Direct Memory Access) 기술을 재설계한 이 새로운 프로토콜은 수십만 개의 GPU가 동시에 연결된 환경에서 발생할 수 있는 데이터 전송의 비효율성을 개선하고, AI 모델 학습과 추론의 효율성을 높이는 데 기여할 것으로 기대된다.

메타RoCE의 핵심 기술

메타RoCE는 초대형 AI 모델의 요구 사항에 맞춰 최적화된 통신 방식을 제안한다. 메타는 현재 3만2000개 이상의 GPU를 동원하여 단일 AI 학습을 진행하며, 이러한 대규모 처리 환경에서는 데이터 전송 속도와 안정성이 성능을 좌우한다는 점을 강조했다. 기존 통신 방식은 데이터 손실을 방지하기 위해 네트워크의 모든 트래픽을 정지시키는 방식으로 설계되었으나, 이로 인해 병목 현상이 발생할 경우 전체 시스템이 마비되는 ‘데드락’ 문제가 빈번하게 발생했다.

메타RoCE는 이를 해결하기 위해 ‘차량(NIC, 네트워크 카드)’에 지능을 부여하는 새로운 접근 방식을 채택했다. 데이터의 흐름을 중앙에서 제어하는 대신, 각 차량이 상황을 판단하고 자율적으로 움직이는 구조로 설계되었다. 이 덕분에 고가의 전용 장비 없이도 일반적인 대용량 이더넷 장비를 활용하여 대규모 네트워크를 구축할 수 있게 되었다.

효율적인 데이터 전송과 혼잡 제어

메타RoCE는 데이터 패킷의 순서가 뒤섞이거나 일부가 누락되는 상황을 자연스러운 현상으로 수용한다. 데이터가 여러 경로로 흩어져 도착하더라도 수신 NIC는 이를 즉시 메모리에 적재하여 대기 시간을 최소화한다. 따라서 데이터 전송의 지연 현상을 줄이고, 중간에 누락된 데이터만을 빠르게 재전송하여 전체 트래픽을 차단하지 않는다.

혼잡 제어 방식 또한 혁신적이다. 수신 측 NIC는 실시간으로 왕복 시간을 측정하고, 이를 바탕으로 전송 속도를 자동으로 조절한다. 이러한 프로세스는 수신 측에서만 이루어져, 네트워크의 혼잡 상황에서도 전송 속도를 최적화할 수 있게 해준다. AMD의 네트워크 카드와 GPU 클러스터 환경에서 진행된 시험 결과에 따르면, 메타RoCE는 패킷 손실률이 1%인 경우에도 약 86%의 높은 처리량을 유지했으며, 10%의 손실률이 발생해도 성능 저하 없이 안정적인 대역폭을 제공하는 것으로 나타났다.

개방형 생태계로의 확장

메타는 이 기술을 특정 반도체 기업에 종속되지 않는 개방형 생태계로 확장할 계획이다. 개방형 컴퓨팅 프로젝트인 OCP(Open Compute Project)를 통해 표준 사양과 호환성 검증 도구, 참조 소프트웨어 모델인 ‘libsoftmetaroce’를 제공할 예정이다. 이러한 접근은 다양한 기업과 개발자들이 메타RoCE를 손쉽게 활용할 수 있도록 하여, AI 클러스터의 통신 효율성을 높이고, 더욱 발전된 AI 모델의 학습을 가능하게 할 것이다.

결과적으로 메타RoCE는 대규모 AI 클러스터의 네트워크 병목 문제를 해결하는 데 기여할 것으로 보이며, AI 기술의 발전에 중요한 이정표가 될 가능성이 크다. 향후 10월에 열릴 OCP 글로벌 서밋에서 더욱 구체적인 내용이 발표될 예정이어서, 관련 업계의 관심이 집중되고 있다. 메타의 이번 기술 발표는 AI 분야에서의 경쟁력을 더욱 강화하는 계기가 될 것으로 기대된다.