오픈AI, GPU 병목 해결하는 슈퍼컴퓨터 네트워크 규격 'MCR' 공개

오픈AI가 최신 AI 모델 학습에 최적화된 슈퍼컴퓨터 네트워크 기술인 'MRC(Multipath Reliable Connection)'를 발표했다. 이 기술은 AMD, 브로드컴, 인텔, 마이크로소프트, 엔비디아 등 주요 IT 기업들과의 협업을 통해 개발되었으며, 대규모 AI 클러스터에서 발생하는 병목 및 장애 문제를 해결하는 것을 목표로 하고 있다.

AI 성능을 좌우하는 네트워크 설계

AI 시스템의 규모가 기하급수적으로 증가하면서, 네트워크 설계의 중요성이 더욱 부각되고 있다. 오픈AI는 "AI 시스템의 성능은 이제 네트워크 설계에 크게 의존하고 있다"며 MRC가 초거대 AI 모델 학습의 기반 기술로 자리잡을 것이라고 강조했다. 특히 현재 매주 9억 명 이상이 사용하고 있는 '챗GPT'와 같은 대형 AI 모델은 수십만 개의 GPU가 동시에 동작해야 하므로, 안정적이고 효율적인 네트워크가 필수적이다.

기존의 AI 학습 네트워크는 하나의 데이터 전송 지연이나 링크 장애가 발생할 경우 전체 학습 작업이 멈추거나 성능이 급격히 저하되는 문제가 있었다. 이러한 문제를 해결하기 위해 오픈AI는 네트워크 구조를 근본적으로 재설계했다. MRC는 데이터 전송 경로를 단일 링크에서 여러 개의 링크로 분산시켜 병렬 네트워크를 구성하는 방식이다. 이를 통해 약 13만1000개의 GPU를 단 2단계의 스위치 계층으로 연결할 수 있게 되었으며, 이는 기존 3~4단계 구조에 비해 크게 효율적인 구조다.

패킷 스프레이 기술과 장애 허용성

MRC의 핵심 기술인 '패킷 스프레이'는 데이터 패킷을 여러 경로로 동시에 전송하는 방식이다. 이 기술은 네트워크 경로의 혼잡이나 장애 발생 시, 실시간으로 다른 경로로 데이터를 우회할 수 있도록 설계되었다. 기존 네트워크에서는 장애 복구에 수초에서 수십 초가 걸리던 문제를 마이크로초 단위로 줄이는 데 성공했다.

또한, MRC는 기존 인터넷 네트워크에서 사용되는 BGP와 같은 동적 라우팅 프로토콜을 제거하고, SRv6 기반의 정적 소스 라우팅 방식을 도입했다. 송신 장치가 패킷 경로를 직접 지정해 주기 때문에, 네트워크 스위치가 복잡한 경로 재계산을 수행할 필요가 없어졌다. 이러한 구조적 변화는 장애 발생 가능성을 대폭 줄여주며, 실제 운영에서도 그 효과가 입증되었다고 오픈AI는 전했다.

실제 활용 사례와 미래 전망

MRC는 이미 텍사스 애빌린의 슈퍼컴퓨터와 마이크로소프트의 '페어워터' 시스템 등에서 적용되고 있으며, 오픈AI의 엔비디아 'GB200' 기반 AI 클러스터에서도 실제 활용되고 있다. 오픈AI는 "AI 슈퍼컴퓨터의 규모가 커질수록 네트워크 효율성과 안정성이 실제 컴퓨팅 성능을 결정짓는 요소가 될 것"이라고 강조하며, MRC가 혼잡, 장애, 그리고 유지보수 상황에서도 GPU들이 안정적으로 작동할 수 있는 환경을 제공한다고 밝혔다.

이번 MRC 발표는 AI 기술의 발전과 함께 기술 생태계 전반에 긍정적인 영향을 미칠 것으로 기대된다. 오픈AI의 혁신적인 접근 방식은 앞으로의 AI 연구 및 개발에 있어 중요한 기준점이 될 것이며, 대규모 AI 시스템의 효율성을 극대화하는 데 큰 역할을 할 것으로 보인다. 이러한 기술이 실현된다면, AI는 더욱 빠르고 안정적으로 발전할 수 있는 발판을 마련할 것이다.