Ultra Ethernet (UE) 기술 심층 분석

Ultra Ethernet (UE)은 40년 넘게 데이터센터를 지배해 온 이더넷(Ethernet)을 AI 및 고성능 컴퓨팅(HPC) 시대에 맞게 근본적으로 재설계한 풀 스택(Full-Stack) 아키텍처입니다.

Linux Foundation 산하의 UEC (Ultra Ethernet Consortium)가 주도하고 있으며 AMD, Intel, Meta, Microsoft, Broadcom, Cisco 등 NVIDIA를 제외한 거의 모든 주요 빅테크 기업이 참여하여, 고비용의 InfiniBand를 대체하고 기존 이더넷의 한계를 극복하는 것을 목표로 합니다.

이 글은 가장 최신 표준인 Ultra Ethernet™ Specification v1.0.1 (September 05, 2025) 문서를 기초로 작성되었습니다.

1. 개요 및 설계 목표: “이더넷의 진화”

기존의 AI 네트워크(주로 RoCEv2)는 대규모 클러스터에서 테일 레이턴시(Tail Latency)와 인캐스트(Incast) 문제로 성능 저하를 겪었습니다.

UE의 핵심 목표는 이더넷의 범용성을 유지하면서도, 수만 개의 노드가 연결된 환경에서 대역폭 효율성을 극대화하는 것입니다. 이를 위해 물리 계층부터 소프트웨어까지 최적화하지만, 가장 핵심적인 혁신은 바로 새로운 전송 계층(Transport Layer)인 UET(Ultra Ethernet Transport)의 도입입니다.

2. 아키텍처 및 계층 구조 (UET Layers)

UE는 유연성과 성능을 위해 전송 계층을 4개의 서브 레이어(Sublayer)로 세분화하여 정의합니다.

2.1 의미 계층 (Semantic Sublayer, SES)

• 역할: 애플리케이션(Libfabric API 등)과 네트워크 사이의 통역사입니다. 메시지를 관리하고 패킷 분할/재조립을 담당합니다.
• 기능: Send, Receive 뿐만 아니라 RDMA와 유사한 Read, Write, Atomic 등 AI/HPC에 필수적인 메모리 연산을 정의합니다.

2.2 패킷 전달 계층 (Packet Delivery Sublayer, PDS)

• 역할: UE의 심장과 같습니다. 패킷의 신뢰성(Reliability)과 순서(Ordering)를 관리합니다.
• 혁신: 기존 이더넷과 달리 다중 경로 전송(Multipath)을 기본 전제로 설계되어, 패킷을 여러 경로로 분산시킬 준비를 합니다.

2.3 혼잡 제어 계층 (Congestion Management Sublayer, CMS)

• 역할: 네트워크의 신호등입니다. 경로별 상태를 실시간 모니터링하고 전송 속도를 조절합니다.
• 엔트로피(Entropy): 각 패킷이 어떤 경로를 타고 갈지 결정하여 네트워크 부하를 균등하게 분산시킵니다.

2.4 전송 보안 계층 (Transport Security Sublayer, TSS)

• 역할: 대규모 AI 클러스터에 최적화된 보안을 제공합니다. (선택적 기능)
• 특징: 기존 IPSec 등은 수만 개의 연결에 대해 키를 관리하는 오버헤드가 컸으나, TSS는 이를 경량화하여 성능 저하 없는 암호화 및 인증을 제공합니다.

3. 핵심 기술: 전송 모드와 패킷 스프레잉

UE가 기존 이더넷(RoCEv2)과 가장 차별화되는 지점은 데이터를 “어떻게” 보내느냐에 있습니다.

3.1 다중 경로 패킷 스프레잉 (Multipath Packet Spraying)

• 기존의 문제 (RoCEv2/ECMP): 기존 이더넷은 순서 보장을 위해 하나의 ‘흐름(Flow)‘을 하나의 경로로만 고정해서 보냈습니다(Flow Pinning). 이 경우 특정 경로가 혼잡하면 다른 경로가 비어 있어도 속도가 느려집니다.
• UE의 해결책: 데이터를 패킷 단위로 잘게 쪼개어 가용한 모든 경로에 뿌립니다(Spraying).
  • 이를 통해 특정 링크의 혼잡을 회피하고 네트워크 대역폭(Cross-sectional Bandwidth)을 이론상 한계치까지 활용합니다.

3.2 유연한 전송 모드 (Delivery Modes)

패킷이 여러 경로로 가면 도착 순서가 뒤섞일 수 있습니다. UE는 이를 처리하기 위해 네 가지 모드를 제공합니다.

1. RUD (Reliable Unordered Delivery): 순서에 상관없이 도착하는 대로 처리합니다. 재정렬 대기 시간이 없어 효율이 가장 높습니다.
2. ROD (Reliable Ordered Delivery): 제어 메시지 등 순서가 엄격히 지켜져야 할 때 사용합니다.
3. RUDI (Reliable Unordered Delivery for Idempotent): 멱등성(Idempotent)이 있는 연산(예: 메모리 덮어쓰기)에 특화되었습니다.

   멱등성이란? 같은 연산을 여러 번 수행해도 결과가 같은 성질입니다. 패킷이 중복 도착해도 무시하면 되므로 상태 관리 오버헤드가 극도로 낮습니다.

4. UUD (Unreliable Unordered Delivery): 기본적인 데이터그램 전송 모드입니다.

4. 지능형 혼잡 제어 (Congestion Management)

AI 워크로드의 가장 큰 적인 인캐스트(Incast, N:1 통신 폭주)를 해결하기 위해 수신자 중심의 제어를 도입했습니다.

4.1 RCCC (Receiver-Credit Congestion Control)

• 개념: 기존 TCP/RoCE는 송신자가 “일단 보내고 막히면 줄이는” 방식이었습니다. RCCC는 수신자가 “받을 수 있으니 보내라"고 허락(Credit)해야만 송신자가 데이터를 보낼 수 있습니다.
• 효과: 수신자 버퍼가 넘치는 일이 원천적으로 차단되어 패킷 손실이 사라집니다.

4.2 패킷 트리밍 (Packet Trimming)

• 동작: 스위치 버퍼가 가득 찼을 때, 패킷을 그냥 버리는(Drop) 대신 데이터는 버리고 헤더만 남겨(Trim) 수신자에게 보냅니다.
• 이점: 수신자는 “아, 데이터가 오다가 잘렸구나"를 즉시 인지하고, 타임아웃을 기다리지 않고 바로 재전송을 요청(NACK)할 수 있어 복구 속도가 획기적으로 빠릅니다.

5. 링크 계층 및 물리 계층의 보완

UE는 표준 이더넷 PHY를 사용하지만, 신뢰성을 위해 기능을 확장했습니다.

• LLR (Link Layer Retry): 케이블 불량 등으로 인한 비트 에러(Bit Error)를 링크 계층 하드웨어에서 감지하고 즉시 재전송합니다. 상위 계층까지 에러가 전파되지 않습니다.
• CBFC (Credit-Based Flow Control): 기존의 PFC(Priority Flow Control)를 대체합니다. 링크 간에도 크레딧을 교환하여 “멈춤(Pause)” 신호 없이 물 흐르듯 데이터를 전송합니다.

6. 소프트웨어 호환성 및 생태계

• Libfabric 지원: UE는 하드웨어는 바뀌어도 소프트웨어는 그대로 쓸 수 있도록 Libfabric API (v2.0+)를 표준으로 채택했습니다. PyTorch, TensorFlow, MPI, NCCL 등 기존 AI 스택을 코드 수정 없이 그대로 사용할 수 있습니다.
• 하드웨어 요구사항: UE를 사용하기 위해서는 UE 호환 NIC(Network Interface Card)가 필수적입니다. 스위치는 기존 표준 이더넷 스위치를 사용할 수 있으나, UE 최적화 스위치를 사용하면 성능이 극대화됩니다.

요약: UE vs RoCEv2 vs InfiniBand

Ultra Ethernet은 “이더넷의 경제성"과 “InfiniBand의 성능"을 결합한 기술로, 차세대 AI 데이터센터 네트워크의 사실상 표준(De Facto Standard)이 될 가능성이 매우 높습니다.