NVLink / NVSwitch 정리

PCIe

일반적인 PCIe 환경에서는 GPU 간 통신이 다음과 같은 구조로 이루어진다.

GPU
↓
PCIe
↓
CPU
↓
PCIe
↓
GPU

 

즉 GPU 간 통신이 CPU를 거쳐서 이루어진다.

2026.03.11 - [🔧 Engineering/📁 GPU & Hardware] - PCIe / SXM GPU 정리

PCIe / SXM GPU 정리

---

NVLink

NVLink는 GPU와 GPU를 직접 연결하는 고속 인터커넥트 기술이다.

반면 NVLink는 GPU끼리 직접 연결된다.

GPU
↓
NVLink
↓
GPU

 

이 방식은 GPU 간 통신 속도를 크게 향상시킨다.

특징

NVLink는 다음과 같은 특징을 가진다.

• GPU ↔ GPU 직접 연결
• PCIe보다 높은 대역폭
• GPU 간 데이터 전송 최적화

예) H100 GPU 기준 NVLink 대역폭 :

약 900GB/s

 

이는 PCIe Gen5 x16의 약 64GB/s보다 훨씬 높은 속도이다.

---

NVSwitch

NVSwitch는 여러 GPU를 하나의 네트워크처럼 연결하는 스위치 칩이다.

NVLink는 GPU 두 개를 연결할 수 있지만, GPU가 많아질 경우 NVSwitch를 통해 GPU들을 연결한다.

구조는 다음과 같다.

GPU
↓
NVLink
↓
NVSwitch
↓
NVLink
↓
GPU

 

즉 NVSwitch는 GPU들을 연결하는 스위치 역할을 한다.

특징

NVSwitch는 다음과 같은 특징을 가진다.

• 다수 GPU 연결 가능
• GPU 간 통신 경로 최적화
• GPU 메모리 공유 구조 지원

예) HGX 서버에서의 구조

GPU × 8
↓
NVLink
↓
NVSwitch

 

이 구조를 통해 GPU들은 하나의 GPU 풀처럼 동작할 수 있다.

---

NVLink vs NVSwitch

구분	NVLink	NVSwitch
역할	GPU 간 직접 연결	GPU 연결 스위치
연결 수	소수 GPU	다수 GPU
구조	GPU ↔ GPU	GPU ↔ Switch ↔ GPU