Bedarf an schnelleren, besser skalierbaren Verbindungen

Steigende Rechenanforderungen für KI und High-Performance-Computing (HPC) – mit einer neuen Klasse von Billionen-Parametermodellen – erfordern Systeme mit mehreren Knoten und mehreren Grafikprozessoren, die nahtlos und in Hochgeschwindigkeit miteinander kommunizieren. Für die Entwicklung der leistungsstärksten End-to-End-Computing-Plattform, die diese Arbeitsgeschwindigkeit erreichen kann, sind schnellere, besser skalierbare Verbindungen erforderlich.

NVIDIA A100 PCIe mit NVLink-Verbindung zwischen Grafikprozessoren
NVIDIA A100 mit NVLink-Verbindungen zwischen Grafikprozessoren

NVLink-Leistung

NVLink-Leistung

Vollständig verbundene GPUs mit NVIDIA NVSwitch

Die dritte Generation von NVIDIA NVSwitch nutzt die fortschrittliche Kommunikationsfähigkeit von NVLink, um eine höhere Bandbreite und eine geringere Latenz für rechenintensive Workloads bereitzustellen. Um den kollektiven Hochgeschwindigkeitsbetrieb zu ermöglichen, verfügt jeder NVSwitch über 64 NVLink-Ports mit Engines für NVIDIA SHARP (Scalable Hierarchical Aggregation Reduction Protocol) für netzwerkinterne Reduktionen und Multicast-Beschleunigung.

Vollständig verbundene GPUs mit NVIDIA NVSwitch
Zusammenarbeit von NVLink und NVSwitch

Wie NVLink und NVSwitch zusammenarbeiten

NVLink realisiert eine direkte GPU-zu-GPU-Verbindung, die den Input/Output (IO) mehrerer Grafikprozessoren innerhalb des Servers skaliert. NVSwitch verbindet mehrere NVLinks, um eine vollständige Kommunikation zwischen allen GPUs mit voller NVLink-Geschwindigkeit innerhalb eines einzelnen Knotens und zwischen Knoten zu ermöglichen.    

Mit der Kombination aus NVLink und NVSwitch hat NVIDIA MLPerf 1.1 erzielt – den ersten branchenweiten Benchmark für KI.

Skalierung zum Training von bis zu Billionen Parametermodellen mit dem NVLink-Switch-System

Mit NVSwitch können NVLink-Verbindungen über Knoten hinweg ausgedehnt werden, um einen nahtlosen GPU-Cluster mit hoher Bandbreite zu bilden, der mehrere Knoten umfasst und eine effektive GPU für Rechenzentren bildet. Durch das Hinzufügen von einem externen zweiten NVLink-Switch zu den Servern kann das NVLink-Switch-System bis zu 256 GPUs verbinden und eine atemberaubende Gesamtbandbreite von 57,6 Terabyte pro Sekunde (TB/s) bereitstellen, um selbst die größten KI-Aufgaben schnell zu lösen. 

Skalierung zum Training von bis zu Billionen Parametermodellen
NVIDIA NVLink-Switch

NVIDIA NVLink-Switch

Der NVIDIA NVLink-Switch bietet 128 NVLink-Ports mit einer nicht blockierenden Switching-Kapazität von 3,2 Terabyte pro Sekunde (Tb/s). Der Rack-Switch ist für eine hohe Bandbreite und niedrige Latenz in NVIDIA DGX- und NVIDIA HGX-Systemen ausgelegt, die externe NVLink-Konnektivität der vierten Generation unterstützen.

Skalierung von Enterprise auf Exascale

Vollständige Verbindung für unübertroffene Leistung

NVSwitch ist die erste knotenbasierte Switch-Architektur, die 8 bis 16 vollständig verbundene Grafikprozessoren auf einem einzigen Serverknoten unterstützt. Der NVSwitch der dritten Generation verbindet jedes GPU-Paar mit unglaublichen 900 GB/s. Er unterstützt eine vollständig allseitige Kommunikation. Die Grafikprozessoren können als einzelner Hochleistungsbeschleuniger mit bis zu 15 PetaFLOPS Rechenleistung für Deep Learning genutzt werden. 

Die leistungsstärkste KI- und HPC-Plattform

NVLink und NVSwitch sind wichtige Bausteine der kompletten NVIDIA-Lösung für Rechenzentren, die Hardware, Netzwerke, Software, Bibliotheken und optimierte KI-Modelle und -Anwendungen aus der NVIDIA AI Enterprise-Softwaresuite und dem  NVIDIA NGC-Katalog umfasst. Die extrem leistungsstarke End-to-End-Plattform für KI und HPC ermöglicht es Forschern, konkrete Ergebnisse zu liefern sowie Lösungen für die Produktion bereitzustellen und bietet bei jeder Größenordnung eine beispiellose Beschleunigung. 

Technische Daten

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  Zweite Generation Dritte Generation Vierte Generation
NVLink-Bandbreite pro GPU 300 GB/s 600 GB/s 900 GB/s
Maximale Anzahl an Links pro Grafikprozessor 6 12 18
Unterstützte NVIDIA-Architekturen NVIDIA Volta-Architektur NVIDIA Ampere-Architektur NVIDIA Hopper-Architektur
  Erste Generation Zweite Generation Dritte Generation
Anzahl der Grafikprozessoren mit direkter Verbindung/Knoten Bis zu 8 Bis zu 8 Bis zu 8
NVSwitch-Bandbreite für Verbindungen zwischen GPUs 300 GB/s 600 GB/s 900 GB/s
Gesamte aggregierte Bandbreite 2,4 TB/s 4,8 TB/s 7,2 TB/s
Unterstützte NVIDIA-Architekturen NVIDIA Volta-Architektur NVIDIA Ampere-Architektur NVIDIA Hopper-Architektur

Tiefer Einblick in die NVIDIA Hopper-Architektur