GPU-Instanzen
Oracle Cloud Infrastructure (OCI) Compute bietet branchenführende Skalierbarkeit für Bare-Metal- und VM-Instanzen (Virtual Machine), die von NVIDIA-Grafikprozessoren für Mainstream-Grafiken, KI-Inferenz, KI-Training, digitale Zwillinge und HPC angetrieben werden.
OCI Supercluster liefert leistungsstarke GPUs im großen Maßstab, um das Training großer Sprachmodelle (LLMs) zu beschleunigen, die in der kardiothorakalen Forschung verwendet werden.
Was spricht für den Einsatz von OCI für GPU-Instanzen?
Skalierbarkeit
131.072
Maximale Anzahl von GPUs in einem OCI Supercluster1
Performance
3.200
Bis zu 3.200 GB/s RDMA-Cluster-Netzwerkbandbreite2
Mehrwert
220 %
GPUs für andere CSPs können bis zu 220 % teurer sein3
Auswahl
VM/BM
Rightsizing mit VM und Performance mit Bare-Metal-Instanzen
1: OCI-Supercluster skaliert auf bis zu 131.072 NVIDIA B200-GPUs (geplant); mehr als 100.000 NVIDIA B200-GPUs in NVIDIA GB200 Superchips (geplant); 65.536 H200-GPUs (geplant); 32.768 NVIDIA A100-GPUs; und 16.384 NVIDIA H100-GPUs.
2: Für Bare Metal-Instanzen mit NVIDIA-H100-GPUs.
3: Basierend auf On-Demand-Tarifen zum 5. Juni 2024.
GPU-Instanzen – Wichtige Features
OCI ist der einzige große Cloud-Provider, der Bare-Metal-Instanzen mit NVIDIA-Grafikprozessoren anbietet, die hohe Performance ohne Virtualisierungsaufwand bieten. Für das Checkpointing während des KI-Trainings bieten unsere Instanzen den meisten lokalen Speicher pro Knoten (61,44 TB).
High Performance-NVIDIA GPU-Instanzen
NVIDIA Tensor Core-GPUs
OCI bietet den höchsten Mehrwert und die beste Leistung für Bare Metal- und VM-Recheninstanzen, die von NVIDIA H100 Tensor Core GPUs, L40S GPUs, A100 Tensor Core GPUs, A10 Tensor Core GPU und NVIDIA-GPUs älterer Generationen angetrieben werden. OCI plant, Instanzen mit NVIDIA-GPUs H200 und Blackwell-GPUs anzubieten.
NVIDIA-Superchips
OCI verfügt über den NVIDIA GH200 Grace Hopper Superchip und plant, den GB200 Grace Blackwell Superchip für LLM-Inferenz anzubieten.
High Performance-Cluster-Networking
Das Clusternetzwerk von Oracle mit ultraniedriger Latenz, das auf direktem Speicherzugriff (RDMA) basiert, bietet Latenzzeiten im Mikrosekundenbereich.
Bereitstellung auf VMs, Bare-Metal-Instanzen und Kubernetes-Clustern
VM-Instanzen
Bei virtuellen Maschinen können Sie zwischen NVIDIAs Hopper, Ampere und älteren GPU-Architekturen mit einem bis vier Kernen, 16 bis 64 GB GPU-Speicher pro VM und bis zu 48 Gb/s Netzwerkbandbreite wählen.
Bare Metal-Instanzen
Verwenden Sie OCI Supercluster mit Bare-Metal-Instanzen, die NVIDIAs Blackwell-, Hopper- oder Ampere-Superchips und GPUs mit 640 GB GPU-Speicher pro Knoten verwenden.
Kubernetes-Orchestrierung
Nutzen Sie die Vorteile von verwaltetem Kubernetes, Service-Mesh und Container Registry, um KI-/ML-Training und -Inferenzen mit Containern zu orchestrieren.
Zugriff auf leicht verfügbare Software
Greifen Sie auf Software und Disk-Images zu
Der Oracle Cloud Marketplace bietet Software und Disk-Images für Data Science, Analysen, künstliche Intelligenz (KI), und ML-Modelle, um Kunden die Möglichkeit zu geben, schnell Erkenntnisse aus ihren Daten zu gewinnen.
NVIDIA AI Enterprise
Holen Sie sich Zugriff auf NVIDIA AI Enterprise, einer End-to-End-Softwareplattform für Data Science und Produktions-KI, einschließlich generativer KI, Computer Vision und Sprach-KI.
NVIDIA DGX Cloud
NVIDIA DGX Cloud auf OCI ist eine KI-Training-as-a-Service-Plattform, die eine für KI-optimierte, serverlose Erfahrung für Entwickler bietet.
NVIDIA GPU Cloud Machine-Image
Nutzen Sie NVIDIA GPU Cloud Machine-Image für Hunderte von GPU-optimierten Anwendungen für maschinelles Lernen, Deep Learning und High Performance Computing, die ein breites Spektrum von Branchen und Workloads abdecken.
NVIDIA RTX Virtual Workstation
Mit der NVIDIA RTX Virtual Workstation auf Oracle Cloud können Kunden leistungsstarke Workstation-Leistung überall dort bereitstellen, wo Mitarbeiter sie benötigen.
Kontrollieren Sie Ihre AI-Computing-Umgebung und Ihre Daten
Verteilte Cloud
In Kombination mit GPU-Compute unterstützt die verteilte Cloud von OCI Unternehmen dabei, KI- und Cloud-Services dort und so auszuführen, wie sie benötigt werden.
Sovereign Cloud
Unterstützen Sie die Datenresidenz in einer Region oder einem Land, einschließlich der EU, der USA, Großbritannien und Australien.
OCI Dedicated Region
Stellen Sie mit OCI Dedicated Region eine komplette Cloud-Region in Ihrem Data Center bereit, um die volle Kontrolle über Ihre Daten und Anwendungen zu behalten.
Oracle Alloy
Werden Sie Partner für Oracle Alloy und stellen Sie Ihre Cloud-Services bereit, um spezifische Marktanforderungen zu erfüllen.
Microservices und Container
Containerregistrierung
Entwickler, die Anwendungen mithilfe von Containern erstellen, können einen hochverfügbaren, von Oracle verwalteten privaten Container-Registrierungsdienst zum Speichern und Teilen von Container-Images nutzen. Bewegen Sie Docker-Images per Push und Pull mit der Docker V2 API und der Standard-Docker-Befehlszeilenschnittstelle (CLI) in die Registrierung oder aus ihr heraus. Images können direkt als Teil einer Kubernetes-Bereitstellungsstrategie verwendet werden.
Oracle Functions
Functions as a Service (FaaS) für Entwickler zum Ausführen von Anwendungen ohne Server, die in Oracle Cloud Infrastructure, Oracle Cloud-Anwendungen und Dienste von Drittanbietern integriert sind. Sichern Sie sich Effizienz für Entwickler und Zugang zur Community des Open Source Fn-Projekts.
GPU-Instanzen – Anwendungsfälle
KI-Infrastruktur für Deep Learning-Training und Inferenzierung
Trainieren Sie KI-Modelle mit OCI Data Science, Bare-Metal-Instanzen und Cluster-Netzwerken basierend auf RDMA und NVIDIA-GPUs.
Dieses Diagramm beschreibt zwei Phasen der Deep-Learning-Modellentwicklung: Modelltraining und Modellinferenzierung. Beim Modelltraining auf der linken Seite wird das untrainierte neuronale Netzwerk in einen Trainingsalgorithmus eingegeben, der durch OCI Data Science, Bare-Metal-Computing, lokalem Speicher und Cluster-Netzwerke ermöglicht wird. Das Ergebnis des Trainingsalgorithmus ist ein trainiertes Modell mit einer neuen Fähigkeit. Der Schritt zur Modellinferenzierung wird auf der rechten Seite beschrieben. Stellen Sie sich ein trainiertes Modell wie DALL-E 2 vor, das Texteingaben annehmen und Bilder generieren kann. Eine Texteingabe wird in das trainierte Modell eingespeist, und eine Bildausgabe des Modells wird bereitgestellt.
Virtual Desktop Infrastructure (VDI)
OCI Compute auf Basis von NVIDIA-GPUs bietet eine konsistent hohe Performance für VDI.
Virtual Desktop Infrastructure
CFD und High Performance Computing mit GPU-Instanzen
OCI ermöglicht computergestütztes Engineering und Computational Fluid Dynamics für schnelle Vorhersagen der aerodynamischen Eigenschaften von Objekten.
CFD und High Performance Computing mit GPU-Instanzen
