使用 OCI Kubernetes 引擎大規模的 NVIDIA NIM 推論微服務

簡介

如何針對您的大型語言模型大規模交付推論要求並加速 AI 部署？在 Oracle Cloud Infrastructure (OCI) Kubernetes Engine (OKE) 上部署企業級解決方案 NVIDIA NIM。在本示範中，我們將示範如何在 OKE 上部署 NVIDIA NIM 與 OCI Object Storage 上代管的模型儲存庫。使用 Helm 部署，可根據推論要求數目輕鬆縱向擴展和縮減複本數目，以及輕鬆進行監控。利用 OCI Object Storage 從任何地方部署模型，並支援各種類型的模型。在 NVIDIA GPU 的支援下，充分利用 NIM，為您的推論要求提供最高的輸送量和最低延遲。

展示

先決條件與設定

1. Oracle Cloud 帳戶 — 註冊頁面
2. 由單一 NVIDIA A10 Tensor Core GPU 支援的 VM.GPU.A10.1 存取權 — 服務限制
3. 執行處理主體 — 文件
4. NVIDIA AI Enterprise，為 OCI Marketplace 的一部分 — 文件
5. 具有使用者存取權杖的 HuggingFace — 文件
6. OCI Kubernetes Engine —文件

開始使用

• GitHub 上的詳細步驟與範例程式碼