Kubernetes Engine (OKE)

OKE 支援 OCI AI 服務

Kubernetes 是部署 AI 工作負載的首選平台。OKE 支援 Oracle Cloud Infrastructure (OCI) AI 服務。

AI 模型建立

– AI 專案的初始建構階段涉及定義問題並準備資料以建立模型。

– Kubernetes 叢集可藉由授予昂貴且通常有限 GPU 資源的共用存取權，同時提供安全且集中管理的環境，大幅提升效率。

– 與 Kubernetes 相關的開源專案 Kubeflow 提供了完善的架構，可簡化模型的建置、訓練及部署。

建立 AI 模型的 OKE

OKE 建立在 OCI 之上，提供專為 AI/ML 工作負載設計的完整高效能基礎架構堆疊，例如：

– 全系列 NVIDIA GPU，包括 H100、A100、A10 等。

– 超快速的 RDMA 網絡

使用 OKE 自行管理節點，您可以在 Kubernetes 叢集上執行 AI/ML 建置工作負載。

OKE 支援 OCI AI 服務

Kubernetes 是部署 AI 工作負載的首選平台。OKE 支援 OCI AI 服務。

AI 模型訓練

– 在模型訓練中，資料科學家選擇一種演算法，並使用準備的資料啟動訓練工作。此階段需要精密的排程系統，以有效率的方式處理工作。

– Kubernetes 專案 (例如 Volcano 和 Kueue) 可協助處理這類需求，並有效運用運算資源。

– 大型分散式訓練需要叢集中的低延遲內部節點通訊。這裡需要具有遠端直接記憶體存取 (RDMA) 的特殊超快速網路。它可以直接將資料移入或移出應用程式的記憶體，略過 CPU 以減少延遲。

適用於 AI 模型訓練的 OKE

OKE 建立在 OCI 之上，提供專為 AI/ML 工作負載設計的完整高效能基礎架構堆疊，例如：

– 全系列 NVIDIA GPU，包括 H100、A100、A10 等。

– 低延遲、超高效能的 RDMA 網路

使用 OKE 自行管理節點，您可以在 Kubernetes 叢集上執行 AI/ML 訓練。

OKE 支援 OCI AI 服務

Kubernetes 是部署 AI 工作負載的首選平台。OKE 支援 OCI AI 服務。

AI 模型推論 (服務)

– AI 模型推論是 Kubernetes 真正令人驚嘆的地方。Kubernetes 可根據需求自動增加或減少推論 pod 的數量，確保高效運用資源。

– Kubernetes 提供複雜的資源管理，包括指定容器 CPU 和記憶體限制的能力。

AI 模型推論的 OKE

OKE 的核心具有彈性設計，可運用 Kubernetes 的內建 Pod 自動調整功能，根據使用狀況調整工作節點規模。工作節點可以分散至多個容錯和 (或) 可用性網域，以提供高可用性。

OKE 虛擬節點提供無伺服器 Kubernetes 體驗。他們只需要在 Pod 層級進行擴展，無須調整工作節點規模。由於服務費僅以使用中的 Pod 為基礎，因此能夠更快速地調整規模和更經濟的管理。

虛擬節點非常適合推論工作負載，而且可以使用 Arm 處理器，這對於 AI 推論來說變得更具吸引力，尤其當 GPU 供應短暫時。

現有應用程式可以藉由移轉至 OCI 和 OKE 而受益

OKE 可降低總持有成本，並縮短上市時間。

OKE 以下列方式大規模簡化作業：

• 提升與移轉；無需重新架構
• 透過自動化降低作業負擔
• 節省基礎架構管理時間
• 提高資源利用率和效率
• 提高靈活度、靈活性、正常運作時間和彈性
• 降低合規風險並增強安全性

相較於單體式應用程式，微服務提供許多優勢

使用以 OKE 為中心的微服務架構，讓您的應用程式經得起未來的考驗。

• 架構現代化
• 加快創新速度
• 部署自動化
• 平行開發
• 更容易擴展
• 更高的可靠性
• 更大的彈性
• 更高的靈活性