OCI Container Engine for Kubernetesによる大規模なNVIDIA NIM推論マイクロサービス

概要

大規模な言語モデルに対して推論リクエストを大規模に提供し、AI導入を加速するにはどうすればよいでしょうか。Oracle Cloud Infrastructure (OCI) Container Engine for Kubernetes (OKE)にエンタープライズ対応ソリューションNVIDIA NIMをデプロイします。このデモでは、OCI Object Storageでホストされているモデル・リポジトリを使用して、OKEにNVIDIA NIMをデプロイする方法を示します。Helmデプロイメントを使用して、推論リクエストの数に応じてレプリカの数を簡単にスケール・アップおよびスケール・ダウンし、簡単に監視できます。OCI Object Storageを活用して、さまざまなタイプのモデルをサポートし、どこからでもモデルを導入できます。NVIDIA GPUを搭載し、NIMを最大限に活用して、推論リクエストの最大スループットと最小レイテンシを実現できます。

前提条件と設定

1. Oracle Cloudアカウント- サインアップ・ページ
2. 単一のNVIDIA A10 Tensor Core GPUを搭載したVM.GPU.A10.1へのアクセス- サービス制限
3. インスタンス・プリンシパル—ドキュメント
4. OCI Marketplaceの一部であるNVIDIA AI Enterprise - ドキュメント
5. ユーザー・アクセス・トークンを使用するHuggingFace - ドキュメント
6. OCI Container Engine for Kubernetes—ドキュメント

ここから始めよう

• GitHubの詳細なステップとサンプル・コード