حل الذكاء الاصطناعي
الخدمة الصغيرة لاستدلال NVIDIA NIM على نطاق واسع باستخدام OCI Container Engine for Kubernetes
مقدمة
كيف يمكنك تقديم طلبات الاستدلال على نطاق واسع لنموذج اللغة الكبير وتسريع نشر الذكاء الاصطناعي؟ من خلال نشر الحل الجاهز للمؤسسات NVIDIA NIM على Oracle Cloud Infrastructure (OCI) Container Engine for Kubernetes (OKE). في هذا العرض التوضيحي، سنوضح كيفية نشر NVIDIA NIM على OKE مع مستودع النموذج المستضاف على OCI Object Storage. باستخدام نشر Helm، يمكنك بسهولة توسيع عدد النسخ المتماثلة لأعلى ولأسفل حسب عدد طلبات الاستدلال، بالإضافة إلى الحصول على مراقبة سهلة. استفد من تخزين كائنات OCI لنشر النماذج من أي مكان، مع دعم أنواع مختلفة من النماذج. بفضل وحدات معالجة الرسومات NVIDIA، يمكنك الاستفادة الكاملة من ذاكرة NIM لمساعدتك على الحصول على الحد الأقصى من الإنتاجية والحد الأدنى من زمن الوصول لطلبات الاستدلال الخاصة بك.
المتطلبات الأساسية والإعداد
- حساب Oracle Cloud—صفحة التسجيل
- الوصول إلى VM.GPU.A10.1 مدعوم من NVIDIA A10 Tensor Core GPU—حدود الخدمة
- مسؤولو المثيل الأساسيون—الوثائق
- NVIDIA AI Enterprise، جزء من سوق OCI—الوثائق
- HuggingFace مع الرموز المميزة لوصول المستخدم—الوثائق
- محرك حاوية OCI لـ Kubernetes-الوثائق