حل الذكاء الاصطناعي
نشر LLMs باستخدام Hugging Face وKubernetes على OCI
مقدمة
حققت نماذج اللغات الكبيرة (LLMs) خطوات كبيرة في إنشاء النصوص وحل المشكلات واتباع التعليمات. مع استخدام الشركات لنظم LLM لتطوير الحلول المتطورة، تصبح الحاجة إلى منصات نشر قابلة للتوسع وآمنة وفعالة مهمة بشكل متزايد. أصبح Kubernetes الخيار المفضل لقابلية التوسع والمرونة وقابلية النقل والمرونة.
في هذا العرض التوضيحي، نوضح كيفية نشر حاويات استدلال LLM دقيقة الضبط على Oracle Cloud Infrastructure Container Engine for Kubernetes (OKE)، وهي خدمة Kubernetes مُدارة تعمل على تبسيط عمليات النشر والعمليات على نطاق واسع للمؤسسات. تمكنهم الخدمة من الاحتفاظ بالنموذج المخصص ومجموعات البيانات داخل مثيل قاعدة البيانات المؤجر الخاص بهم دون الاعتماد على واجهة برمجة تطبيقات استدلال طرف ثالث.
سنستخدم استدلال إنشاء النص (TGI) كإطار عمل الاستدلال لعرض LLMs.
العرض التوضيحي
المتطلبات الأساسية والإعداد
- حساب Oracle Cloud—صفحة التسجيل
- Oracle Cloud Infrastructure-الوثائق
- الذكاء الاصطناعي المبتكر لـ OCI - الوثائق
- محرك حاوية OCI لـ Kubernetes-الوثائق