Déploiement de LLM avec des GPU NVIDIA sur OCI Compute Bare Metal
Introduction
Vous êtes-vous déjà demandé comment déployer un grand modèle de langage (LLM) sur Oracle Cloud Infrastructure (OCI) ? Dans cette solution, vous apprendrez à déployer des LLM à l'aide d'instances OCI Compute Bare Metal accélérées par des GPU NVIDIA avec un serveur d'inférence appelé vLLM.
vLLM peut être déployé en tant que serveur qui implémente le protocole d'API OpenAI. Cela permet à vLLM d'être utilisé comme un substitut pour les applications utilisant l'API OpenAI, ce qui signifie que nous pouvons choisir des modèles OpenAI (tels que GPT-3.5 ou GPT-4) pour générer du texte pour notre demande en fonction de deux choses.
- Requête de l'utilisateur d'origine
- Nom de modèle du LLM sur lequel vous voulez exécuter la génération de texte
Ces LLM peuvent provenir de n'importe quel référentiel bien formé Hugging Face (choix du développeur), nous devrons donc nous authentifier auprès de Hugging Face pour extraire les modèles (si nous ne les avons pas construits à partir du code source) avec un jeton d'authentification.
Les LLM peuvent également être déployés avec NVIDIA NIM, un ensemble de microservices faciles à utiliser conçus pour un déploiement sécurisé et fiable de l'inférence de modèle d'IA haute performance sur des instances accélérées par GPU NVIDIA sur OCI.
Démonstration
Prérequis et configuration
- Compte Oracle Cloud : page d'inscription
- Oracle Cloud Infrastructure - Documentation
- OCI Generative AI - Documentation
- vLLM : documentation de mise en route