Distribuzione di LLM mediante Hugging Face e Kubernetes su OCI

Introduzione

I modelli LLM (Large Language Model) hanno fatto passi da gigante nella generazione del testo, nella risoluzione dei problemi e nel seguire le istruzioni. Mentre le aziende utilizzano i LLM per sviluppare soluzioni all'avanguardia, la necessità di piattaforme di distribuzione scalabili, sicure ed efficienti diventa sempre più importante. Kubernetes è diventata l'opzione preferita per la sua scalabilità, flessibilità, portabilità e resilienza.

In questa demo, dimostriamo come implementare container per inferenze LLM ottimizzati su Oracle Cloud Infrastructure Container Engine for Kubernetes (OKE), un servizio Kubernetes gestito che semplifica le implementazioni e le operazioni su larga scala per le aziende. Il servizio consente loro di conservare il modello e i data set personalizzati all'interno della propria tenancy senza fare affidamento su un'API di inferenza di terze parti.

Useremo Text Generation Inference (TGI) come framework di inferenza per esporre i LLM.

Demo

Prerequisiti e impostazione

1. Account Oracle Cloud: pagina di registrazione
2. Oracle Cloud Infrastructure: documentazione
3. Documentazione sull'IA generativa OCI
4. OCI Container Engine for Kubernetes: documentazione

Inizia

• Passi dettagliati e codice di esempio su GitHub