LLM's implementeren met Hugging Face en Kubernetes in OCI

Inleiding

Grote taalmodellen (LLM's) hebben aanzienlijke vooruitgang geboekt bij het genereren van tekst, het oplossen van problemen en het volgen van instructies. Naarmate bedrijven LLM's gebruiken om geavanceerde oplossingen te ontwikkelen, wordt de behoefte aan schaalbare, veilige en efficiënte implementatieplatforms steeds belangrijker. Kubernetes is de voorkeursoptie geworden voor schaalbaarheid, flexibiliteit, portabiliteit en veerkracht.

In deze demo demonstreren we hoe u nauwkeurig afgestemde LLM-inferentiecontainers implementeert op Oracle Cloud Infrastructure Container Engine for Kubernetes (OKE), een beheerde Kubernetes-service die implementaties en bewerkingen op schaal voor ondernemingen vereenvoudigt. Met deze service kunnen ze het aangepaste model en de gegevenssets in hun eigen tenancy behouden zonder afhankelijk te zijn van een inferentie-API van derden.

We zullen Text Generation Inference (TGI) gebruiken als het inferentie framework om de LLM's bloot te leggen.

-demonstratie

Vereisten en instellingen

1. Aanmeldingspagina voor Oracle Cloud account
2. Oracle Cloud Infrastructure - documentatie
3. Generatieve AI van OCI - documentatie
4. OCI Container Engine for Kubernetes - documentatie

Aan de slag

• Gedetailleerde stappen en voorbeeldcode op GitHub