Modèles
Les modèles disponibles avec Cohere et Meta pour OCI Generative AI comprennent
- Cohere Command R : issu d'une nouvelle catégorie de modèles évolutifs, Command R vise à équilibrer une efficacité élevée avec une grande précision pour les applications de génération augmentée de récupération (RAG). Par rapport aux modèles Cohere originaux, Command R offre un débit plus élevé et une latence plus faible, une fenêtre de contexte plus grande et des performances solides dans 10 langues.
- Cohere Command R+ : Command R+ est amélioré par un entraînement supplémentaire de Command R pour les cas d'utilisation plus spécialisés. Command R+ bénéficie d'une compréhension plus profonde du langage et peut générer des réponses plus nuancées et contextuellement appropriées. Utilisez Command R+ pour les cas d'utilisation tels que la génération de contenu long, la synthèse, la réponse aux questions et la génération de langage pour des domaines ou des secteurs spécifiques.
- Cohere Embed : ces modèles de vectorisation en anglais et multilingues (v3) convertissent le texte en représentations d'intégrations vectorielles. Les versions « Light » d'Embed sont plus petites et plus rapides, mais elles ne sont disponibles qu'en anglais.
- Meta Llama 3 : les modèles Llama 3 sont des modèles de pointe et open source, avec des performances et une diversité de réponses améliorées. Les fonctionnalités améliorées incluent le raisonnement, la génération de code et le suivi des instructions. OCI Generative AI offre le modèle Llama 3 70B avec prise en charge de l'affinage à l'aide de la méthode LoRA.
Clusters d'IA dédiés
Avec les clusters d'IA dédiés, vous pouvez héberger des modèles de base sur des GPU dédiés à votre utilisation. Ces clusters offrent les performances élevées et la stabilité requises pour les cas d'utilisation de production. Ils peuvent prendre en charge l'hébergement et des charges de travail d'affinage. OCI Generative AI vous permet d'agrandir votre cluster sans temps d'arrêt pour gérer la fluctuation du volume à traiter.
API de discussion et playground de test
L'expérience de chat fournit une interface prête à l'emploi avec les modèles Cohere et Meta où les utilisateurs peuvent poser des questions et obtenir des réponses conversationnelles via la console ou l'API OCI.
Intégration avec LangChain
OCI Generative AI est intégré à LangChain, un framework open source qui permet de développer de nouvelles interfaces pour les applications d'IA générative basées sur des modèles linguistiques. LangChain facilite l'échange des abstractions et des composants nécessaires à l'utilisation des modèles de langage.
Intégration LlamaIndex
Utilisez LlamaIndex, une structure open source pour créer des applications augmentées en contexte, avec OCI Generative AI pour créer facilement des solutions ou des agents RAG. Faites passer vos solutions du prototype à la production avec des sources de données personnalisées et des outils flexibles.
Opérations d'IA génératives
OCI Generative AI fournit des contrôles de modération de contenu, et bientôt, un échange de modèles sans temps d'arrêt et des fonctionnalités de désactivation et d'activation des points de terminaison. Pour chaque point de terminaison de modèle, OCI Generative AI capture une série de mesures, notamment les statistiques d'appel, les jetons traités et le nombre d'erreurs.
OCI Generative AI pour les applications Oracle Fusion Cloud
En intégrant des fonctionnalités créées avec OCI Generative AI directement dans les applications Oracle Cloud, nous facilitons l'accès instantané des clients à ces applications sans intégrations complexes.