Kubernetes Engine (OKE)

OKE optimise les services d'IA d'OCI

Kubernetes est la plateforme de référence pour déployer les workloads d'IA. OKE optimise les services d'IA OCI.

Entraînement de modèles d'IA

– Dans l'entraînement de modèles, les data scientists sélectionnent un algorithme et lancent des travaux d'entraînement à l'aide de données préparées. Cette étape nécessite des systèmes de planification sophistiqués pour gérer efficacement les travaux.

– Les projets Kubernetes tels que Volcano et Kueue aident à gérer ces exigences et à utiliser efficacement les ressources de calcul.

– Un entraînement distribué à grande échelle nécessite des communications inter-nœuds à faible latence dans le cluster. C'est là qu'un réseau ultra-rapide spécialisé avec accès direct à la mémoire à distance (RDMA) est nécessaire. Cela permet de déplacer les données directement vers ou depuis la mémoire d'une application, en contournant la CPU pour réduire la latence.

OKE pour l'entraînement de modèles d'IA

OKE s'appuie sur OCI, offrant une pile complète d'infrastructure haute performance conçue pour les workloads d'IA/ML tels que :

– La gamme complète des GPU NVIDIA, y compris H100, A100, A10, etc.

– Réseaux RDMA à faible latence et ultra-haute performance

À l'aide de nœuds autogérés OKE, vous pouvez exécuter un entraînement IA/ML sur vos clusters Kubernetes.

OKE optimise les services d'IA d'OCI

Kubernetes est la plateforme de référence pour déployer les workloads d'IA. OKE optimise les services d'IA OCI.

Inférence de modèles IA (service)

– L'inférence de modèles d'IA est l'endroit où Kubernetes prospère vraiment. Kubernetes peut automatiquement augmenter ou réduire le nombre de pods d'inférence en fonction de la demande, garantissant ainsi une utilisation efficace des ressources.

– Kubernetes fournit une gestion sophistiquée des ressources, y compris la possibilité de spécifier des limites d'UC et de mémoire pour les conteneurs.

OKE pour l'inférence de modèles IA

OKE est conçu avec la résilience au cœur, en tirant parti du redimensionnement automatique de pod intégré de Kubernetes pour faire évoluer les nœuds de processus actif en fonction de l'utilisation. Les nœuds de processus actifs peuvent être répartis dans plusieurs domaines de pannes et/ou de disponibilité à des fins de haute disponibilité.

Les nœuds virtuels OKE offrent une expérience Kubernetes sans serveur. Ils doivent uniquement évoluer au niveau du pod, sans jamais redimensionner les nœuds de processus actif. Cela permet une mise à l'échelle plus rapide et une gestion plus économique puisque les frais de service sont basés uniquement sur les pods utilisés.

Les nœuds virtuels sont bien adaptés aux workloads d'inférence et peuvent utiliser des processeurs Arm, qui deviennent une option beaucoup plus attrayante pour l'inférence d'IA, en particulier lorsque les GPU sont insuffisants.

Les applications existantes peuvent tirer parti de la migration vers OCI et OKE

OKE offre un coût total de possession inférieur et un délai de mise sur le marché amélioré.

OKE simplifie les opérations à grande échelle de la manière suivante :

• Ascenseur et changement ; il n'y a pas besoin de modifier l'architecture
• Réduction de la charge opérationnelle grâce à l'automatisation
• Économie de temps sur la gestion de l'infrastructure
• Améliorez l'utilisation et l'efficacité des ressources
• Améliorez l'agilité, la flexibilité, la disponibilité et la résilience
• Réduisez le risque de conformité et renforcez votre sécurité

Les microservices offrent de nombreux avantages par rapport aux applications monolithiques

Pérennisez vos applications grâce à une architecture de microservices centrée sur OKE.

• Modernisation de l'architecture
• Accélération de l'innovation
• Automatisation du déploiement
• Développement parallèle
• Évolutivité facilitée
• Fiabilité supérieure
• Plus de flexibilité
• Agilité renforcée