Kubernetes Engine (OKE)

OKE optimise les services d'IA d'OCI

Kubernetes est la plateforme de référence pour déployer les workloads d'IA. OKE optimise les services d'IA d'Oracle Cloud Infrastructure (OCI).

Création de modèles d'IA

– La phase de construction initiale d'un projet d'IA implique de définir le problème et de préparer les données pour créer des modèles.

– Les clusters Kubernetes peuvent améliorer considérablement l'efficacité en accordant un accès partagé à des ressources GPU coûteuses et souvent limitées, tout en fournissant des environnements sécurisés et gérés de manière centralisée.

– Kubeflow, un projet open source lié à Kubernetes, fournit un cadre complet conçu pour rationaliser la création, la formation et le déploiement de modèles.

OKE pour la création de modèles d'IA

OKE s'appuie sur OCI, offrant une pile complète d'infrastructure haute performance conçue pour les workloads d'IA/ML tels que :

– La gamme complète des GPU NVIDIA, y compris H100, A100, A10, etc.

– Réseaux RDMA ultra-rapides

À l'aide de nœuds autogérés OKE, vous pouvez exécuter des workloads de création d'IA/de machine learning sur vos clusters Kubernetes.

OKE optimise les services d'IA d'OCI

Kubernetes est la plateforme de référence pour déployer les workloads d'IA. OKE optimise les services d'IA OCI.

Entraînement de modèles d'IA

– Dans l'entraînement de modèles, les data scientists sélectionnent un algorithme et lancent des travaux d'entraînement à l'aide de données préparées. Cette étape nécessite des systèmes de planification sophistiqués pour gérer efficacement les travaux.

– Les projets Kubernetes tels que Volcano et Kueue aident à gérer ces exigences et à utiliser efficacement les ressources de calcul.

– Un entraînement distribué à grande échelle nécessite des communications inter-nœuds à faible latence dans le cluster. C'est là qu'un réseau ultra-rapide spécialisé avec accès direct à la mémoire à distance (RDMA) est nécessaire. Cela permet de déplacer les données directement vers ou depuis la mémoire d'une application, en contournant la CPU pour réduire la latence.

OKE pour l'entraînement de modèles d'IA

OKE s'appuie sur OCI, offrant une pile complète d'infrastructure haute performance conçue pour les workloads d'IA/ML tels que :

– La gamme complète des GPU NVIDIA, y compris H100, A100, A10, etc.

– Réseaux RDMA à faible latence et ultra-haute performance

À l'aide de nœuds autogérés OKE, vous pouvez exécuter un entraînement IA/ML sur vos clusters Kubernetes.

OKE optimise les services d'IA d'OCI

Kubernetes est la plateforme de référence pour déployer les workloads d'IA. OKE optimise les services d'IA OCI.

Inférence de modèles IA (service)

– L'inférence de modèles d'IA est l'endroit où Kubernetes prospère vraiment. Kubernetes peut automatiquement augmenter ou réduire le nombre de pods d'inférence en fonction de la demande, garantissant ainsi une utilisation efficace des ressources.

– Kubernetes fournit une gestion sophistiquée des ressources, y compris la possibilité de spécifier des limites d'UC et de mémoire pour les conteneurs.

OKE pour l'inférence de modèles IA

OKE est conçu avec la résilience au cœur, en tirant parti du redimensionnement automatique de pod intégré de Kubernetes pour faire évoluer les nœuds de processus actif en fonction de l'utilisation. Les nœuds de processus actifs peuvent être répartis dans plusieurs domaines de pannes et/ou de disponibilité à des fins de haute disponibilité.

Les nœuds virtuels OKE offrent une expérience Kubernetes sans serveur. Ils doivent uniquement évoluer au niveau du pod, sans jamais redimensionner les nœuds de processus actif. Cela permet une mise à l'échelle plus rapide et une gestion plus économique puisque les frais de service sont basés uniquement sur les pods utilisés.

Les nœuds virtuels sont bien adaptés aux workloads d'inférence et peuvent utiliser des processeurs Arm, qui deviennent une option beaucoup plus attrayante pour l'inférence d'IA, en particulier lorsque les GPU sont insuffisants.

Les applications existantes peuvent tirer parti de la migration vers OCI et OKE

OKE offre un coût total de possession inférieur et un délai de mise sur le marché amélioré.

OKE simplifie les opérations à grande échelle de la manière suivante :

• Ascenseur et changement ; il n'y a pas besoin de modifier l'architecture
• Réduction de la charge opérationnelle grâce à l'automatisation
• Économie de temps sur la gestion de l'infrastructure
• Améliorez l'utilisation et l'efficacité des ressources
• Améliorez l'agilité, la flexibilité, la disponibilité et la résilience
• Réduisez le risque de conformité et renforcez votre sécurité

Les microservices offrent de nombreux avantages par rapport aux applications monolithiques

Pérennisez vos applications grâce à une architecture de microservices centrée sur OKE.

• Modernisation de l'architecture
• Accélération de l'innovation
• Automatisation du déploiement
• Développement parallèle
• Évolutivité facilitée
• Fiabilité supérieure
• Plus de flexibilité
• Agilité renforcée