Kubernetes Engine (OKE)

OKE potencia los servicios de OCI AI

Kubernetes es la plataforma para implementar cargas de trabajo de IA. OKE potencia los servicios de IA de Oracle Cloud Infrastructure (OCI).

Desarrollo de modelos de IA

La etapa inicial de desarrollo de un proyecto de IA implica definir el problema y preparar datos para crear modelos.

– Los clústeres de Kubernetes pueden mejorar significativamente la eficiencia al otorgar acceso compartido a recursos de GPU costosos y a menudo limitados, al tiempo que proporcionan entornos seguros y gestionados de forma centralizada.

– Kubeflow, un proyecto de código abierto relacionado con Kubernetes, proporciona un marco completo diseñado para optimizar la creación, el entrenamiento y la implementación de modelos.

OKE para el desarrollo de modelos de IA

OKE se basa en OCI y ofrece una pila completa de infraestructura de alto rendimiento diseñada para cargas de trabajo de IA/AA, como:

– La gama completa de GPU NVIDIA incluyendo H100, A100, A10, etc.

– Redes RDMA ultrarrápidas

Con los nodos autogestionados de OKE, puede ejecutar cargas de trabajo de creación de IA/AA en los clusters de Kubernetes.

OKE potencia los servicios de OCI AI

Kubernetes es la plataforma para implementar cargas de trabajo de IA. OKE potencia los servicios de OCI AI.

Entrenamiento de modelos de IA

– En el entrenamiento de modelos, los científicos de datos seleccionan un algoritmo e inician trabajos de entrenamiento utilizando datos preparados. Esta etapa requiere sistemas de programación sofisticados para manejar los trabajos de manera eficiente.

– Los proyectos de Kubernetes como Volcano y Kueueue ayudan a manejar dichos requisitos y hacer un uso eficiente de los recursos informáticos.

– El entrenamiento distribuido a gran escala requiere comunicaciones internode de baja latencia en el clúster. Aquí es donde se necesita una red ultra rápida especializada con acceso directo a memoria remota (RDMA). Permite mover los datos directamente a la memoria de una aplicación o desde ella, omitiendo la CPU para reducir la latencia.

OKE para el entrenamiento de modelos de IA

OKE se basa en OCI y ofrece una pila completa de infraestructura de alto rendimiento diseñada para cargas de trabajo de IA/AA, como:

– La gama completa de GPU NVIDIA incluyendo H100, A100, A10, etc.

– Redes RDMA de baja latencia y ultra alto rendimiento

Con los nodos autogestionados de OKE, puede ejecutar entrenamiento de IA/AA en los clusters de Kubernetes.

OKE potencia los servicios de OCI AI

Kubernetes es la plataforma para implementar cargas de trabajo de IA. OKE potencia los servicios de OCI AI.

Inferencia de modelos de IA (servicio)

– La inferencia de modelos de IA es donde realmente brilla Kubernetes. Kubernetes puede ampliar o reducir automáticamente el número de pods de inferencia en función de la demanda, lo que garantiza un uso eficiente de los recursos.

– Kubernetes proporciona una gestión de recursos sofisticada, incluida la capacidad de especificar límites de CPU y memoria para contenedores.

OKE para inferencia de modelos de IA

OKE está diseñado con resiliencia en su núcleo, aprovechando la escala automática de pod incorporada de Kubernetes para escalar nodos de trabajador en función del uso. Los nodos de trabajador se pueden distribuir en varios dominios de errores o de disponibilidad para ofrecer una alta disponibilidad.

Los nodos virtuales de OKE ofrecen una experiencia de Kubernetes sin servidor. Solo necesitan escalar a nivel de pod, sin escalar nunca los nodos de trabajador. Esto permite una ampliación más rápida y una gestión más económica, ya que las tarifas de servicio se basan únicamente en los pods en uso.

Los nodos virtuales son adecuados para las cargas de trabajo de inferencia y pueden utilizar procesadores Arm, que se están convirtiendo en una opción mucho más atractiva para la inferencia de IA, especialmente cuando las GPU son escasas.

Las aplicaciones existentes se pueden beneficiar al migrar a OCI y OKE

OKE ofrece un menor costo total de propiedad y un mejor tiempo de comercialización.

OKE simplifica las operaciones a escala de las siguientes maneras:

• Elevación y cambio; sin necesidad de reestructurar
• Reduce la carga de las operaciones con la automatización
• Ahorra tiempo en la gestión de la infraestructura
• Aumenta la utilización y eficiencia de los recursos
• Mejora la agilidad, la flexibilidad, el tiempo de actividad y la resiliencia
• Reduce los riesgos de cumplimiento y mejora la seguridad

Los microservicios ofrecen muchas ventajas con respecto a las aplicaciones monolíticas

Prepara tus aplicaciones para el futuro con una arquitectura de microservicios centrada en OKE.

• Modernización de la arquitectura
• Ritmo rápido 
de innovación digital
• Automatización de implementaciones
• Desarrollo paralelo
• Escalabilidad sencilla
• Mayor confiabilidad
• Mayor flexibilidad
• Mayor agilidad