Modelos
Los modelos disponibles de Cohere y Meta para OCI Generative AI incluyen
- Cohere Command R: parte de una nueva categoría de modelos escalables, el comando R tiene como objetivo equilibrar la alta eficiencia con una gran precisión para aplicaciones de generación aumentada por recuperación (RAG). En comparación con los modelos Cohere originales, Command R ofrece un mayor rendimiento y una menor latencia, una ventana de contexto más grande y un sólido rendimiento en 10 idiomas.
- Cohere Command R+: Command R+ ha sido mejorado con entrenamiento adicional para casos de uso más especializados. Command R+ tiene una comprensión más profunda del lenguaje y la capacidad de generar respuestas más matizadas y contextualmente apropiadas. Utiliza Command R+ para casos de uso como la generación de contenido de formato largo, resumen, respuesta a preguntas y generación de idiomas para dominios o sectores específicos.
- Cohere Embed: estos modelos de incrustación en inglés y multilingües (v3) convierten el texto en representación de incrustaciones vectoriales. Las versiones "ligeras" de Embed son de menor tamaño y más rápidas (solo en inglés).
- Meta Llama 3.1: modelos Llama 3.1 de vanguardia y de código abierto con mejor rendimiento y mayor diversidad en respuestas. Las mejoras incluyen una ventana de contexto de 128K y compatibilidad con ocho idiomas. OCI Generative AI ofrece los modelos Llama 3.1 de 70B y 405B con compatibilidad para ajuste fino utilizando el método de adaptación de bajo rango (LoRA).
- Meta Llama 3.2: soporte multimodal que permite casos de uso basados en imágenes, como resumen de gráficos y creación de subtítulos para imágenes y figuras. Además, los modelos Llama 3.2 ofrecen compatibilidad multilingüe para consultas de solo texto en ocho idiomas. OCI Generative AI ofrece tanto el modelo Llama 3.2 de 90B como el de 11B.
Clústeres de IA dedicados
Con los clústeres de IA dedicados, puedes alojar modelos básicos en GPU dedicadas privadas. Estos clusters proporcionan un rendimiento estable y de alto rendimiento necesario para los casos de uso de producción y pueden soportar cargas de trabajo de alojamiento y ajuste. OCI Generative AI te permite escalar horizontalmente tu clúster sin tiempo de inactividad para que puedas gestionar con eficacia las variaciones de volumen.
API de chat y Playground
La experiencia de chat proporciona una interfaz lista para usar con los modelos Cohere y Meta, donde los usuarios pueden hacer preguntas y obtener respuestas conversacionales a través de la consola o API de OCI.
Integración con LangChain
OCI Generative AI está integrado con LangChain, un marco de código abierto que se puede utilizar para desarrollar nuevas interfaces para aplicaciones de IA generativa basadas en modelos de lenguaje. LangChain facilita el intercambio de abstracciones y componentes necesarios para trabajar con modelos de lenguaje.
Integración con LlamaIndex
Utiliza LlamaIndex, un marco de código abierto para crear aplicaciones aumentadas por contexto, con OCI Generative AI para crear fácilmente soluciones o agentes de RAG. Lleva tus soluciones desde el prototipo a la producción con fuentes de datos personalizadas y herramientas flexibles.
Operaciones de IA generativa
OCI Generative AI proporciona controles de moderación de contenidos, cambios de modelos de punto final sin tiempo de inactividad y capacidades de desactivación y activación de puntos finales. Para cada punto final de modelo, OCI Generative AI captura una serie de análisis, incluidas estadísticas de llamadas, tokens procesados y recuentos de errores.
OCI Generative AI for Oracle Fusion Cloud Applications
Al incorporar funciones creadas con OCI Generative AI directamente en Oracle Cloud Applications, facilitamos a los clientes el acceso instantáneo a ellas sin integraciones complejas.