Modelos
Los modelos disponibles de Cohere y Meta para OCI Generative AI incluyen
- Cohere Command R: parte de una nueva categoría de modelos escalables, el comando R tiene como objetivo equilibrar la alta eficiencia con una gran precisión para aplicaciones de generación aumentada por recuperación (RAG). En comparación con los modelos Cohere originales, Command R ofrece un mayor rendimiento y una menor latencia, una ventana de contexto más grande y un sólido rendimiento en 10 idiomas.
- Cohere Command R+: Command R+ se ha mejorado con entrenamiento adicional del comando R para casos de uso más especializados. Command R+ tiene una comprensión más profunda del lenguaje y la capacidad de generar respuestas más matizadas y contextualmente apropiadas. Utiliza Command R+ para casos de uso como la generación de contenido de formato largo, resumen, respuesta a preguntas y generación de idiomas para dominios o sectores específicos.
- Cohere Embed: estos modelos de incrustación en inglés y multilingües (v3) convierten el texto en representación de incrustaciones vectoriales. Las versiones "ligeras" de Embed son de menor tamaño y más rápidas (solo en inglés).
- Meta Llama 3: los modelos Llama 3 son de vanguardia y de código abierto con un rendimiento mejorado y diversidad de respuestas. Las capacidades mejoradas incluyen: razonamiento, generación de código y las instrucciones a continuación. OCI Generative AI ofrece el modelo 70B Llama 3 con soporte para el ajuste mediante el método LoRA.
Clústeres de IA dedicados
Con los clústeres de IA dedicados, puedes alojar modelos básicos en GPU dedicadas privadas. Estos clusters proporcionan un rendimiento estable y de alto rendimiento necesario para los casos de uso de producción y pueden soportar cargas de trabajo de alojamiento y ajuste. OCI Generative AI te permite escalar horizontalmente tu clúster sin tiempo de inactividad para que puedas gestionar con eficacia las variaciones de volumen.
API de chat y Playground
La experiencia de chat proporciona una interfaz lista para usar con los modelos Cohere y Meta, donde los usuarios pueden hacer preguntas y obtener respuestas conversacionales a través de la consola o API de OCI.
Integración con LangChain
OCI Generative AI está integrado con LangChain, un marco de código abierto que se puede utilizar para desarrollar nuevas interfaces para aplicaciones de IA generativa basadas en modelos de lenguaje. LangChain facilita el intercambio de abstracciones y componentes necesarios para trabajar con modelos de lenguaje.
Integración con LlamaIndex
Utiliza LlamaIndex, un marco de código abierto para crear aplicaciones aumentadas por contexto, con OCI Generative AI para crear fácilmente soluciones o agentes de RAG. Lleva tus soluciones desde el prototipo a la producción con fuentes de datos personalizadas y herramientas flexibles.
Operaciones de IA generativa
OCI Generative AI proporciona controles de moderación de contenidos, cambios de modelos de punto final sin tiempo de inactividad y capacidades de desactivación y activación de puntos finales. Para cada punto final de modelo, OCI Generative AI captura una serie de análisis, incluidas estadísticas de llamadas, tokens procesados y recuentos de errores.
OCI Generative AI for Oracle Fusion Cloud Applications
Al incorporar funciones creadas con OCI Generative AI directamente en Oracle Cloud Applications, facilitamos a los clientes el acceso instantáneo a ellas sin integraciones complejas.