Funciones de HeatWave GenAI

Modelos de lenguaje grandes en la base de datos

Los grandes modelos de lenguaje (LLM) en la base de datos simplifican en gran medida el desarrollo de aplicaciones GenAI. Puedes beneficiarte de la IA generativa; no necesitas seleccionar un LLM externo; y no tienes que considerar la complejidad de la integración y los costos ni la disponibilidad de un LLM externo en varios centros de datos.

Desarrolla aplicaciones de IA generativa para una amplia gama de casos de uso en todas las nubes

• Por ejemplo, es posible utilizar los LLM incorporados para ayudar a generar o resumir contenido y datos de búsqueda para realizar la generación aumentada de recuperación (RAG) con HeatWave Vector Store.
• También puedes combinar la IA generativa con otras capacidades incorporadas de HeatWave, como el aprendizaje automático, para ofrecer más valor a los clientes, reducir costos y obtener resultados más precisos.
• Puedes utilizar los LLM incorporados en todas las regiones de Oracle Cloud Infrastructure (OCI), OCI Dedicated Region, Oracle Alloy, Amazon Web Services (AWS) y Microsoft Azure, y obtener resultados consistentes con un rendimiento predecible en todas las implementaciones.
• Oracle HeatWave GenAI está integrado con el servicio OCI Generative AI y con Amazon Bedrock para acceder a modelos básicos preentrenados desde Cohere y Meta.
• Los LLM incorporados y el chat HeatWave permiten ofrecer aplicaciones preconfiguradas para conversaciones contextuales en lenguaje natural. No es necesario suscribirse a LLM externos ni aprovisionar GPU.
• El procesamiento por lotes de inferencia de LLM ayuda a los desarrolladores a mejorar el rendimiento de las aplicaciones mediante la ejecución simultánea de varias solicitudes.
• Los LLM pueden aprovechar HeatWave Vector Store para ampliar sus conocimientos utilizando datos propietarios en lugar de confiar en el ajuste.

Ayuda a reducir los costos y los riesgos

• No hay costos adicionales para utilizar los LLM en la base de datos.
• Ayuda a reducir los costos de infraestructura al eliminar la necesidad de aprovisionar GPU. Además, los recursos del sistema están optimizados (configuración ideaç de recuento de threads, tamaño de lote y tamaño de segmento) para ayudar aún más a reducir los costos.
• La ejecución nativa de LLM en HeatWave ayuda a minimizar los riesgos asociados al movimiento de datos.

HeatWave Vector Store

HeatWave Vector Store te permite combinar el poder de los LLM con tus propios datos para obtener respuestas más precisas y contextualmente relevantes que el uso de modelos entrenados solo en datos públicos. El almacén vectorial procesa documentos en diversos formatos, incluido PDF, y los almacena como incrustaciones generadas mediante un modelo de codificador. Para una consulta de usuario determinada, identifica los documentos más similares realizando una búsqueda de similitud con las incrustaciones almacenadas y la consulta incorporada. Estos documentos se utilizan para aumentar la solicitud dada al LLM de modo que proporcione una respuesta más contextual para tu empresa.

No se requiere experiencia en IA

• HeatWave Vector Store te permite utilizar la IA generativa con tus documentos comerciales sin experiencia en IA y sin mover datos a una base de datos vectorial independiente.
• Los desarrolladores pueden crear un almacén de vectores para contenido no estructurado de empresa con un único comando SQL.
• La generación de incrustaciones en el almacén de vectores procesa varios archivos de entrada en paralelo a través de varios threads en todos los nodos de cluster. Como resultado, la creación del almacén de vectores y la ingestión de datos no estructurados en varios formatos, como PDF, DOCX, HTML, TXT o PPTX, es muy rápida y se escala con el tamaño del cluster.
• La canalización para descubrir e ingerir documentos propios en el almacén de vectores está automatizada, incluida la transformación de los datos de texto no estructurados de los usuarios y la generación de incrustaciones, lo que hace que sea muy fácil para los desarrolladores y analistas sin experiencia en IA aprovechar el almacén de vectores.
• El soporte multilingüe te permite cargar documentos en 27 idiomas en HeatWave Vector Store para realizar búsquedas de similitud y hacer preguntas en varios idiomas.
• El soporte nativo de JavaScript permite a los desarrolladores utilizar JavaScript con el tipo de dato VECTOR y llamar a las capacidades HeatWave GenAI desde un programa JavaScript, por ejemplo, para crear fácilmente bots conversacionales que accedan a datos empresariales.
• El soporte de reconocimiento óptico de caracteres te ayuda a realizar búsquedas de similitud aprovechando HeatWave Vector Store para convertir el contenido escaneado guardado como imágenes en datos de texto que se pueden analizar, por ejemplo, para detectar el plagio.

Los costos y riesgos pueden reducirse

• El almacén de vectores reside en el almacenamiento de objetos, lo que lo hace muy rentable y altamente escalable, incluso con grandes conjuntos de datos. Puedes compartir fácilmente el almacén de vector con diferentes aplicaciones.
• La transformación de datos se realiza dentro de HeatWave, lo que ayuda a reducir los riesgos de seguridad al eliminar el movimiento de datos y ayuda a reducir los costos al eliminar la necesidad de recursos del cliente.

Procesamiento vectorial flexible y rápido

El procesamiento vectorial se acelera con la arquitectura en memoria y de escala horizontal de HeatWave. HeatWave admite un nuevo tipo de dato VECTOR nativo, lo que permite utilizar SQL estándar para crear, procesar y gestionar datos vectoriales.

• Se pueden combinar vectores con otros operadores SQL. Por ejemplo, es posible ejecutar consultas analíticas que unan varias tablas con diferentes documentos y realizar búsquedas de similitud en todos los documentos.
• La representación en memoria y una arquitectura de escala horizontal significan que el procesamiento vectorial se paraleliza en hasta 512 nodos de cluster HeatWave y se ejecuta con ancho de banda de memoria, extremadamente rápido y sin pérdida de precisión.

HeatWave Chat

Una nueva interfaz de chat HeatWave le permite tener conversaciones contextuales aumentadas por documentos propietarios en el almacén de vectores, utilizando lenguaje natural.

• Se puede interactuar con datos no estructurados almacenados en MySQL Database y en el almacenamiento de objetos mediante lenguaje natural. El contexto de las preguntas se conserva para permitir una conversación similar a la humana con preguntas de seguimiento. HeatWave mantiene un contexto con el historial de preguntas formuladas, las citas de los documentos fuente y la solicitud para el LLM. Esto facilita una conversación contextual y permite verificar el origen de las respuestas generadas por el LLM. Este contexto se mantiene en HeatWave y está disponible para todas las aplicaciones que utilizan HeatWave.
• El navegador Lakehouse integrado permite ver los datos disponibles en MySQL Database y el almacenamiento de objetos. A continuación, es posible cargar fácilmente los datos seleccionados en HeatWave Vector Store e indicar al LLM que recupere información de ese origen específico. Como resultado, se reducen los costos mediante la búsqueda a través de un conjunto de datos más pequeño al tiempo que aumenta la velocidad y la precisión.
• Se puede buscar en toda la base de datos o restringir la búsqueda a una carpeta.
• Se pueden seleccionar varios LLM a través del chat HeatWave, ya sea integrado o accesible con el servicio OCI Generative AI.