Preguntas frecuentes sobre HeatWave GenAI
General
¿Qué es HeatWave GenAI?
Oracle HeatWave GenAI proporciona IA generativa integrada, automatizada y segura con modelos de lenguaje de gran tamaño (LLM) en la base de datos; un almacén de vectores automatizado y en la base de datos; procesamiento de vectores a escala; y la capacidad de mantener conversaciones contextuales en lenguaje natural, lo que le permite aprovechar las ventajas de la IA generativa sin conocimientos de IA, movimiento de datos ni costos adicionales.
¿Cuáles son las principales funciones de HeatWave GenAI?
Entre las características clave de HeatWave GenAI se incluyen:
- LLM en la base de datos
- Integración con OCI Generative AI y Amazon Bedrock
- Un almacén de vectores en la base de datos
- Generación automatizada de embeddings
- Procesamiento de vectores a escala
- HeatWave Chat
¿Qué LLM están disponibles como modelos en la base de datos de HeatWave?
Las versiones cuantificadas de los siguientes LLM en la base de datos están disponibles actualmente en HeatWave:
- llama3-8b-instruct-v1
- mistral-7b-instruct-v1
¿Cómo se automatiza HeatWave Vector Store?
Puedes crear un almacén de vectores para contenido no estructurado de empresa con un único comando SQL. Todos los pasos para crear un almacén de vectores e incrustaciones de vectores se automatizan y ejecutan dentro de la base de datos, incluido el descubrimiento de los documentos en el almacenamiento de objetos, el análisis de ellos, la generación de incrustaciones de una manera altamente paralela y optimizada, y la inserción en el almacén de vectores, lo que hace que HeatWave Vector Store resulte eficiente y fácil de usar.
¿HeatWave necesita GPU para ejecutar LLM en la base de datos?
HeatWave se ejecuta en hardware básico. Los LLM en la base de datos no se ejecutan en GPU; se ejecutan en CPU. De esta forma, puedes reducir costos y no tienes que preocuparte por la disponibilidad de LLM en varios centros de datos.
¿Cómo ayuda HeatWave GenAI a mejorar la seguridad de los datos?
Cuando se utilizan LLM en la base de datos y un almacén de vectores en la base de datos, la información no debe salir de la base de datos, lo que ayuda a aumentar la seguridad.
¿Puedo ejecutar HeatWave GenAI en AWS?
Sí, HeatWave GenAI está disponible de forma nativa en AWS, junto con otras funciones de HeatWave, incluidas HeatWave MySQL, HeatWave Lakehouse, HeatWave AutoML y HeatWave Autopilot.
¿Se pueden utilizar varios idiomas para generar incrustaciones?
Sí, se pueden generar incrustaciones para datos de texto en 27 idiomas.
¿Qué idiomas se admiten para generar prompts?
Los prompts se pueden emitir en inglés. Los prompts emitidos en otros idiomas, como español o alemán, se pueden traducir al inglés.
¿Puedo utilizar la búsqueda vectorial sin el clúster de HeatWave?
No, la búsqueda vectorial se realiza en el clúster de HeatWave.
¿Qué unidades se deberían utilizar con HeatWave GenAI?
HeatWave se ejecuta en un nodo MySQL. Recomendamos un nodo MySQL con una unidad MySQL.32, además de nodos HeatWave que utilicen la unidad HeatWave.512 GB para entornos de producción. Para el desarrollo/prueba, se puede utilizar una unidad MySQL más pequeña. Puedes consultar las unidades MySQL admitidas aquí. Para HeatWave GenAI, no se admite la unidad HeatWave.32 GB.
¿Qué tipo de documentos se admiten para la creación de almacenes vectoriales?
PDF, texto, PowerPoint, Word y HTML son los formatos admitidos.
¿Cuál es el costo de HeatWave GenAI?
No hay ningún costo adicional más allá del costo del clúster HeatWave, necesario para utilizar HeatWave GenAI. Puedes invocar LLM en la base de datos e incrustar modelos proporcionados con HeatWave GenAI sin cargo adicional. También puedes invocar LLM externos disponibles a través de OCI Generative AI en Oracle Cloud Infrastructure y Amazon Bedrock en AWS y se cobrará el importe de esos servicios.
¿Se utilizan mis datos para entrenar los LLM?
No, los LLM son modelos preentrenados. Tus datos no se utilizan para entrenar LLM.
¿Permite HeatWave GenAI la realización de ajustes?
No, los LLM en la base de datos proporcionados con HeatWave no se pueden ajustar.
¿Puedo traer mis propios LLM o modelos incrustados?
No, no puedes traer tus propios LLM ni incrustar modelos. Sin embargo, puedes invocar los LLM externos o modelos incrustados disponibles a través de OCI Generative AI al ejecutar HeatWave GenAI en Oracle Cloud Infrastructure y a través de Amazon Bedrock al ejecutar HeatWave GenAI en AWS.
¿Cuál es la calidad esperada de los resultados dado que los LLM en la base de datos están cuantificados?
Según nuestras pruebas, los resultados son similares a los que ofrecen los LLM no cuantificados para casos de uso que dependen de HeatWave Vector Store. Puedes comprobar fácilmente los modelos para evaluar el rendimiento y la calidad de los resultados.
¿Con qué frecuencia necesito crear incrustaciones?
Solo necesitas generar incrustaciones una vez y se almacenarán en HeatWave Vector Store. Los cambios en documentos no estructurados en el almacén de objetos activarán automáticamente actualizaciones para las incrustaciones de vectores asociadas.
¿Se pueden importar documentos que contengan imágenes a HeatWave Vector Store?
Sí, el soporte de reconocimiento óptico de caracteres permite a HeatWave Vector Store convertir contenido escaneado guardado como imágenes en datos de texto que se pueden analizar, por ejemplo, para realizar búsquedas de similitudes.