FAQ sur HeatWave GenAI

Généralités

Qu'est-ce que HeatWave GenAI ?

HeatWave GenAI fournit une IA générative intégrée, automatisée et sécurisée avec des grands modèles de langage (LLM) dans la base de données, un stockage vectoriel automatisé dans la base de données, un traitement vectoriel scale-out et la possibilité d'avoir des conversations contextuelles en langage naturel, ce qui vous permet de tirer parti de l'IA générative sans expertise en IA, ni déplacement de données, ni frais supplémentaires.

Quelles sont les principales fonctionnalités de HeatWave GenAI ?

Voici les fonctionnalités clés de HeatWave GenAI :

• LLM dans la base de données
• Intégration avec OCI Generative AI et Amazon Bedrock
• Banque de vecteurs dans la base de données
• Génération automatisée d'intégrations
• Traitement vectoriel évolutif
• HeatWave Chat

Quels sont les LLM disponibles en tant que modèles dans la base de données dans HeatWave ?

Les versions quantisées des LLM dans la base de données suivants sont actuellement disponibles dans HeatWave :

• llama3-8b-instruct-v1
• mistral-7b-instruct-v1

Comment HeatWave Vector Store est-il automatisé ?

Vous pouvez créer une banque de vecteurs pour le contenu non structuré d'entreprise à l'aide d'une seule commande SQL. Toutes les étapes de création d'une banque de vecteurs et de vectorisation sont automatisées et exécutées à l'intérieur de la base de données, y compris la découverte des documents dans le stockage d'objets, leur analyse, la génération d'intégrations de manière hautement parallèle et optimisée, et leur insertion dans la banque de vecteurs, ce qui rend HeatWave Vector Store efficace et facile à utiliser.

HeatWave nécessite-t-il des GPU pour exécuter des LLM dans la base de données ?

HeatWave s'exécute sur du matériel de base. Les LLM dans la base de données ne tournent pas sur des GPU, mais sur des CPU. Par conséquent, vous pouvez réduire les coûts et ne pas avoir à vous soucier de la disponibilité des LLM dans divers data centers.

Comment HeatWave GenAI contribue-t-il à améliorer la sécurité des données ?

Lorsque vous utilisez des LLM dans la base de données et une banque de vecteurs dans la base de données, les données ne quittent pas la base de données, ce qui contribue à améliorer la sécurité des données.

Puis-je exécuter HeatWave GenAI sur AWS ?

Oui, HeatWave GenAI est disponible nativement sur AWS, ainsi que d'autres fonctionnalités HeatWave, notamment HeatWave MySQL, HeatWave Lakehouse, HeatWave AutoML et HeatWave Autopilot.

Plusieurs langues sont-elles prises en charge pour la génération des incorporations ?

Oui, les vecteurs peuvent être générés pour les données textuelles dans 27 langues différentes.

Quelles langues sont prises en charge pour les invites ?

Les invites peuvent être émises en anglais. Les invites émises dans d'autres langues, telles que l'espagnol et l'allemand, peuvent être traduites en anglais.

Puis-je utiliser la recherche vectorielle sans le cluster HeatWave ?

Non, la recherche vectorielle est effectuée dans le cluster HeatWave.

Quelles formes doivent être utilisées pour HeatWave GenAI ?

HeatWave est exécuté sur un nœud MySQL. Nous recommandons un nœud MySQL avec une forme MySQL.32 et des nœuds HeatWave avec la forme HeatWave.512 Go pour un environnement de production. Pour le développement/test, vous pouvez utiliser une forme MySQL plus petite. Vous pouvez consulter les formes MySQL prises en charge ici. Pour HeatWave GenAI, la forme HeatWave.32 Go n'est pas prise en charge.

Quels types de documents sont pris en charge pour la création de stockages vectoriels ?

Les formats PDF, texte, PowerPoint, Word et HTML sont pris en charge.

Quel est le coût de HeatWave GenAI ?

Il n'y a pas de coût supplémentaire au-delà du coût du cluster HeatWave pour l'utilisation de HeatWave GenAI. Vous pouvez appeler des LLM dans la base de données et intégrer des modèles fournis avec HeatWave GenAI sans frais supplémentaires. Vous pouvez également appeler des LLM externes disponibles via OCI Generative AI sur OCI et Amazon Bedrock sur AWS. Ces services seront facturés.

Mes données sont-elles utilisées pour la formation des LLM ?

Non, les LLM sont des modèles préentraînés. Vos données ne sont pas utilisées pour l'entraînement des LLM.

HeatWave GenAI prend-il en charge l'affinage ?

Non, les LLM dans la base de données fournis avec HeatWave ne peuvent pas être affinés.

Puis-je utiliser mes propres LLM ou intégrer des modèles ?

Non, vous ne pouvez pas utiliser vos propres LLM et embeddings. Cependant, vous pouvez invoquer les LLM externes ou intégrer des modèles disponibles via OCI Generative AI lors de l'exécution de HeatWave GenAI sur OCI et via Amazon Bedrock lors de l'exécution de HeatWave GenAI sur AWS.

Quelle est la qualité estimée des résultats puisque les LLM dans la base de données sont quantisés ?

Sur la base de nos tests, les résultats sont comparables aux LLM non quantisés pour les cas d'utilisation qui reposent sur HeatWave Vector Store. Vous pouvez facilement tester les modèles pour évaluer les performances et la qualité des résultats.

À quelle fréquence dois-je créer des vectorisations ?

Vous ne devez générer des vectorisations qu'une seule fois et elles seront stockées dans la banque de vecteurs HeatWave. Les modifications apportées aux documents non structurés dans le stockage d'objets déclenchent automatiquement les mises à jour des vectorisations associées.

Les documents contenant des images peuvent-ils être importés dans HeatWave Vector Store ?

Oui, la prise en charge de la reconnaissance optique de caractères permet à HeatWave Vector Store de convertir le contenu numérisé enregistré sous forme d'images en données texte pouvant être analysées, par exemple, pour effectuer des recherches de similarité.