Fonctionnalités de HeatWave Lakehouse

Moteur de requête pour les données dans le stockage d'objet et éventuellement dans les bases de données MySQL

Interroger des données dans le stockage d'objets dans différents formats de fichier, y compris CSV, Parquet, Avro et des fichiers d'export d'autres bases de données à l'aide de la syntaxe SQL standard, et combinez-les éventuellement avec des données transactionnelles dans des bases de données MySQL. Le traitement des requêtes est entièrement effectué dans le moteur HeatWave, de sorte que vous pouvez utiliser HeatWave pour les workloads non MySQL et les workloads compatibles MySQL. Une fois chargées dans le cluster HeatWave, les données de toutes les sources sont automatiquement transformées en un seul format interne optimisé. Par conséquent, les requêtes des données dans le stockage d'objets sont traitées aussi rapidement que dans les bases de données. C'est une première.

Les résultats des requêtes peuvent être écrits dans le stockage d'objets, ce qui permet aux utilisateurs de les partager facilement et de stocker les résultats dans le stockage d'objets à moindre coût. Cela permet également aux développeurs d'utiliser HeatWave pour les applications MapReduce.

Prise en charge du format JSON et du langage JavaScript

Vous pouvez utiliser HeatWave pour interroger des données semi-structurées au format JSON dans le stockage d'objets, par exemple, pour développer des applications de gestion de contenu ou des tableaux de bord en temps réel à l'aide de données JSON dans le stockage d'objets. Grâce à sa prise en charge native dans HeatWave Lakehouse, vous pouvez utiliser JavaScript pour traiter et interroger les données dans le stockage d'objets. Par exemple, vous pouvez créer des applications de chargement de contenu dynamique à l'aide des fonctionnalités enrichies de JavaScript.

Prise en charge des documents non structurés avec HeatWave Vector Store

Avec HeatWave Vector Store, vous pouvez télécharger et interroger des documents non structurés.

Architecture évolutive

Les performances inégalées d'HeatWave sont le résultat de son architecture évolutive, qui permet un parallélisme massif pour provisionner les clusters, charger les données et traiter les requêtes avec jusqu'à 512 nœuds. Chaque nœud de HeatWave au sein d'un cluster et chaque cœur au sein d'un nœud peut traiter des données partitionnées en parallèle, dont des scans parallèles, des jointures, le regroupement, l'agrégation et le traitement top-k. Les algorithmes sont conçus pour faire se chevaucher la durée de calcul et la communication des données entre les nœuds, ce qui permet d'atteindre une évolutivité élevée.

Automatisation basée sur le machine learning avec HeatWave Autopilot

HeatWave Autopilot fournit une automatisation tenant compte des workloads pour HeatWave optimisée par le machine learning (ML). Les fonctionnalités d'HeatWave Autopilot, telles que le provisionnement automatique, l'amélioration du plan de requêtes automatiques (qui apprend diverses statistiques d'exécution à partir des exécutions de requêtes passées pour améliorer le plan d'exécution des requêtes futures) et le chargement en parallèle automatique, ont été améliorées pour HeatWave Lakehouse. Les fonctionnalités supplémentaires pour HeatWave Lakehouse sont les suivantes :

• L'inférence de schéma automatique déduit automatiquement la correspondance entre les données de fichier et la définition de schéma concerné pour tous les types de fichier pris en charge, y compris CSV. Par conséquent, vous ne devez pas définir et mettre à jour manuellement le mappage de schéma des fichiers, ce qui vous fait gagner du temps et réaliser des économies.
• L'échantillonnage adaptatif des données échantillonne intelligemment les fichiers dans le stockage d'objets pour dériver les informations qui rendent possibles les prévisions d'automatisation de HeatWave Autopilot. Grâce à l'échantillonnage adaptatif des données, HeatWave Autopilot peut analyser et effectuer des prédictions, telles que le mappage de schéma sur un fichier de 400 To en moins d'une minute.
• Le flux de données adaptatif permet à HeatWave Lakehouse de s'adapter dynamiquement aux performances du dépôt d'objets sous-jacent dans toutes les régions afin d'améliorer les performances globales et la disponibilité.
• L'optimisation adaptative des requêtes utilise diverses statistiques pour ajuster les structures de données et les ressources système après le démarrage de l'exécution des requêtes, optimisant de manière indépendante l'exécution des requêtes pour chaque nœud en fonction de la répartition réelle des données lors de l'exécution. Cela permet d'améliorer les performances des requêtes ad hoc jusqu'à 25 %.
• La compression automatique aide les clients à déterminer l'algorithme de compression optimal pour chaque colonne, ce qui améliore les performances de chargement et de requêtes grâce à une compression et une décompression des données plus rapides. En réduisant l'utilisation de la mémoire, les clients peuvent réaliser des économies allant jusqu'à 20 %.

Machine Learning intégré

Avec HeatWave AutoML, vous pouvez utiliser des données dans le stockage d'objets, la base de données ou les deux pour créer, entraîner, déployer et expliquer des modèles de machine learning. Vous n'avez pas besoin de déplacer les données vers un service cloud de machine learning distinct ni d'être un expert en machine learning. HeatWave AutoML automatise le pipeline de machine learning, notamment la sélection d'algorithmes, l'échantillonnage intelligent des données pour l'entraînement de modèle, la sélection des caractéristiques et l'optimisation des hyperparamètres. Les data analysts gagnent ainsi du temps et évitent les tâches chronophages. HeatWave AutoML prend en charge les tâches de détection d'anomalies, de prévision, de classification, de régression et de recommandation, même pour les colonnes de texte. Vous pouvez utiliser HeatWave AutoML sans frais supplémentaires.

Service de base de données entièrement géré et hautement disponible

Des tâches telles que la gestion de la haute disponibilité, l'application de correctifs, les mises à niveau et les sauvegardes sont automatisées avec un service de bases de données entièrement géré. Les données chargées dans le cluster HeatWave sont automatiquement récupérées en cas de défaillance inopinée du nœud de calcul, sans retransformation à partir de formats de données externes.

Contrôle d'accès sécurisé

Grâce aux mécanismes de contrôle d'accès tels que l'authentification principale des ressources d'Oracle Cloud Infrastructure (OCI) ou les demandes pré-authentifiées, vous pouvez disposer d'un contrôle total sur l'accès aux sources de data lakes.