FAQ sur le service Data Lake

Qu’est-ce qu’OCI Data Lake ?

OCI Data Lake est un service de data lake entièrement géré qui améliore la gouvernance des données. Il fournit aux utilisateurs une gestion centralisée pour le stockage et la sécurité des données dans leur data lake. Le service permet aux utilisateurs d'ingérer et d'analyser facilement les données. Les utilisateurs et les applications peuvent partager facilement des données au sein de leur entreprise et appliquer un contrôle d'accès précis aux objets du data lake. Les moteurs intégrés qui consomment des données dans le data lake respectent ces règles de contrôle d'accès prédéfinies.

Pourquoi utiliser OCI Data Lake ?

OCI Data Lake permet aux clients de stocker des données structurées, semi-structurées et non structurées et d'en gérer la gouvernance. Il offre une interface unifiée pour tous les besoins de gestion des données. Les utilisateurs peuvent ainsi créer un data lake avec une sécurité renforcée en quelques minutes seulement. OCI Data Lake est bien intégré à d'autres services OCI, ce qui facilite l'assimilation, le traitement et l'analyse des données dans le data lake.

Quels autres services sont intégrés à OCI Data Lake ?

OCI Data Lake est intégré à OCI Data Integration pour une assimilation facile et no code des données dans le lake. Lors de la création d'un data lake OCI, ses entités sont automatiquement testées dans OCI Data Catalog pour que les gestionnaires de données puissent repérer les données. OCI Data Lake fonctionne aisément avec avec OCI Data Flow, Oracle Big Data et les blocs-OCI Data Science pour le traitement des données et l'exécution des workloads d'analyse. Les utilisateurs peuvent interroger des données du lake à l'aide d'Autonomous Data Warehouse.

Quelles sont les options de stockage disponibles dans OCI Data Lake ?

Vous avez le choix soit de stocker les données dans un modèle de fichier en créant des montages externes ou gérés, soit de stocker les données dans un modèle relationnel en créant des tables dans le data lake.

Quelle est la différence entre les montages externes et gérés ?

Un montage externe est une référence à un emplacement Oracle Cloud Infrastructure (OCI) Object Storage. L'emplacement OCI Object Storage des montages externes n'est pas géré par le data lake. Les montages externes sont utilisés pour fournir un contrôle d'accès affiné aux données déjà existantes dans un emplacement OCI Object Storage.

Un montage géré désigne un emplacement OCI Object Storage géré par le service de data lake. Les montages gérés fournissent une sécurité renforcée pour les fichiers de données afin que seuls les utilisateurs autorisés du data lake puissent accéder aux données stockées dans le montage géré. Les données du montage géré sont stockées dans le data lake.

Quelle est la différence entre les tables externes et les tables gérées ?

Une table externe définit une structure pour les données stockées dans un emplacement OCI Object Storage géré par vous ou dans un montage au sein du data lake. Le montage peut être un montage externe ou un montage géré. Lorsque vous supprimez une table externe, seule sa définition est supprimée. Les données référencées par la table externe ne sont pas supprimées.

Une table gérée définit une structure pour les données stockées dans le data lake et accessibles uniquement par les utilisateurs du data lake OCI. Lorsque vous supprimez une table gérée, la définition de la table et les données de la table sont supprimées.

Quelles sont les options de stockage disponibles dans OCI Data Lake ?

Vous avez le choix soit de stocker les données dans un modèle de fichier en créant des montages externes ou gérés, soit de stocker les données dans un modèle relationnel en créant des tables dans le data lake.

Quelle est la différence entre les montages externes et gérés ?

Un montage externe est une référence à un emplacement Oracle Cloud Infrastructure (OCI) Object Storage. L'emplacement OCI Object Storage des montages externes n'est pas géré par le data lake. Les montages externes sont utilisés pour fournir un contrôle d'accès affiné aux données déjà existantes dans un emplacement OCI Object Storage.

Un montage géré désigne un emplacement OCI Object Storage géré par le service de data lake. Les montages gérés fournissent une sécurité renforcée pour les fichiers de données afin que seuls les utilisateurs autorisés du data lake puissent accéder aux données stockées dans le montage géré. Les données du montage géré sont stockées dans le data lake.

Quelle est la différence entre les tables externes et les tables gérées ?

Une table externe définit une structure pour les données stockées dans un emplacement OCI Object Storage géré par vous ou dans un montage au sein du data lake. Le montage peut être un montage externe ou un montage géré. Lorsque vous supprimez une table externe, seule sa définition est supprimée. Les données référencées par la table externe ne sont pas supprimées.

Une table gérée définit une structure pour les données stockées dans le data lake et accessibles uniquement par les utilisateurs du data lake OCI. Lorsque vous supprimez une table gérée, la définition de la table et les données de la table sont supprimées.

Comment créer mon data lake à l'aide du service OCI Data Lake ?

Les ingénieurs de données peuvent écrire des processus ETL à l'aide du service no code OCI Data Integration. Les ingénieurs de données peuvent également utiliser des SDK et des API pour ingérer des données dans le lake ou créer une application spark dans OCI Data Flow pour l'assimilation des données.

Puis-je créer mon data lake à l'aide de Terraform ?

Oui, OCI Data Lake prend en charge Terraform pour la création de ressources OCI Data Lake.

OCI Data Lake ingère-t-il des données de diffusion en continu ?

Les tâches de transmission en continu OCI Data Flow peuvent écrire des données dans le data lake.

Comment les gestionnaires de données découvriront-ils les données dans le lake ?

Les gestionnaires de données peuvent découvrir les données du lake à l'aide d'OCI Data Catalog, qui est attaché ou provisionné lors de la création du data lake. Le catalogue est actualisé à intervalles réguliers, ce qui donne aux gestionnaires de données une vue à jour sur leur data lake.

Puis-je utiliser mon catalogue de données existant ou Hive Metastore avec OCI Data Lake ?

Non, lors du provisionnement du data lake, un catalogue est créé et géré par le service.

Qu'est-ce que le contrôle d'accès unifié ?

OCI Data Lake fournit un contrôle d'accès unifié, qui permet aux administrateurs de définir des stratégies de contrôle d'accès pour tous les objets de data lake. À partir de la console, les administrateurs peuvent voir qui a accès aux objets du data lake.

Comment OCI Data Lake sécurise-t-il mes données dans le data lake ?

OCI Data Lake dispose d'une sécurité à deux niveaux. Le lake en lui-même n'est accessible que si l'utilisateur dispose d'un accès via la stratégie Oracle IAM. Tous les objets du data lake sont régis par des politiques définies dans le lake.

Puis-je créer des rôles et accorder des droits d'accès aux rôles dans OCI Data Lake ?

Oui, les administrateurs de data lake peuvent créer des rôles et accorder des autorisations aux rôles, utilisateurs, principaux de ressource, groupes et groupes dynamiques.

Puis-je sécuriser mes données dans des montages externes ou gérés ?

Oui. Les utilisateurs peuvent affecter des droits d'accès de lecture/écriture/administration à des rôles/utilisateurs/principaux de ressources/groupes/groupes dynamiques.

Puis-j'écrire des stratégies d'accès pour sécuriser les fichiers d'un montage ?

Non, OCI Data Lake ne prend pas en charge le contrôle d'accès sur les fichiers.

Puis-je limiter l'accès à certaines colonnes comportant des données sensibles ?

Oui, OCI Data Lake permet aux administrateurs de créer des stratégies de contrôle d'accès au niveau colonne.

Puis-je limiter l'accès à certaines lignes d'une table OCI Data Lake ?

Oui, OCI Data Lake permet aux administrateurs de créer des stratégies de contrôle d'accès au niveau des lignes en fonction des valeurs de colonne.

Comment traiter ou analyser des données dans OCI Data Lake ?

Les ingénieurs de données peuvent traiter les données dans une application Spark à l'aide d'OCI Data Flow ou dans Big Data Service. Les data scientists et les analystes de données peuvent effectuer une analyse exploratoire ou créer des modèles de machine learning sur les données dans le data lake à l'aide du bloc-notes OCI Data Science.

Dois-j'écrire une nouvelle application Spark si je déplace mes données vers OCI Data Lake ?

Non, OCI Data Lake prend en charge les API Spark pour faciliter la lecture et l'écriture des données dans différents formats de fichier.

Comment OCI Data Lake aide-t-il un analyste ou un data scientist à accéder aux données dans OCI Data Lake ?

Les analystes de données peuvent tirer parti de Spark SQL pour les instructions DDL, les instructions DML ou l'interrogation de données.

Puis-je visualiser les données dans OCI Data Lake ?

Oui, OCI Data Lake est intégré au terminal SQL OCI Data Flow, qui expose un pilote JDBC/ODBC permettant de visualiser les données du data lake à l'aide d'outils décisionnels prenant en charge les pilotes JDBC/ODBC. Les utilisateurs peuvent également tirer parti du pilote pour se connecter au data lake à l'aide d'un outil SQL prenant en charge le pilote JDBC/ODBC.