En quoi consistent les mégadonnées?

Définition des mégadonnées

Que sont les mégadonnées, exactement?

La définition du concept de mégadonnées correspond à des données plus variées, arrivant en volumes croissants et avec plus de vélocité. Cela fait également référence au concept des trois « V » des mégadonnées.

En termes simples, les données volumineuses sont des ensembles de données plus volumineux et plus complexes, provenant particulièrement de nouvelles sources de données. Ces ensembles de données sont tellement volumineux que les logiciels de traitement de données traditionnels ne peuvent tout simplement pas les gérer. Cependant, ces volumes massifs de données peuvent être utilisés pour résoudre des problèmes commerciaux que vous n’auriez jamais pu résoudre auparavant.

Les trois « V » des mégadonnées

• Volume
  La quantité de données est importante. Avec les mégadonnées, vous devrez traiter des volumes élevés de données non structurées et à faible densité. Il peut s'agir de données de valeur inconnue, telles que des flux de données X (anciennement Twitter), des parcours sur une page Web ou une application mobile, ou encore provenant d'un équipement doté de capteurs. Pour certaines organisations, cela peut représenter des dizaines de téraoctets de données. Pour d'autres, il peut s'agir de centaines de pétaoctets.
• Vélocité
  La vélocité correspond à la rapidité de la réception des données et, possiblement, des actions appliquées. Normalement, pour une vélocité des flux de données très élevée, les données doivent se trouver directement en mémoire, sans passer par une écriture sur le disque. Certains produits intelligents compatibles avec Internet fonctionnent en temps réel ou en temps quasi réel et nécessitent une évaluation et des actions en temps réel.
• Variété
  La variété fait référence aux nombreux types de données disponibles. Les types de données traditionnels étaient auparavant parfaitement structurés et adaptés à une base de données relationnelle. Avec la montée en popularité des mégadonnées, les données présentent désormais de nouveaux types de données non structurées. Les types de données non structurées et semi-structurées, comme le texte, l'audio et la vidéo, nécessitent un prétraitement supplémentaire pour dégager une certaine signification et prendre en charge les métadonnées.

La valeur et la vérité des mégadonnées

Au cours des dernières années, deux autres « V » ont été annexé au concept des mégadonnées : la valeur et la vérité. Les données ont une valeur intrinsèque. Mais elles ne sont d'aucune utilité si cette valeur n'est pas établie. Tout aussi important : à quel point vos données sont-elles véridiques et à quel point pouvez-vous vous y fier?

Aujourd’hui, les mégadonnées sont devenues essentielles. Il suffit de penser à certaines des plus grandes entreprises technologiques du monde. Une grande partie de la valeur qu'elles offrent provient de leurs données, qu'elles analysent constamment pour produire plus d'efficacité et développer de nouveaux produits.

Les percées technologiques récentes ont réduit de manière exponentielle le coût du stockage et du calcul des données, ce qui rend le stockage de plus de données plus facile et moins coûteux que jamais. Avec un volume accru de mégadonnées, désormais moins cher et plus accessible, vous pouvez prendre des décisions d'affaires plus précises et détaillées.

Trouver de la valeur dans les mégadonnées ne consiste pas seulement à les analyser (ce qui est tout de même un avantage à part entière). Il s'agit d'un processus d'exploration complet qui nécessite des analystes perspicaces, des utilisateurs professionnels et des cadres qui posent les bonnes questions, reconnaissent les modèles, font des hypothèses éclairées et prédisent le comportement.

Mais comment est-on arrivé ici?

L'histoire des mégadonnées

Bien que le concept de mégadonnées lui-même soit relativement nouveau, les origines des jeux de données volumineux remontent aux années 1960 et 1970. À cette époque, le monde des données commençait à peine, avec les premiers centres de données et le développement de la base de données relationnelle.

Vers 2005, les gens ont commencé à se rendre compte de la quantité de données générées par les utilisateurs à partir de Facebook, de YouTube et d'autres services en ligne. Hadoop (un cadre à code source libre créé expressément pour stocker et analyser les jeux de mégadonnées) a été développé à cette époque. NoSQL a également commencé à gagner en popularité pendant cette période.

Le développement de cadres à code source libre, comme Hadoop (et plus récemment, Spark) était essentiel pour la croissance des mégadonnées afin de faciliter le travail avec des données volumineuses et d'offrir un stockage moins cher. Dans les années qui ont suivi, le volume des mégadonnées a explosé. Les utilisateurs génèrent toujours d'énormes quantités de données, mais la génération de données n'est pas l'exclusivité des humains.

Avec l'avènement de l'Internet des objets (IdO), plus d'objets et d'appareils sont connectés à Internet, recueillant des données sur les habitudes d'utilisation des clients et la performance des produits. L'émergence de l'apprentissage automatique a produit encore plus de données.

Bien que les mégadonnées ont fait quelques percées, leur utilité ne fait que commencer. L'informatique en nuage a encore élargi les possibilités des mégadonnées. Le nuage offre une extensibilité véritablement élastique, où les développeurs peuvent simplement configurer des grappes ad hoc pour tester un sous-ensemble de données. De plus, les bases de données graphiques deviennent de plus en plus importantes, car elles peuvent afficher d'énormes quantités de données d'une manière qui accélère et complète les analyses.

Avantages des mégadonnées

• Les mégadonnées permettent d'obtenir des réponses plus complètes, car vous disposez de plus d'informations.
• Des réponses plus complètes améliorent la confiance dans les données, ce qui signifie une approche complètement différente pour résoudre les problèmes.

Cas d'utilisation des mégadonnées

Les mégadonnées peuvent vous aider à gérer un éventail d'activités commerciales, y compris l'expérience client et les analyses. En voici quelques-unes.

1. Développement de produits
Des entreprises telles que Netflix et Procter & Gamble utilisent les mégadonnées afin d'anticiper la demande des clients. Celles-ci créent des modèles prédictifs pour les nouveaux produits et services en classant les attributs clés des produits ou services passés et actuels et en modélisant la relation entre ces attributs et le succès commercial des offres. En outre, P&G utilise les données et les analyses des groupes de discussion, des médias sociaux, des marchés de test et des premiers déploiements dans les magasins pour planifier, produire et lancer de nouveaux produits.

2. Maintenance prédictive
Les facteurs pour prédire les pannes mécaniques peuvent être profondément enfouis dans des données structurées, comme l'année, la marque et le modèle d'équipement, ainsi que dans des données non structurées qui couvrent des millions d'entrées de journal, des données de capteur, des messages d'erreur et des données de température du moteur. En analysant certains indicateurs de problèmes potentiels, avant leur survenue, les organisations peuvent déployer une maintenance de manière plus rentable et optimiser le temps de disponibilité des pièces et de l'équipement.

3. Expérience client
La course pour les clients est lancée. Une meilleure optique de l'expérience client est désormais plus accessible. Les mégadonnées permettent de recueillir des données à partir des médias sociaux, des visites Web, des journaux d'appels et d'autres sources afin d'améliorer l'expérience d'interaction et d'optimiser la valeur fournie. Commencez à offrir des offres personnalisées, réduisez l'attrition des clients et gérez les problèmes de manière proactive.

4. Fraude et conformité
En ce qui concerne la sécurité informatique, vous ne pouvez pas vous limiter à surveiller quelques pirates informatiques malveillants, car vous êtes confronté à des équipes complètes d'experts. Les environnements de sécurité et les exigences de conformité évoluent constamment. Les mégadonnées vous aident à déterminer les tendances dans les données pour détecter les cas de fraude et à regrouper de grands volumes d'informations afin d'accélérer la production de rapports réglementaires.

5. Apprentissage automatique
L'apprentissage automatique est un sujet d'actualité en ce moment. Et les mégadonnées, en particulier, en sont l'une des raisons. Nous sommes maintenant en mesure d'enseigner à des machines, au lieu de les programmer. La disponibilité des mégadonnées pour l'entraînement des modèles d'apprentissage automatique rend cela possible.

6. Efficacité opérationnelle
L'efficacité opérationnelle n'est peut-être pas une découverte qui fera les manchettes. Toutefois, c'est un domaine dans lequel les mégadonnées ont le plus d'incidence. Grâce aux mégadonnées, vous pouvez analyser et évaluer la production, les commentaires et les retours des clients, ainsi que d'autres facteurs pour réduire les pannes et anticiper les demandes futures. Les mégadonnées peuvent également servir à améliorer la prise de décision en fonction de la demande actuelle du marché.

7. Génération d'innovations
Les mégadonnées peuvent vous aider à innover en étudiant les interdépendances entre les humains, les institutions, les entités et les processus, puis en déterminant de nouvelles façons d'utiliser ces informations. Vous pouvez utiliser les synthèses de données pour améliorer les décisions relatives aux considérations financières et de planification. Examinez les tendances et ce que les clients veulent afin d'offrir de nouveaux produits et services pertinents. Mettez en œuvre une tarification dynamique. Les possibilités sont infinies.

Les défis liés aux mégadonnées

Bien que les mégadonnées soient prometteuses, elles ne sont pas sans obstacles.

En premier lieu, les mégadonnées sont gigantesques! Bien que de nouvelles technologies aient été développées pour le stockage des données, les volumes de données doublent en taille environ tous les deux ans. Les organisations ont encore du mal à suivre le rythme de leurs données et à trouver des moyens de les stocker efficacement.

Mais il ne suffit pas de stocker les données. Les données doivent être utilisées pour en extraire leur valeur et cela dépend de leur conservation. Des données propres, ou des données pertinentes pour le client et organisées de manière à permettre une analyse significative, nécessitent beaucoup de travail. Les spécialistes des données passent de 50 à 80 % de leur temps à organiser et à préparer les données avant qu'elles ne puissent être utilisées.

Enfin, la technologie des mégadonnées évolue rapidement. Il y a quelques années, Apache Hadoop était la technologie populaire utilisée pour gérer les mégadonnées. Puis, Apache Spark a été lancé en 2014. Aujourd’hui, une combinaison des deux cadres semble être la meilleure approche. Faire face à la technologie des mégadonnées est un défi permanent.

Découvrir d'autres ressources à propos des mégadonnées :

Comment fonctionnent les mégadonnées

Les mégadonnées vous fournissent de nouvelles synthèses de données qui ouvrent la voie à de nouvelles occasions et à de nouveaux modèles d'affaires. Le démarrage comprend trois actions clés :

1. Intégration
Les mégadonnées rassemblent les données provenant de nombreuses sources et applications disparates. Les mécanismes traditionnels d'intégration des données, tels que l'extraction, la transformation et le chargement (ETL), ne sont généralement pas à la hauteur de la tâche. Il est nécessaire d'exploiter de nouvelles stratégies et technologies pour analyser les jeux de mégadonnées à l'échelle du téraoctet, voire du pétaoctet.

Au cours de l'intégration, vous devez intégrer les données, les traiter et vous assurer qu'elles sont formatées et disponibles sous une forme que vos analystes d'affaires peuvent utiliser.

2. Gestion
Le service de mégadonnées nécessite un stockage. Votre solution de stockage peut être dans le nuage, sur place, ou les deux en même temps. Vous pouvez stocker vos données sous n'importe quelle forme et fournir vos exigences de traitement souhaitées et les moteurs de processus nécessaires à ces ensembles de données sur demande. De nombreuses personnes choisissent leur solution de stockage en fonction de l'emplacement actuel de leurs données. Le nuage gagne progressivement en popularité, car il prend en charge vos exigences de calcul actuelles et permet de déployer des ressources en fonction de vos besoins.

3. Analyses
Votre investissement dans les mégadonnées est rentable lorsque vous analysez vos données et adaptez vos comportements en conséquence. Obtenez une nouvelle optique plus claire grâce à une analyse visuelle de vos ensembles de données variés. Explorez les données plus en profondeur pour faire de nouvelles découvertes. Partagez vos résultats avec d'autres. Créez des modèles de données avec l'apprentissage automatique et l'intelligence artificielle. Mettez vos données au travail.

Meilleures pratiques en matière de mégadonnées

Pour vous aider dans votre transition vers les mégadonnées, nous avons dégagé les meilleures pratiques à garder à l'esprit. Voici nos lignes directrices pour ériger avec succès les bases pour vos mégadonnées.

1. Alignez les mégadonnées avec des objectifs d'affaires particuliers
Des jeux de données plus étendus vous permettent de faire de nouvelles découvertes. À cette fin, il est important de baser les nouveaux investissements sur les compétences, l'organisation ou l'infrastructure dans un contexte d'entreprise pratique afin de garantir des investissements et un financement continus du projet. Pour déterminer si vous êtes sur la bonne voie, demandez-vous comment les mégadonnées permettront de prendre en charge vos principales priorités commerciales et informatiques et d'y répondre. Par exemple, comprendre comment filtrer les journaux Web pour déterminer les comportements du commerce électronique, générer des impressions à partir des interactions sur les médias sociaux et le soutien à la clientèle, et comprendre les méthodes de corrélation statistique ainsi que leur pertinence pour les données de client, de produit, de fabrication et d'ingénierie.

2. Atténuez les répercussions de la pénurie de compétences grâce à des normes et à la gouvernance
L'un des plus grands obstacles à l'exploitation de votre investissement dans les mégadonnées est la pénurie de compétences. Vous pouvez réduire ce risque en vous assurant que les technologies, les considérations et les décisions liées aux mégadonnées sont intégrées à votre programme de gouvernance des TI. La normalisation de votre approche vous permettra de gérer les coûts et de tirer parti des ressources. Les organisations qui mettent en œuvre des solutions et des stratégies de mégadonnées devraient évaluer leurs exigences en matière de compétences tôt et périodiquement. De plus, elles devraient identifier de manière proactive les lacunes potentielles en matière de compétences. Ce problème peut être traité par de la formation particulière ou croisée offerte aux ressources existantes, l'embauche de nouvelles ressources et l'utilisation de sociétés de conseil.

3. Optimisez le transfert des connaissances à l'aide d'un centre d'excellence
Utilisez une approche de centre d'excellence pour partager les connaissances, contrôler la supervision et gérer les communications de projet. Qu'il s'agisse d'un nouvel investissement ou d'un prolongement de l'investissement existant, les coûts logiciels et matériels peuvent être partagés à l'échelle de l'entreprise. L'utilisation de cette approche peut aider à augmenter les capacités des mégadonnées et la maturité globale de l'architecture de l'information de manière plus structurée et systématique.

4. Pour de meilleurs résultats, alignez des données non structurées sur les données structurées
Il est certainement avantageux d'analyser les mégadonnées en tant que telles. Mais vous pouvez en tirer encore plus d'informations commerciales en connectant et en intégrant des mégadonnées à faible densité aux données structurées que vous utilisez déjà aujourd'hui.

Que vous traitiez des données de client, de produit, d'équipement ou environnementales, l'objectif est d'ajouter des points de données plus pertinents à vos résumés analytiques et de base, ce qui mènera à de meilleures conclusions. Par exemple, les impressions de tous vos clients et celles de vos meilleurs clients peuvent être très différentes. C'est pourquoi beaucoup considèrent les mégadonnées comme une extension intégrale de leurs capacités existantes d'intelligence d'affaires, de leur plate-forme d'entreposage de données et de leur architecture d'informations.

Gardez à l'esprit que les processus et les modèles d'analyse de mégadonnées peuvent être à la fois humains et basés sur des machines. Les capacités d'analyse des mégadonnées comprennent les statistiques, l'analyse spatiale, la sémantique, l'exploration interactive et la visualisation. À l'aide de modèles analytiques, vous pouvez corréler différents types et différentes sources de données pour créer des associations et des découvertes significatives.

5. Planifiez votre laboratoire de découverte à des fins de performance
Il n'est pas toujours facile de comprendre la signification de vos données. Parfois, nous ne savons même pas ce que nous recherchons. C'est tout à fait attendu. La direction et les équipes des TI doivent soutenir ce « manque d'orientation » ou ce « manque d'exigence claire ».

Parallèlement, il est important que les analystes et les spécialistes des données travaillent en étroite collaboration avec l'entreprise pour comprendre les principales lacunes et exigences en matière de connaissances commerciales. Pour permettre l'exploration interactive des données et l'expérimentation d'algorithmes statistiques, vous avez besoin de zones de travail à haute performance. Assurez-vous que les environnements de bac à sable disposent du soutien dont ils ont besoin et qu'ils sont correctement gérés.

6. Procédez à un alignement avec le modèle d'exploitation infonuagique
Les processus de mégadonnées et les utilisateurs doivent accéder à un large éventail de ressources pour l'expérimentation itérative et l'exécution de tâches de production. Une solution de mégadonnées comprend tous les domaines de données, y compris les transactions, les données principales, les données de référence et les données résumées. Les bacs à sable analytiques doivent être créés sur demande. La gestion des ressources est essentielle pour assurer le contrôle de l'ensemble du flux de données, y compris le prétraitement et le post-traitement, l'intégration, la récapitulation dans la base de données et la modélisation analytique. Une stratégie de sécurité et de provisionnement en nuage public et privé bien planifiée joue un rôle essentiel dans la prise en charge de ces exigences changeantes.

En savoir plus sur les mégadonnées chez Oracle

• Essayer un atelier gratuit sur les mégadonnées
• Infographie : Comment créer des lacs de données efficaces