What Is Big Data?

Big data gedefinieerd

Wat is big data nu eigenlijk precies?

De definitie van big data is data met meer verscheidenheid die in steeds grotere volumes en met meer snelheid aankomt. Dit zijn tevens de drie belangrijkste kenmerken.

Eenvoudig gezegd zijn big data grotere, complexere datasets, vooral uit nieuwe databronnen. Deze datasets zijn zo omvangrijk dat traditionele software voor het verwerken van data daar niet mee om kan gaan. Maar deze enorme hoeveelheden data kunnen worden gebruikt om zakelijke problemen aan te pakken die u voorheen niet hebt kunnen aanpakken.

De drie belangrijkste kenmerken van big data

• Volume
  Het gaat om de hoeveelheid gegevens. Met big data zult u grote hoeveelheden ongestructureerde data met een lage dichtheid moeten verwerken. Dit kan data van onbekende waarde zijn, zoals datafeeds in X (voorheen Twitter), clickstreams op een webpagina of een mobiele app, of apparatuur met sensoren. Voor sommige organisaties kan dit tientallen terabytes aan data zijn. Voor anderen bedrijven kunnen het honderden petabytes zijn.
• Snelheid
  ('velocity') is de hoge snelheid waarmee gegevens worden ontvangen en waarop (mogelijk) wordt gereageerd. Normaal gesproken gaat data op maximale snelheid naar het geheugen, vergeleken met de snelheid waarmee data naar een schijf wordt weggeschreven. Voor sommige slimme producten met internetfunctionaliteit die in realtime of bijna in realtime werken, zijn realtime evaluatie en actie nodig.
• Verscheidenheid
  Verscheidenheid ('variety') verwijst naar de vele soorten gegevens die beschikbaar zijn. Traditionele datatypen werden gestructureerd en pasten perfect in een relationele database. Met de opkomst van big data komt data als nieuwe ongestructureerde datatypen. Voor ongestructureerde en semi-gestructureerde datatypen, zoals tekst, audio en video, is aanvullende voorverwerking nodig om de betekenis ervan te kunnen zien en metadata te kunnen ondersteunen.

De waarde en juistheid van big data

De afgelopen jaren zijn daar nog twee termen bijgekomen: waarde en juistheid. Data heeft intrinsieke waarde. Maar data is pas nuttig wanneer de waarde ervan wordt ontdekt. En niet minder belangrijk: hoe waarheidsgetrouw is uw data en in hoeverre kunt u erop vertrouwen?

Vandaag de dag draait het allemaal om big data. Denk aan enkele van 's werelds grootste technologiebedrijven. Een groot deel van de waarde van die bedrijven komt uit hun data die zij doorlopend analyseren om efficiëntere producten te produceren en nieuwe producten te ontwikkelen.

Recente technologische doorbraken hebben de kosten van dataopslag en rekenkracht exponentieel verlaagd, waardoor het gemakkelijker en goedkoper dan ooit is geworden om data op te slaan. Doordat het volume van big data steeds groter wordt, wordt big data goedkoper en toegankelijker en kunt u daardoor nauwkeurigere en preciezere zakelijke beslissingen nemen.

Het zien van de waarde van big data draait niet alleen om het analyseren ervan (wat een totaal ander voordeel is). Het is een geheel ontdekkingsproces waarvoor inzichtelijke analisten, zakelijke gebruikers en leidinggevenden nodig zijn die de juiste vragen stellen, patronen herkennen, goed onderbouwde aannames doen en gedrag voorspellen.

Maar hoe zijn we zover gekomen?

De geschiedenis van big data

Hoewel het concept van big data zelf relatief nieuw is, gaat de oorsprong van grote datasets terug tot de jaren zestig en zeventig toen de wereld van data vorm begon te krijgen door de eerste datacenters en de ontwikkeling van de relationele database.

Rond 2005 begonnen mensen zich te realiseren hoeveel data er via Facebook, YouTube en andere online services werd gegenereerd. Hadoop (een open-source framework dat specifiek werd opgezet om big data-sets op te slaan en te analyseren) werd in datzelfde jaar ontwikkeld. In die tijd begon NoSQL ook aan populariteit te winnen.

De ontwikkeling van open-source frameworks, zoals Hadoop (en recenter Spark), was essentieel voor de groei van big data omdat ze big data gemakkelijker maken om mee te werken en het goedkoper is om big data op te slaan. In de jaren daarna is de hoeveelheid big data explosief toegenomen. Gebruikers genereren nog steeds enorme hoeveelheden data, maar het zijn niet alleen mensen die data genereren.

Met de komst van het Internet of Things (IoT) zijn meer objecten en apparaten verbonden met internet, waardoor data wordt verzameld over gebruikspatronen van klanten en productprestaties. Door de opkomst van machine learning wordt er nog meer data geproduceerd.

Hoewel big data al een belangrijke plaats heeft ingenomen, wordt het nut ervan eerst nu pas goed onderkend. Door cloudcomputing zijn de mogelijkheden van big data nog verder toegenomen. De cloud biedt ware elastische schaalbaarheid, waarbij ontwikkelaars eenvoudig ad-hocclusters kunnen opzetten om een subset van data te testen. En grafiekdatabases worden ook steeds belangrijker door hun vermogen om enorme hoeveelheden data weer te geven op een manier die analytics snel en omvattend maakt.

Voordelen van big data

• Door big data krijgt u completere antwoorden omdat u meer informatie ter beschikking hebt.
• Completere antwoorden betekent meer vertrouwen in de data, wat een heel andere manier is om problemen aan te pakken.

Gebruiksscenario's voor big data

Met big data kunt u een hele reeks zakelijke activiteiten aanpakken, inclusief klantervaring en analyses. Hieronder staan enkele van die activiteiten.

1. Productontwikkeling
Bedrijven zoals Netflix en Procter & Gamble zetten big data in om de klantvraag te voorspellen. Ze bouwen voorspellende modellen voor nieuwe producten en diensten door de belangrijkste kenmerken van vroegere en huidige producten of diensten te rubriceren en de relatie tussen die kenmerken en het commerciële succes van het aanbod te modelleren. Daarnaast gebruikt P&G data en analyses van focusgroepen, sociale media, testmarkten en vroege uitrol van winkels om nieuwe producten te plannen, te produceren en te lanceren.

2. Voorspellend onderhoud
houdt in dat factoren die mechanische storingen kunnen voorspellen, verborgen kunnen zijn in gestructureerde gegevens zoals het jaar, merk en model van apparatuur, maar ook in ongestructureerde gegevens die bestaan uit miljoenen logboekvermeldingen, sensordata, foutmeldingen en engine-temperaturen. Door deze indicaties van potentiële problemen te analyseren voordat de problemen zich openbaren, kunnen organisaties onderhoud kosteneffectiever inzetten en de uptime van onderdelen en apparatuur maximaal oprekken.

3. Klantervaring
De strijd om de klant is begonnen. Een duidelijker beeld van de klantervaring is nu beter dan ooit mogelijk. Met big data kunt u data verzamelen van sociale media, webbezoeken, gesprekkenlogboeken en andere bronnen om de interactie-ervaring te verbeteren en de geleverde waarde te maximaliseren. Begin met het leveren van gepersonaliseerde aanbiedingen, verminder het klantverloop en pak problemen proactief aan.

4. Fraude en naleving
Bij beveiliging gaat het niet alleen om een handvol kwaadwillende hackers. U moet het opnemen tegen zeer geavanceerde hackersgroepen. Beveiligingslandschappen en compliancevereisten zijn voortdurend aan verandering onderhevig. Met big data kunt u patronen in data aangeven die wijzen op fraude, en grote hoeveelheden informatie samenvoegen om rapportage over regelgeving sneller te maken.

5. Machine learning
Machine learning is tegenwoordig een onderwerp van veel discussie. En data – met name big data – is een van de redenen waarom. We kunnen nu machines iets aanleren in plaats van ze te programmeren. De beschikbaarheid van big data maakt het mogelijk machine learning-modellen te trainen.

6. Operationele efficiëntie
Operationele efficiëntie haalt misschien niet altijd het nieuws, maar het is het gebied waarop big data de meeste impact heeft. Met big data kunt u de productie, feedback en retourzendingen van klanten en andere factoren analyseren en beoordelen om uitval te verminderen en op toekomstige vragen te anticiperen. Big data kan ook worden gebruikt om de besluitvorming te verbeteren en in overeenstemming met de huidige vraag van de markt te brengen.

7. Innovatie stimuleren
Big data kan u helpen bij innovatie door de onderlinge afhankelijkheden tussen mensen, organisaties, entiteiten en processen te bestuderen en vervolgens nieuwe manieren te bepalen om die inzichten te gebruiken. Gebruik data-inzichten om beslissingen over financiële en planningsoverwegingen te verbeteren. Onderzoek trends en wat klanten willen als u nieuwe producten en diensten wilt gaan leveren. Implementeer een dynamisch prijsbeleid. Er zijn oneindig veel mogelijkheden.

Uitdagingen door big data

Hoewel big data veelbelovend is, zijn er ook uitdagingen.

Ten eerste is big data ... groot. Hoewel er nieuwe technologieën zijn ontwikkeld voor het opslaan van data, verdubbelen de datavolumes ongeveer elke twee jaar in omvang. Organisaties hebben nog steeds moeite om gelijke tred te houden met hun data en om manieren te vinden om die data effectief op te slaan.

Maar het is niet voldoende om alleen de data op te slaan. Data moet op een waardevolle manier worden gebruikt en dat hangt af van het beheer van die data. Bij het opschonen van data of bij data die relevant is voor de klant en die zodanig wordt georganiseerd dat die data op een zinvolle manier kan worden geanalyseerd, komt veel werk kijken. Datawetenschappers besteden 50 tot 80 procent van hun tijd aan het beheren en voorbereiden van data voordat deze daadwerkelijk kan worden gebruikt.

Voorts verandert de big data-technologie in hoog tempo. Enkele jaren geleden was Apache Hadoop de populaire technologie voor het verwerken van big data. Totdat Apache Spark in 2014 werd geïntroduceerd. Tegenwoordig lijkt een combinatie van de twee frameworks de beste aanpak. Het bijhouden van de big data-technologie is een voortdurende uitdaging.

Meer bronnen met big data ontdekken:

Hoe big data werkt

Met big data krijgt u nieuwe inzichten die nieuwe kansen en bedrijfsmodellen openen. Aan de slag gaan omvat drie belangrijke activiteiten:

1. Integreren
Big data brengt data uit een groot aantal ongelijksoortige bronnen en applicaties samen. Traditionele mechanismen voor data-integratie, zoals extraheren, transformeren en laden (ETL, extract, transform, load), zijn over het algemeen hier niet geschikt voor. Er zijn nieuwe strategieën en technologieën nodig om big data-sets op terabytes of zelfs petabytes te analyseren.

Tijdens de integratie moet u de data binnenhalen, verwerken en ervoor zorgen dat ze zijn opgemaakt en beschikbaar zijn in een vorm waarmee uw bedrijfsanalisten aan de slag kunnen.

2. Beheren
Voor big data is opslag nodig. Uw opslagoplossing kan zich in de cloud en/of op een locatie bevinden. U kunt uw data in elke gewenste vorm opslaan en uw gewenste verwerkingsvereisten en benodigde verwerkingsengines op aanvraag naar die datasets overbrengen. Veel mensen kiezen hun opslagoplossing op basis van waar hun data zich op dat moment bevindt. De cloud wint gaandeweg aan populariteit omdat het uw huidige compute-vereisten ondersteunt en u in staat stelt om zo nodig bronnen op te starten.

3. Analyseren
Uw investering in big data betaalt zichzelf terug wanneer u uw data analyseert en ernaar handelt. Krijg alles helder met een visuele analyse van uw gevarieerde datasets. Verken de data verder om nieuwe ontdekkingen te doen. Deel uw bevindingen met anderen. Bouw datamodellen met machine learning en kunstmatige intelligentie. Zet uw data aan het werk.

Best practices voor big data

Om u bij uw big data-traject te ondersteunen, hebben wij enkele belangrijke best practices samengesteld die u in gedachten zou kunnen houden. Hieronder staan onze richtlijnen voor het creëren van een succesvolle basis voor uw big data.

1. Big data op één lijn brengen met specifieke bedrijfsdoelen
Met uitgebreidere datasets kunt u nieuwe ontdekkingen doen. Daartoe is het belangrijk om nieuwe investeringen in kennis en vaardigheden, organisatie of infrastructuur te baseren op een sterke bedrijfsgestuurde context om lopende projectinvesteringen en financiering te garanderen. Om te kunnen bepalen of u op de goede weg bent, moet u zich afvragen op welke manier big data uw belangrijkste zakelijke prioriteiten en IT-prioriteiten ondersteunt en mogelijk maakt. Voorbeelden zijn onder meer inzicht in het filteren van weblogboeken om e-commerce-gedrag te begrijpen, het distilleren van sentimenten uit sociale media en interacties met klantenondersteuning, en inzicht in statistische correlatiemethoden en hun belang voor data van klanten, producten, fabricage en engineering.

2. Het tekort aan vaardigheden vereenvoudigen met standaarden en governance
Een van de grootste hindernissen om voordeel uit uw investering in big data te halen, is het gebrek aan vaardigheden. U kunt dit risico verkleinen door ervoor te zorgen dat big data-technologieën, overwegingen en beslissingen worden toegevoegd aan uw IT-governanceprogramma. Door uw aanpak te standaardiseren, kunt u de kosten beheersen en middelen inzetten. Organisaties die big data-oplossingen en -strategieën implementeren, moeten hun vaardigheidseisen vroeg en regelmatig beoordelen en moeten proactief mogelijke tekortkomingen op het gebied van vaardigheden aangeven. Deze kunnen worden aangepakt door bestaande krachten te trainen/bij te scholen, nieuwe krachten in te huren en adviesbureaus in te zetten.

3. Kennisoverdracht optimaliseren met een center of excellence
Het toepassen van een center of excellence-aanpak is effectief voor het delen van kennis, het uitoefenen van toezicht en het beheren van projectcommunicatie. Of big data nu een nieuwe of groeiende investering is, de werkelijk en bijkomende kosten kunnen door de hele onderneming worden gedragen. Door gebruik te maken van deze aanpak, kunnen de mogelijkheden van big data en de algehele looptijd van de informatiearchitectuur op een meer gestructureerde en systematische manier worden vergroot.

4. De beste beloning is het op één lijn brengen van ongestructureerde met gestructureerde gegevens
Het is zeker waardevol om big data alleen te analyseren. Maar u kunt zelfs nog grotere zakelijke inzichten krijgen door big data met lage dichtheid te verbinden met en te integreren in de gestructureerde data die u momenteel al gebruikt.

Of u nu big data van klanten, producten, apparatuur of de omgeving vastlegt, het doel is om meer relevante datapunten aan uw core master en analytische samenvattingen toe te voegen, wat tot betere conclusies leidt. Er is bijvoorbeeld een verschil in het onderscheid maken tussen alle klantsentimenten en het klantsentiment van alleen uw beste klanten. Daarom zien velen big data als een integrale aanvulling op hun bestaande business intelligence-mogelijkheden, datawarehousing-platform en informatiearchitectuur.

Houd er rekening mee dat de analytische processen en modellen van big data zowel bij mensen als machines kunnen worden gebruikt. De analytische mogelijkheden van big data omvatten statistieken, ruimtelijke analyses, semantiek, interactieve ontdekkingen en visualisaties. Met behulp van analytische modellen kunt u verschillende soorten en bronnen van data met elkaar in verband brengen om associaties en zinvolle ontdekkingen te doen.

5. Plan uw ontdekkingslab op prestaties
De betekenis van uw gegevens ontdekken is niet altijd eenvoudig. Soms weten we zelf niets eens waarnaar we op zoek zijn. Dat is te verwachten. Management en IT moeten dit "gebrek aan richting" of "gebrek aan duidelijke vereisten" ondersteunen.

Tegelijkertijd is het belangrijk dat analisten en datawetenschappers nauw met het bedrijf samenwerken om inzicht te krijgen in de belangrijkste hiaten in de bedrijfskennis en zakelijke vereisten. Om de interactieve verkenning van data en het experimenteren met statistische algoritmen mogelijk te maken, hebt u krachtige werkgebieden nodig. Zorg ervoor dat sandbox-omgevingen de ondersteuning krijgen die ze nodig hebben—en goed worden bestuurd.

6. Afstemmen op het bedrijfsmodel in de cloud
Voor big data-processen en de gebruikers ervan is toegang tot een uitgebreid scala aan bronnen essentieel, zowel voor iteratieve experimenten als voor het uitvoeren van productietaken. Een big data-oplossing omvat alle datagebieden, inclusief transacties, masterdata, referentiedata en samengevatte data. Analytische sandboxes moeten op aanvraag worden gemaakt. Resource Management is van cruciaal belang om de controle over de volledige datastroom te garanderen, inclusief voor- en nabewerking, integratie, samenvattingen in de database en analytische modellering. Een goed geplande levering van privéclouds en openbare clouds en beveiligingsstrategieën speelt een integrale rol bij het ondersteunen van deze veranderende vereisten.

Meer informatie over big data bij Oracle

• Probeer een gratis workshop over big data
• Infographic: Hoe bouw je effectieve data lakes?