What Is Big Data?

Big Data: Definition

Was genau versteht man unter Big Data?

Unter Big Data versteht man Daten, die in großer Vielfalt, in großen Mengen und mit hoher Geschwindigkeit anfallen. Dies ist auch als die drei V bekannt (Variety, Volume, Velocity).

Einfach gesagt: Mit Big Data bezeichnet man größere und komplexere Datensätze, vor allem von neuen Datenquellen. Diese Datensätze sind so umfangreich, dass herkömmliche Datenverarbeitungssoftware sie einfach nicht bewältigen kann. Aber mit diesen massiven Datenvolumen können Sie geschäftliche Probleme angehen, die Sie bislang nicht lösen konnten.

Die drei V von Big Data

• Volumen
  Die Menge an Daten ist wichtig. Bei Big Data müssen Sie große Mengen an unstrukturierten Daten mit geringer Dichte verarbeiten. Dabei kann es sich um Daten von unbekanntem Wert handeln, wie z. B. Datenfeeds von X (ehemals Twitter), Clickstreams auf einer Webseite oder einer mobilen App oder sensorgestützte Geräte. Für einige Unternehmen können das etliche Terabytes an Daten sein. Für andere Hunderte von Petabytes.
• Geschwindigkeit
  Geschwindigkeit ist die hohe Rate, mit der Daten empfangen und (möglicherweise) verarbeitet werden. Im Normalfall fließt die höchste Geschwindigkeit von Daten direkt in den Speicher und wird nicht auf eine Festplatte geschrieben. Einige internetfähige, intelligente Produkte arbeiten in Echtzeit oder beinahe in Echtzeit. Für sie sind Auswertungen und Aktionen in Echtzeit erforderlich.
• Vielfalt
  Vielfalt bezieht sich auf die vielen Arten von Daten, die verfügbar sind. Traditionelle Datentypen waren strukturiert und eigneten sich bestens für relationale Datenbanken. Durch die Zunahme von Big Data gibt es nun neue, unstrukturierte Datentypen. Unstrukturierte und semistrukturierte Datentypen wie Text, Audio und Video erfordern zusätzliche Vorabverarbeitung, um die Bedeutung und die unterstützenden Metadaten zu gewinnen.

Der Wert von Big Data – und die Wahrheit

In den letzten Jahren sind zwei weitere Vs entstanden: Value (Wert) und Veracity (Richtigkeit). Daten haben einen intrinsischen Wert. Dieser ist aber erst dann nützlich, wenn er entdeckt wird. Ebenso wichtig: Wie wahrheitsgetreu sind Ihre Daten, und wie sehr können Sie sich auf sie verlassen?

Big Data sind mittlerweile eine äußerst wichtige Ressource. Man denke nur an die weltweit größten Technologieunternehmen. Ein großer Teil ihres Wertangebots stammt von ihren Daten, die sie kontinuierlich analysieren, um eine höhere Effizienz zu erzielen und neue Produkte zu entwickeln.

Jüngste technologische Errungenschaften haben die Kosten von Datenspeichern und Computing drastisch gesenkt, wodurch die Aufbewahrung von Daten einfacher und kostengünstiger denn je ist. Da größere Mengen an Big Data jetzt günstiger und einfacher zugänglich sind, können Sie präzisere geschäftliche Entscheidungen treffen.

Wert in Big Data finden – dabei geht es nicht nur um die Analyse (die für sich auch schon ein Vorteil ist). Vielmehr handelt es sich um einen kompletten Entdeckungsprozess, der einsichtige Analysten, Geschäftsbenutzer und Führungskräfte erfordert, die die richtigen Fragen stellen, Muster erkennen, begründete Vermutungen anstellen und Verhaltensweisen prognostizieren.

Aber wie sind wir an diesen Punkt gelangt?

Die Geschichte von Big Data

Das Konzept von Big Data selbst ist zwar relativ neu, doch die Ursprünge von großen Datensätzen gehen zurück in die 1960er und 1970er Jahre, als man gerade anfing, sich mit Daten zu beschäftigen, die ersten Data Center einrichtete und die relationale Datenbank entwickelte.

Etwa im Jahr 2005 erkannte man langsam, wie viele Daten Benutzer bei Facebook, YouTube und anderen Online-Diensten generierten. Im selben Jahr wurde Hadoop (ein Open-Source-Framework, das speziell für die Speicherung und Analyse großer Datenmengen entwickelt wurde) entwickelt. Auch NoSQL gewann in dieser Zeit an Beliebtheit.

Die Entwicklung von Open-Source-Frameworks wie Hadoop (und in jüngerer Zeit Spark) war für das Wachstum von Big Data von entscheidender Bedeutung, da sie die Arbeit mit Big Data erleichtern und die Speicherung kostengünstiger machen. Seitdem ist das Volumen von Big Data massiv gewachsen. Benutzer generieren nach wie vor Unmengen von Daten – aber es sind nicht nur Menschen, die das tun.

Durch das Internet of Things sind mehr Objekte und Geräte mit dem Internet verbunden und sammeln Daten zu Nutzungsmustern der Kunden und zur Produktleistung. Die Einführung des maschinellen Lernens (ML) hat zu noch mehr Daten geführt.

Die Entwicklung von Big Data ist schon weit vorangeschritten; die Nutzung von Big Data steht dagegen noch ganz am Anfang. Die Möglichkeiten von Big Data wurden durch Cloud-Computing noch erweitert. Die Cloud bietet flexible Skalierbarkeit und ermöglicht es Entwicklern, unkompliziert Ad-hoc-Cluster einzurichten, um eine Untergruppe der Daten zu testen. Und Diagrammdatenbanken werden ebenfalls immer wichtiger, da sie riesige Datenmengen auf eine Weise anzeigen können, sodass Analysen schnell und umfassend durchgeführt werden können.

Vorteile von Big Data

• Mit Big Data können Sie umfassendere Antworten finden, da mehr Informationen und Daten vorliegen.
• Umfassendere Antworten sorgen für größeres Vertrauen in die Daten – was zu einem völlig neuen Ansatz zur Problemlösung führt.

Anwendungsfälle für Big Data

Big Data kann Ihnen bei einer Reihe von Geschäftsaktivitäten helfen, darunter Customer Experience und Kundenanalyse. Hier sind nur wenige Anwendungsfälle aufgeführt.

1. Produktentwicklungsunternehmen
wie Netflix und Procter & Gamble nutzen Big Data, um die Kundennachfrage vorherzusehen. Sie erstellen prädiktive Modelle für neue Produkte und Dienste, indem sie zentrale Attribute alter und aktueller Produkte und Dienste klassifizieren und die Beziehung zwischen diesen Attributen und dem kommerziellen Erfolg dieser Angebote modellieren. Darüber hinaus nutzt P&G zur Planung, Produktion und Markteinführung von neuen Produkten die Daten und Analysen von Fokusgruppen, Social Media, Testmärkten und frühzeitigen Ladeneinführungen.

2. Vorausschauende Instandhaltung
Prädiktive Wartungsfaktoren, die mechanische Fehler prognostizieren können, sind möglicherweise tief in strukturierten Daten vergraben, z. B. das Herstellungsjahr, die Marke und das Modell eines Geräts. Sie finden sich aber auch in unstrukturierten Daten, die Millionen von Protokolleinträgen, Sensordaten, Fehlermeldungen und Motortemperaturen enthalten. Wenn Unternehmen diese Hinweise auf mögliche Fehler analysieren, bevor Probleme tatsächlich auftreten, profitieren sie von einer kostengünstigeren Wartung und einer höheren Verfügbarkeit von Teilen und Equipment.

3. Customer Experience
Das Rennen um die Kunden hat begonnen. Jetzt ist es so leicht wie noch nie, einen aussagekräftigen Überblick über das Kundenerlebnis zu erhalten. Mit Big Data können Sie Daten aus Sozialen Medien, Webseiten-Aufrufen, Anrufprotokollen und anderen Datenquellen erfassen, um das Erlebnis bei Kundeninteraktionen zu optimieren und den angebotenen Wert zu steigern. Stellen Sie personalisierte Angebote bereit, minimieren Sie die Abwanderung von Kunden und bearbeiten Sie Probleme proaktiv.

4. Betrug und Compliance
Wenn es um Sicherheit geht, haben Sie es nicht nur mit ein paar böswilligen Hackern zu tun – Sie stehen ganzen Expertenteams gegenüber. Die Sicherheitslandschaft und die Konformitätsanforderungen entwickeln sich beständig weiter. Mit Big Data können Sie Muster in Daten erkennen, die auf Betrug hindeuten, und große Mengen an Daten erfassen, um das regulatorische Reporting zu beschleunigen.

5. Maschinelles Lernen
Maschinelles Lernen ist derzeit ein heißes Thema. Das dies so ist, ist u. a. auf Daten zurückzuführen – besonders auf Big Data. Wir sind mittlerweile in der Lage, Maschinen etwas beizubringen, anstatt sie zu programmieren. Möglich ist dies, weil Big Data für die Schulung von Modellen für maschinelles Lernen verfügbar ist.

6. Betriebliche Effizienz –
Über die betriebliche Effizienz wird vielleicht nicht viel gesprochen, dennoch stellt sie einen Bereich dar, in dem Big Data den größten Einfluss hat. Mit Big Data können Sie die Produktion, Kundenfeedbacks und Rückgaben und weitere Faktoren analysieren und bewerten, um Ausfälle zu minimieren und die zukünftige Nachfrage zu prognostizieren. Außerdem ist mit Big Data eine bessere Entscheidungsfindung möglich, die an die aktuelle Marktnachfrage angepasst ist.

7. Innovationen vorantreiben –
Mit Big Data können Sie Innovationen fördern, indem Sie wechselseitige Abhängigkeiten zwischen Menschen, Einrichtungen, Unternehmen und Prozessen untersuchen und anschließend neue Möglichkeiten für die Nutzung dieser Erkenntnisse ermitteln. Nutzen Sie Einblicke aus Daten, um Finanz- und Planungsentscheidungen zu optimieren. Untersuchen Sie Trends und die Wünsche der Kunden, um neue Produkte und Dienste bereitzustellen. Führen Sie die dynamische Preisgestaltung ein. Es gibt zahllose Möglichkeiten.

Herausforderungen von Big Data

Big Data bringt neben zahlreichen Vorteilen auch Herausforderungen mit sich.

Zunächst sind Big Data ... groß. Zwar wurden neue Technologien für die Datenspeicherung entwickelt, aber die Datenmengen verdoppeln sich etwa alle zwei Jahre. Unternehmen haben noch häufig Probleme, mit ihren Daten Schritt zu halten und Möglichkeiten für ihre effektive Speicherung zu finden.

Doch es reicht nicht aus, die Daten nur zu speichern. Daten müssen genutzt werden, um wertvoll zu sein, und dafür müssen sie kuratiert werden. Bereinigte Daten oder Daten, die für den Kunden relevant und so organisiert sind, dass eine aussagekräftige Analyse möglich ist, setzen viel Arbeit voraus. Datenexperten verbringen 50 bis 80 Prozent ihrer Zeit damit, Daten zu kuratieren und vorzubereiten, bevor sie tatsächlich verwendet werden können.

Zu guter Letzt verändert sich Big-Data-Technologie rasant. Vor ein paar Jahren war Apache Hadoop die gängige Technologie für die Verarbeitung von großen Datenmengen. Im Jahr 2014 wurde dann Apache Spark eingeführt. Heute verspricht eine Kombination dieser beiden Frameworks, der beste Ansatz zu sein. Mit Big-Data-Technologie Schritt zu halten – das ist eine kontinuierliche Herausforderung.

Entdecken Sie mehr Big-Data-Ressourcen:

Funktionsweise von Big Data

Big Data verschafft Ihnen neue Einblicke, durch die sich neue Geschäftschancen und Geschäftsmodelle eröffnen. Zum Einstieg gehören drei zentrale Aktionen:

1. Integrieren
Bei Big Data werden Daten aus mehreren unterschiedlichen Quellen und Anwendungen zusammengeführt. Traditionelle Mechanismen der Datenintegration wie ETL (Extract, Transform, Load) sind dazu im Allgemeinen nicht in der Lage. Für die Analyse von Big Data in Terabyte- oder gar Petabyte-Größe werden neue Strategien und Technologien benötigt.

Bei der Integration müssen die Daten erfasst und verarbeitet werden. Außerdem muss gewährleistet werden, dass sie formatiert werden und in einer Form vorliegen, die Ihre Geschäftsanalysten nutzen können.

2. Verwalten
Big Data benötigt Speicherplatz. Die Speicherlösung kann in der Cloud, serverbasiert oder in einer Kombination aus beidem gehostet werden. Sie können Ihre Daten in jeder beliebigen Form speichern und Ihre gewünschten Verarbeitungsanforderungen und notwendigen Prozess-Engines bei Bedarf zu diesen Datensätzen bringen. Viele Menschen wählen ihre Speicherlösung danach aus, wo sich ihre Daten derzeit befinden. Die Cloud gewinnt nach und nach an Beliebtheit, da sie Ihre aktuellen Computing-Anforderungen unterstützt und Ihnen die Möglichkeit gibt, bei Bedarf Ihre Ressourcen zu skalieren.

3. Analysieren
Die Investition in Big Data zahlt sich aus, wenn Sie Ihre Daten analysieren und als Grundlage für Entscheidungen und Maßnahmen nutzen. Eine visuelle Analyse der unterschiedlichen Datensätze verschafft Ihnen Klarheit. Untersuchen Sie die Daten noch weiter, um neue Erkenntnisse zu gewinnen. Teilen Sie Ihre Ergebnisse mit anderen. Entwickeln Sie Datenmodelle mit Machine Learning und künstlicher Intelligenz. Lassen Sie Ihre Daten arbeiten.

Best Practices für Big Data

Um Sie beim Einstieg in Big Data zu unterstützen, haben wir einige zentrale Best Practices für Sie zusammengestellt. Hier sind unsere Empfehlungen für den Aufbau einer erfolgreichen Grundlage für Big Data.

1. Big Data auf spezifische Geschäftsziele ausrichten
Umfangreichere Datensätze ermöglichen es Ihnen, neue Entdeckungen zu machen. Daher ist es wichtig, neue Investitionen in Kompetenzen, in das Unternehmen oder in die Infrastruktur mit einem stark geschäftlich orientierten Kontext zu tätigen, um fortlaufende Projektinvestments und -finanzierungen zu gewährleisten. Um festzustellen, ob Sie auf dem richtigen Weg sind, stellen Sie sich die Frage, inwiefern Big Data Ihre wichtigsten Geschäfts- und IT-Prioritäten unterstützt und ermöglicht. Dazu gehören beispielsweise folgende Aspekte: das Filtern von Web-Protokollen, um E-Commerce-Verhaltensmuster zu verstehen, Stimmungsanalysen aus Social Media und Kundensupport-Interaktionen oder das Verständnis statistischer Korrelationsmethoden und ihrer Relevanz für Kunden-, Produkt-, Fertigungs- und Entwicklungsdaten.

2. Behebung des Fachkräftemangels durch Standards und Governance
Eines der größten Hindernisse, um von Ihrer Investition in Big Data zu profitieren, ist der Fachkräftemangel. Um dieses Risiko zu minimieren, stellen Sie sicher, dass Big-Data-Technologien, -Überlegungen und -Entscheidungen zu Ihrem IT-Steuerungs-Programm hinzugefügt werden. Die Standardisierung Ihres Ansatzes ermöglicht Ihnen die Verwaltung der Kosten und die effektive Nutzung Ihrer Ressourcen. Unternehmen, die Big-Data-Lösungen und -Strategien implementieren, sind gut damit beraten, ihre Kompetenzanforderungen frühzeitig und häufig zu bewerten und mögliche Kompetenzlücken proaktiv zu identifizieren. Diese Probleme lassen sich durch die (vielseitige) Schulung von vorhandenen Mitarbeitern, durch die Einstellung neuer Mitarbeiter und die Einbeziehung von Beratungsunternehmen beheben.

3. Optimierung des Wissenstransfers durch ein Kompetenzzentrum
Nutzen Sie den Ansatz eines Kompetenzzentrums, um Wissen zu teilen, die Aufsicht zu kontrollieren und die Projektkommunikation zu verwalten. Gleich, ob es sich bei Big Data um eine neue oder erweiterte Investition handelt – die direkten und indirekten Kosten können auf das gesamte Unternehmen aufgeteilt werden. Mit diesem Ansatz lassen sich die Big-Data-Fähigkeiten und die allgemeine Ausgereiftheit der Informationsarchitektur strukturierter und systematischer optimieren.

4. Der größte Nutzen besteht darin, unstrukturierte mit strukturierten Daten abzugleichen.
Es ist sicherlich sinnvoll, Big Data für sich allein zu analysieren. Noch umfassendere geschäftliche Einblicke erhalten Sie jedoch, wenn Sie Big Data mit geringer Dichte mit den strukturierten Daten verbinden und integrieren, die Sie bereits nutzen.

Gleich, ob Sie Big Data zu Kunden, Produkten, Geräten oder zur Umgebung erfassen: Ziel ist es, ihre zentralen Stamm- und Analysezusammenfassungen durch relevantere Datenpunkte zu ergänzen, was zu besseren Schlussfolgerungen führt. So können Sie beispielsweise zwischen der Stimmung aller Kunden und der Ihrer besten Kunden unterscheiden. Daher sehen viele Unternehmen Big Data als wichtige Erweiterung der vorhandenen Business-Intelligence-Funktionen, Data-Warehousing-Plattform und Informationsarchitektur.

Berücksichtigen Sie dabei, dass die Big-Data-Analyseprozesse und -modelle sowohl auf Menschen als auch auf Maschinen basieren können. Zu den Big-Data-Analysefunktionen gehören Statistiken, räumliche Analysen, Semantik, interaktive Erkennung und Visualisierung. Mit analytischen Modellen können Sie Daten unterschiedlicher Typen und Quellen korrelieren, um Verknüpfungen herzustellen und wichtige Aspekte zu erkennen.

5. Planung Ihres Entdeckungslabors für Leistung
Einen Sinn hinter Ihren Daten zu entdecken, ist nicht immer einfach. Manchmal wissen wir nicht einmal, wonach wir eigentlich suchen. Das ist nicht unerwartet. Management und IT müssen diesen Mangel an Ausrichtung oder Mangel an klaren Anforderungen unterstützen.

Gleichzeitig ist es wichtig, dass Analysten und Datenexperten eng mit dem Unternehmen zusammenarbeiten, um die zentralen Kompetenzlücken und -anforderungen zu verstehen. Um die interaktive Datenerkundung und das Experimentieren mit statistischen Algorithmen zu unterstützen, benötigen Sie hochleistungsfähige Arbeitsbereiche. Stellen Sie sicher, dass Ihre Sandbox-Umgebungen die benötigte Leistung aufweisen – und korrekt verwaltet sind.

6. Anpassung an das Cloud-Betriebsmodell
Big Data-Prozesse und -Nutzer benötigen Zugriff auf eine Vielzahl von Ressourcen, sowohl für iterative Experimente als auch für die Ausführung von Produktionsaufträgen. Eine Big-Data-Lösung umfasst alle Datenbereiche, darunter Transaktionen, Stammdaten, Referenzdaten und zusammengefasste Daten. Analyse-Sandboxes sollten bei Bedarf erstellt werden. Die Ressourcenverwaltung spielt eine wichtige Rolle bei der Steuerung des gesamten Datenflusses, einschließlich der Vor- und Nachverarbeitung, Integration, datenbankinternen Zusammenfassung und analytischen Modellierung. Eine durchdachte Strategie für die Bereitstellung und Sicherheit von Private und Public Clouds leistet einen wesentlichen Beitrag zur Unterstützung dieser sich verändernden Anforderungen.

Mehr über Big Data bei Oracle erfahren

• Probieren Sie einen kostenlosen Big Data-Workshop aus
• Infografik: So erstellen Sie effektive Data Lakes