What Is Big Data?

Definizioni di big data

Cosa sono esattamente i big data?

Con big data si intendono i dati che contengono una maggiore varietà e che arrivano in volumi crescenti e con più velocità. Questo concetto è anche noto come le tre "V".

In parole povere, i big data sono set di dati più grandi e complessi, provenienti soprattutto da nuove origini dati. Questi set di dati sono così voluminosi che il software di elaborazione dati tradizionale non è in grado di gestirli. Ma questi enormi volumi di dati possono essere utilizzati per affrontare problemi aziendali che non avresti potuto affrontare prima.

Le tre "V" dei big data

• Volume
  La quantità di dati è importante. Con i big data, dovrai elaborare volumi elevati di dati non strutturati a bassa densità. Può trattarsi di dati di valore sconosciuto, come feed di dati di X (prima chiamato Twitter), clickstream su una pagina Web o un'app mobile o apparecchiature abilitate per sensori. Per alcune organizzazioni, potrebbero essere decine di terabyte di dati. Per altre, potrebbero essere centinaia di petabyte.
• Velocità
  La velocità è la velocità con cui i dati vengono ricevuti e (forse) su cui si agisce. Normalmente, la velocità più elevata dei dati fluisce direttamente nella memoria invece di essere scritta sul disco. Alcuni prodotti intelligenti abilitati per Internet funzionano in tempo reale e richiedono valutazioni e azioni in tempo reale.
• Varietà
  La varietà si riferisce ai molti tipi di dati disponibili. I tipi di dati tradizionali erano strutturati e si adattavano perfettamente a un database relazionale. Con l'avvento dei big data, i dati arrivano come nuovi tipi di dati non strutturati. I tipi di dati non strutturati e semistrutturati, come testo, audio e video, richiedono un'ulteriore elaborazione preliminare per ricavare significato e supportare i metadati.

Il valore (e la verità) dei big data

Negli ultimi anni sono emerse altre due "V": valore e veracità. I dati hanno un valore intrinseco. Ma sono inutili fino a quando il valore non viene scoperto. Altrettanto importante: quanto sono "veri" i tuoi dati? E quanto ti puoi affidare a loro?

Oggi, i big data sono diventati fondamentali. Pensa ad alcune delle più grandi aziende tecnologiche del mondo. Gran parte del valore offerto deriva dai loro dati, che sono costantemente analizzati per produrre più efficienza e sviluppare nuovi prodotti.

I recenti progressi tecnologici hanno ridotto esponenzialmente il costo dell'archiviazione e dell'elaborazione dei dati, rendendo più facile e meno costoso archiviare più dati rispetto a un tempo. Con un volume maggiore di big data diventato ora più economico e più accessibile, puoi prendere decisioni aziendali più accurate e precise.

Trovare valore nei big data non significa solo analizzarli (che rappresenta un altro vantaggio). Si tratta di un intero processo di scoperta che richiede analisti, utenti finali e dirigenti che pongono le domande giuste, riconoscono i modelli, formulano ipotesi informate e prevedono il comportamento.

Ma come siamo arrivati fin qui?

La storia dei big data

Sebbene il concetto stesso di big data sia relativamente nuovo, le origini di grandi set di dati risalgono agli anni '60 e '70 quando il mondo dei dati era appena agli inizi con i primi data center e lo sviluppo del database relazionale.

Intorno al 2005, le persone hanno iniziato a rendersi conto della quantità di dati generati dagli utenti tramite Facebook, YouTube e altri servizi online. Hadoop (un framework open source creato appositamente per archiviare e analizzare i set di big data) è stato sviluppato nello stesso anno. Anche NoSQL iniziò a guadagnare popolarità durante questo periodo.

Lo sviluppo di framework open-source, come Hadoop (e più recentemente Spark) è stato essenziale per la crescita dei big data perché rendono i big data più facili da lavorare e più economici da archiviare. Negli anni successivi, il volume dei big data è salito alle stelle. Gli utenti stanno ancora generando enormi quantità di dati ma non sono solo gli umani a farlo.

Con l'avvento dell'Internet of Things (IoT), più oggetti e dispositivi sono connessi a Internet, raccogliendo dati sui modelli di utilizzo dei clienti e sulle prestazioni del prodotto. L'ascesa del machine learning ha prodotto ancora più dati.

Sebbene i big data siano arrivati lontano, la loro utilità è solo all'inizio. Il cloud computing ha ampliato ulteriormente le possibilità dei big data. Il cloud offre una scalabilità davvero elastica, in cui gli sviluppatori possono semplicemente creare cluster ad hoc per testare un sottoinsieme di dati. E i database grafici stanno diventando sempre più importanti, grazie alla loro capacità di visualizzare enormi quantità di dati in un modo che rende gli analytics rapidi e completi.

Vantaggi dei big data

• I big data ti consentono di ottenere risposte più complete perché hai più informazioni.
• Risposte più complete significano più fiducia nei dati, che a sua volta suppone un approccio completamente diverso per affrontare i problemi.

Casi d'uso dei big data

I big data possono aiutarti ad affrontare una serie di attività aziendali, dalla customer experience agli analytics. Ecco alcune di queste attività.

1. Sviluppo di prodotti
Aziende come Netflix e Procter & Gamble usano i Big Data per anticipare la domanda dei clienti. Costruiscono modelli predittivi per nuovi prodotti e servizi classificando attributi chiave di prodotti o servizi passati e attuali e modellando la relazione tra tali attributi e il successo commerciale delle offerte. Inoltre, P&G utilizza i dati e gli analytics dei focus group, dei social media, dei test di mercato e dei primi rollout nei negozi per pianificare, produrre e lanciare nuovi prodotti.

2. Manutenzione predittiva
I fattori che possono prevedere guasti meccanici possono essere profondamente nascosti nei dati strutturati, come l'anno, la marca e il modello dell'attrezzatura, nonché nei dati non strutturati che coprono milioni di voci di registro, dati dei sensori, messaggi di errore e temperatura del motore. Analizzando queste indicazioni di potenziali problemi prima che si verifichino, le organizzazioni possono implementare la manutenzione in modo più efficiente in termini di costi e massimizzare i tempi di attività di parti e apparecchiature.

3. Customer Experience
La corsa per i clienti è iniziata. Una visione più chiara della customer experience è ora più possibile che mai. I big data ti consentono di raccogliere dati da social media, visite web, registri delle chiamate e altre fonti per migliorare l'esperienza di interazione e massimizzare il valore fornito. Inizia a fornire offerte personalizzate, riduci il tasso di abbandono dei clienti e gestisci i problemi in modo proattivo.

4. Frode e conformità
Quando si parla di sicurezza, non si fa riferimento solo ad alcuni hacker isolati: si affrontano intere squadre di esperti. Gli scenari di sicurezza e i requisiti di compliance sono in continua evoluzione. I big data ti aiutano a identificare pattern nei dati che indicano frodi e ad aggregare grandi volumi di informazioni per rendere i rapporti normativi molto più veloci.

5. Machine learning
Il Machine learning è un argomento molto dibattuto in questo momento. E i dati, in particolare i big data, sono uno dei motivi per cui ciò accade. Ora siamo in grado di insegnare alle macchine invece di programmarle. La disponibilità di big data per addestrare modelli di machine learning lo rende possibile.

6. Efficienza operativa
L'efficienza operativa potrebbe non essere sempre un argomento innovativo, ma è un'area in cui i big data stanno avendo il maggior impatto. Con i big data, puoi analizzare e valutare la produzione, il feedback e i resi dei clienti e altri fattori per ridurre le interruzioni e anticipare le richieste future. I big data possono essere utilizzati anche per migliorare il processo decisionale in linea con l'attuale domanda di mercato.

7. Promuovere l'innovazione
I Big Data possono aiutarti a innovare studiando le interdipendenze tra esseri umani, istituzioni, entità e processi e quindi determinando nuovi modi per utilizzare tali insight. Usa gli insight sui dati per migliorare le decisioni su considerazioni finanziarie e di pianificazione. Esamina le tendenze e cosa vogliono i clienti per fornire nuovi prodotti e servizi. Implementa prezzi dinamici. Ci sono infinite possibilità.

Sfide dei big data

Sebbene i big data offrano molte promesse, non sono privi di sfide.

Innanzitutto, i big data sono... grandi. Sebbene siano state sviluppate nuove tecnologie per l'archiviazione dei dati, i volumi di dati raddoppiano le dimensioni circa ogni due anni. Le organizzazioni hanno difficoltà nel tenere il passo con i propri dati e trovare modi per archiviarli in modo efficace.

Ma non è sufficiente archiviare solo i dati. I dati devono essere utilizzati per essere preziosi e questo dipende dalla cura. Dati puliti, o dati rilevanti per il cliente e organizzati in modo da consentire un'analisi significativa, richiedono molto lavoro. I data scientist dedicano dal 50 all'80% del loro tempo a curare e preparare i dati prima che possano essere effettivamente utilizzati.

Infine, la tecnologia dei big data sta cambiando rapidamente. Alcuni anni fa, Apache Hadoop era la tecnologia più popolare utilizzata per gestire i big data. Poi Apache Spark è stato introdotto nel 2014. Oggi, una combinazione dei due framework sembra essere l'approccio migliore. Stare al passo con la tecnologia dei big data è una sfida continua.

Scopri altre risorse sui big data:

Come funzionano i big data

I big data offrono nuovi insight che aprono nuove opportunità e modelli di business. Per iniziare sono necessarie tre azioni chiave:

1. Integrare
I big data riuniscono i dati provenienti da molte origini e applicazioni disparate. I tradizionali meccanismi di integrazione dei dati, come l'estrazione, la trasformazione e il caricamento (ETL) in genere non sono all'altezza del compito. Servono nuove strategie e tecnologie per analizzare i set di big data su scala terabyte o addirittura petabyte.

Durante l'integrazione, devi inserire i dati, elaborarli e assicurarti che siano formattati e disponibili in una forma con cui i tuoi analisti aziendali possano lavorare.

2. Gestire
I big data richiedono spazio di archiviazione. La tua soluzione di archiviazione può essere in cloud, on premise o entrambi. Puoi archiviare i dati in qualsiasi forma desideri e portare i requisiti di elaborazione desiderati e i motori di processo necessari a tali set di dati su richiesta. Molte persone scelgono la loro soluzione di archiviazione in base a dove risiedono attualmente i loro dati. Il cloud sta gradualmente guadagnando popolarità perché supporta i requisiti di calcolo correnti e consente di aumentare le risorse secondo necessità.

3. Analizzare
Il tuo investimento nei big data viene ripagato in base ai dati che analizzi e gestisci. Ottieni nuova chiarezza con un'analisi visiva dei tuoi vari set di dati. Esplora ulteriormente i dati per fare nuove scoperte. Condividi le tue scoperte con gli altri. Crea modelli di dati con il machine learning e l'intelligenza artificiale. Metti i tuoi dati al lavoro.

Best practice per i big data

Per aiutarti nel tuo viaggio con i big data, abbiamo messo insieme alcune best practice chiave da tenere a mente. Ecco le nostre linee guida per costruire una base di big data di successo.

1. Allinea i Big Data a obiettivi aziendali specifici
Set di dati più estesi ti consentono di fare nuove scoperte. A tal fine, è importante basare nuovi investimenti in competenze, organizzazione o infrastruttura con un forte contesto orientato al business per garantire investimenti e finanziamenti continui. Per determinare se sei sulla strada giusta, chiediti in che modo i big data supportano e abilitano le tue principali priorità aziendali e IT. Gli esempi includono la comprensione di come filtrare i registri Web per comprendere il comportamento dell'e-commerce, derivare il sentiment dai social media e dalle interazioni con l'assistenza clienti e comprendere i metodi di correlazione statistica e la loro rilevanza per i dati di clienti, prodotti, produzione e ingegneria.

2. Riduci la carenza di competenze con standard e governance
Uno dei maggiori ostacoli per trarre vantaggio dal tuo investimento nei Big Data è la carenza di competenze. Puoi mitigare questo rischio assicurandoti che le tecnologie, le considerazioni e le decisioni sui big data vengano aggiunte al tuo programma di governance IT. La standardizzazione del tuo approccio ti consentirà di gestire i costi e sfruttare le risorse. Le organizzazioni che implementano soluzioni e strategie sui big data dovrebbero valutare tempestivamente e spesso i propri requisiti in materia di competenze e identificare in modo proattivo eventuali lacune. Queste possono essere affrontate addestrando le risorse esistenti, assumendo nuove risorse e facendo leva sulle società di consulenza.

3. Ottimizza il trasferimento delle conoscenze con un centro di eccellenza
Utilizza un approccio del centro di eccellenza per condividere la conoscenza, controllare la supervisione e gestire le comunicazioni di progetto. Indipendentemente dal fatto che i big data siano un investimento nuovo o in espansione, i costi soft e hard possono essere condivisi all'interno dell'azienda. Sfruttare questo approccio può aiutare ad aumentare le capacità dei big data e la maturità complessiva dell'architettura dell'informazione in modo più strutturato e sistematico.

4. I principali vantaggi sono l'allineamento di dati non strutturati a dati strutturati
È sicuramente utile analizzare i Big Data da soli. Ma puoi ottenere insight aziendali ancora maggiori collegando e integrando i big data a bassa densità con i dati strutturati che stai già utilizzando.

Che tu stia acquisendo clienti, prodotti, attrezzature o big data ambientali, l'obiettivo è aggiungere punti dati più rilevanti al tuo master principale e ai riepiloghi analitici, portando a conclusioni migliori. Ad esempio, c'è una differenza nel distinguere tutto il sentiment dei clienti da quello dei migliori clienti. Questo è il motivo per cui molti vedono i big data come un'estensione integrale delle loro capacità di business intelligence, piattaforma di data warehousing e architettura delle informazioni esistenti.

Tieni presente che i processi e i modelli analitici dei big data possono essere basati sia sull'uomo che sulla macchina. Le capacità analitiche dei big data includono statistiche, analisi spaziale, semantica, scoperta interattiva e visualizzazione. Utilizzando modelli analitici, puoi correlare diversi tipi e fonti di dati per creare associazioni e scoperte significative.

5. Pianifica il tuo laboratorio di scoperta per le performance
Scoprire il significato nei tuoi dati non è sempre semplice. A volte non sappiamo nemmeno cosa stiamo cercando. È normale. La direzione e l'IT devono supportare questa "mancanza di direzione" o "mancanza di requisiti chiari".

Allo stesso tempo, è importante che analisti e data scientist lavorino a stretto contatto con l'azienda per comprendere le lacune delle conoscenze e i requisiti aziendali essenziali. Per consentire l'esplorazione interattiva dei dati e la sperimentazione di algoritmi statistici, sono necessarie aree di lavoro ad alte prestazioni. Assicurati che gli ambienti sandbox abbiano il supporto di cui hanno bisogno e che siano adeguatamente governati.

6. Allineamento al modello operativo del cloud
I processi e gli utenti dei Big Data richiedono l'accesso a un'ampia gamma di risorse sia per la sperimentazione iterativa che per l'esecuzione di lavori di produzione. Una soluzione big data include tutti i tipi di dati, comprese le transazioni, i dati master, i dati di riferimento e i dati riepilogati. Le sandbox analitiche dovrebbero essere create su richiesta. La gestione delle risorse è fondamentale per garantire il controllo dell'intero flusso di dati, inclusi pre e post-elaborazione, integrazione, riepilogo nel database e modellazione analitica. Una strategia di provisioning e sicurezza del cloud pubblico e privato ben pianificata gioca un ruolo fondamentale nel supportare questi requisiti in evoluzione.

Scopri di più sui big data di Oracle

• Partecipa a un workshop sui big data gratuito
• Infografica: Come costruire data lake efficaci