Ce este Big Data?

Big Data se referă la cantitatea incredibilă de informații structurate și nestructurate generate de oameni și mașinării – o cantitate de mai mulți petabytes în fiecare zi, potrivit PwC. Este vorba despre postările sociale pe care le extragem pentru a afla sentimentele clienților, despre datele senzorilor care arată starea utilajelor, despre tranzacțiile financiare care mișcă banii cu o viteză foarte mare. Este, de asemenea, prea masivă, prea diversă și ne lovește mult prea repede pentru ca instrumentele și practicile de prelucrare a datelor de școală veche să aibă vreo șansă.

Totodată, este mult prea valoroasă pentru a fi lăsată neanalizată. Big Data presupune capacitatea de a extrage informații din această colecție vastă de date pentru a ajuta o organizație să devină mai eficientă, să inoveze mai rapid, să câștige mai mulți bani și, în general, să aibă succes.

Din fericire, progresele înregistrate în tehnologia și instrumentele de analiză și învățare automată fac ca analiza Big Data să fie accesibilă pentru orice companie.

Ce este Big Data? Big Data definit

Big Data se referă la seturi de date extrem de mari și complexe care nu pot fi gestionate sau analizate cu ușurință cu instrumentele tradiționale de prelucrare a datelor, în special cu foile de calcul. Big Data include date structurate, cum ar fi o bază de date de inventar sau o listă de tranzacții financiare; date nestructurate, cum ar fi postări pe social media sau videoclipuri; și seturi de date mixte, cum ar fi cele utilizate pentru instruirea modelelor lingvistice mari pentru AI. Aceste seturi de date pot include orice, de la operele lui Shakespeare la foile de calcul ale bugetului unei companii pentru ultimii 10 ani.

Big Data a devenit din ce în ce mai mare, pe măsură ce recentele descoperiri tehnologice au redus semnificativ costurile de stocare și de calcul, făcând mai ușoară și mai puțin costisitoare stocarea mai multor date decât oricând. Cu acest volum crescut, companiile pot lua decizii de business mai exacte și mai precise cu ajutorul datelor lor. Dar obținerea întregii valori a Big Data nu se rezumă doar la analizarea acestora – care reprezintă un cu totul alt beneficiu. Acesta este un adevărat proces de descoperire, care necesită analiști perspicace, utilizatori business și manageri care pun întrebările corecte, recunosc tipare recurente, fac presupuneri în cunoștință de cauză și anticipă comportamente.

Care sunt cele cinci „V-uri” ale Big Data?

În mod tradițional, am recunoscut datele mari după trei caracteristici: varietate, volum și viteză, cunoscute și sub denumirea de „cele trei V-uri”. Cu toate acestea, în ultimii ani au apărut două V-uri suplimentare: valoarea și veridicitatea.

Aceste completări au sens deoarece datele au devenit capital. Gândiți-vă la unele dintre cele mai mari companii de tehnologie din lume. Multe dintre produsele pe care le oferă se bazează pe datele lor, pe care le analizează constant pentru a crește eficiența și a dezvolta noi inițiative. Succesul depinde de toate cele cinci V-uri.

• Volum. Cantitatea de date contează. Cu Big Data, va trebui să procesați volume mari de date nestructurate, cu densitate redusă. Acestea pot fi date cu valoare necunoscută, cum ar fi fluxurile de date X (fostul Twitter), fluxurile de clicuri de pe o pagină web sau o aplicație mobilă, sau echipamente dotate cu senzori. Pentru unele organizații, aceasta ar putea însemna zeci de terabyți de date. Pentru altele, poate fi vorba despre sute de petabyți.
• Viteză. Viteza este rata la care datele sunt primite și (poate) accesate. În mod normal, cea mai mare viteză a datelor se transmite direct în memorie, prin comparație cu scrierea pe disc. Unele produse inteligente activate prin internet funcționează în timp real sau aproape real și vor necesita evaluare și acțiune în timp real.
• Varietate. Varietatea se referă la numeroasele tipuri de date disponibile. Tipurile de date tradiționale au fost structurate și se încadrează perfect într-o bază de date relațională. Odată cu creșterea Big Data, datele vin sub formă de noi tipuri de date nestructurate. Tipurile de date nestructurate și semistructurate, cum ar fi datele de tip text, audio și video, necesită o preprocesare suplimentară pentru extragerea semnificației și susținerea metadatelor.
• Veridicitate. Cât de veridice sunt datele dvs. și cât de mult vă puteți baza pe ele? Ideea de veridicitate a datelor este legată de alte concepte funcționale, cum ar fi calitatea și integritatea datelor. În cele din urmă, toate acestea se suprapun și conduc organizația către un depozit de date care oferă date de înaltă calitate, exacte și fiabile pentru a furniza informații și decizii.
• Valoare. Datele au o valoare intrinsecă în business. Datele nu folosesc la nimic dacă nu au valoare. Deoarece Big Data adună atât informații de amploare, cât și de profunzime, undeva în toate aceste informații se află informații care pot aduce beneficii organizației dumneavoastră. Această valoare poate fi internă, cum ar fi procesele operaționale care ar putea fi optimizate, sau externă, cum ar fi sugestiile privind profilul clientului care pot maximiza implicarea.

Evoluția Big Data: trecut, prezent și viitor

Deși conceptul Big Data este relativ nou, necesitatea de a gestiona seturi mari de date datează din anii 1960 și 1970, odată cu primele centre de date și dezvoltarea bazei de date relaționale.

Trecutul. În jurul anului 2005, oamenii au început să-și dea seama cât de multe date generau utilizatorii prin Facebook, YouTube și alte servicii online. Apache Hadoop, un framework open source creat special pentru a stoca și analiza seturi mari de date, a fost dezvoltat în același an. NoSQL a început, de asemenea, să câștige popularitate tot în acest interval de timp.

Prezent. Dezvoltarea framework-urilor open source, cum ar fi Apache Hadoop și, mai recent, Apache Spark, a fost esențială pentru creșterea volumului Big Data, deoarece acestea facilitează prelucrarea și stocarea mai ieftină a Big Data. În anii care au trecut de atunci, volumul Big Data a crescut exponențial. Utilizatorii încă generează cantități uriașe de date - dar nu doar oamenii fac acest lucru.

Odată cu apariția Internetului tuturor lucrurilor (IoT), tot mai multe obiecte și dispozitive sunt conectate la internet, colectând date despre tiparele de utilizare ale clienților și despre performanța produselor. Apariția machine learning a generat și mai multe date.

Viitorul. Deși Big Data a ajuns departe, valoarea sa crește doar pe măsură ce inteligența artificială generativă și utilizarea calculului în cloud se extind în întreprinderi. Sistemul de stocare cloud oferă o scalabilitate cu adevărat eficientă, prin care dezvoltatorii pot, pur și simplu, să creeze clustere ad-hoc pentru a testa un subset de date. De asemenea, bazele de date grafice devin tot mai importante, dată fiind capacitatea lor de a afișa cantități masive de date într-un mod care accelerează și eficientizează procesul de analiză.

Avantajele Big Data

Serviciile Big Data permit o înțelegere mai cuprinzătoare a tendințelor și modelelor, prin integrarea diverselor seturi de date pentru a forma o imagine completă. Această fuziune nu numai că facilitează analiza retrospectivă, dar îmbunătățește și capacitățile de prognoză, permițând prognoze mai precise și luarea de decizii strategice. În plus, atunci când e combinat cu AI, Big Data depășește sfera analizei tradiționale, permițând organizațiilor să deblocheze soluții inovatoare și să obțină rezultate transformatoare.

Răspunsurile mai cuprinzătoare înseamnă mai multă încredere în date - ceea ce înseamnă o abordare complet diferită a soluționării problemelor.

• Perspective mai bune. Când organizațiile dispun de mai multe date, sunt capabile să obțină informații mai bune. În unele cazuri, gama mai largă confirmă instinctele în fața unui set mai divers de circumstanțe. În alte cazuri, un bazin mai mare de date descoperă conexiuni ascunse anterior și extinde perspectivele potențial ratate. Toate acestea ajută organizațiile să înțeleagă mai bine cum și de ce se întâmplă lucrurile, în special atunci când automatizarea permite prelucrarea mai rapidă și mai ușoară a Big Data.
• Procesul decizional. Cu o perspectivă mai bună, organizațiile pot lua decizii bazate pe date, cu proiecții și previziuni mai fiabile. Când Big Data este combinat cu automatizarea și analiza, se deschide o întreagă gamă de posibilități, inclusiv tendințe de piață mai actualizate, analiza rețelelor sociale și modele care informează gestionarea riscurilor.
• Experiențe personalizate ale clienților. Big Data permite organizațiilor să construiască profiluri ale clienților printr-o combinație de date privind vânzările clienților, date demografice din industrie și date conexe, cum ar fi activitatea din social media și implicarea în campanii de marketing. Înainte de automatizare și analiză, acest tip de personalizare era imposibil din cauza amplorii sale; cu Big Data, acest nivel de granularitate îmbunătățește implicarea și experiența clienților.
• Îmbunătățirea eficienței operaționale. Fiecare departament generează date, chiar și atunci când echipele nu prea se gândesc la asta. Aceasta înseamnă că fiecare departament poate beneficia de date la nivel operațional pentru sarcini precum detectarea anomaliilor de proces, identificarea modelelor de întreținere și utilizare a resurselor și evidențierea factorilor ascunși de eroare umană. Fie că este vorba de probleme tehnice sau de probleme legate de performanța personalului, Big Data oferă informații despre modul în care funcționează o organizație – și despre modul în care aceasta se poate îmbunătăți.

Cazuri de utilizare Big Data

Big Data vă poate ajuta să optimizați o serie de activități de business, inclusiv experiența clienților și analiza. Iată doar câteva exemple.

1. Retail și comerț electronic. Companii precum Netflix și Procter & Gamble utilizează Big Data pentru a anticipa cererea clienților. Acestea construiesc modele predictive pentru produse și servicii noi prin clasificarea atributelor cheie ale produselor sau serviciilor anterioare și actuale și prin procesarea relației dintre aceste atribute și succesul comercial al ofertelor. În plus, P&G folosește date și analize de la grupuri tematice, rețele de socializare, piețe de testare și lansări timpurii pe piață pentru a planifica, produce și lansa noi produse.

2. Sănătate. Sectorul sănătății poate combina numeroase surse de date interne, cum ar fi fișele medicale electronice, dispozitivele portabile ale pacienților și datele privind personalul, și externe, inclusiv fișele de asigurare și studiile privind bolile, pentru a optimiza atât experiența furnizorilor, cât și pe cea a pacienților. Pe plan intern, programele de personal, lanțurile de aprovizionare și gestionarea instalațiilor pot fi optimizate cu ajutorul informațiilor furnizate de echipele operaționale. În ceea ce privește pacienții, îngrijirea lor imediată și pe termen lung se poate schimba, datele conducând totul, cum ar fi recomandările personalizate și scanările predictive.

3. Servicii financiare. Când vine vorba de securitate, nu este vorba doar de câțiva atacatori necinstiți, ci de echipe întregi de experți. Cadrele de securitate și cerințele de conformitate sunt în continuă evoluție. Big Data vă ajută să identificați tiparele de acțiune pe baza datelor care semnalează fraude și cumulează volume mari de informații, pentru a accelera rapoartele de reglementare.

4. Producţie. Factorii care pot prezice defecțiunile mecanice pot fi adânc îngropați în date structurate – cum ar fi anul, marca și modelul echipamentului – precum și în date nestructurate care acoperă milioane de înregistrări în jurnal, date ale senzorilor, mesaje de eroare și citiri ale temperaturii motorului. Analizând aceste indicații ale potențialelor probleme înainte să apară problemele propriu-zise, organizațiile pot implementa mentenanța într-un mod mai rentabil și pot maximiza durata de funcționare a pieselor și echipamentelor.

5. Servicii guvernamentale și publice. Oficiile guvernamentale pot colecta date din multe surse diferite, cum ar fi dosarele Registrului Auto, datele privind traficul, datele poliției/pompierilor, înregistrările școlilor publice și multe altele. Acest lucru poate conduce la eficiență în multe moduri diferite, cum ar fi detectarea tendințelor șoferilor pentru gestionarea optimizată a intersecțiilor și alocarea mai bună a resurselor în școli. De asemenea, guvernele pot posta date în mod public, permițând o mai mare transparență pentru a consolida încrederea publică.

Provocări Big Data

Deși Big Data vine cu multe promisiuni, conceptul nu este lipsit de provocări.

În primul rând, conceptul de Big Data este... imens. Deși au fost dezvoltate noi tehnologii pentru a facilita stocarea datelor, volumele de date se dublează la fiecare doi ani, potrivit analiștilor. Organizațiile care se străduiesc să țină pasul cu datele lor și să găsească modalități eficiente de stocare a acestora nu vor găsi ușurare printr-o reducere a volumului.

Și nu este suficient doar să vă stocați datele în mod accesibil și la prețuri accesibile. Pentru a fi valoroase, datele trebuie să fie utilizate, iar succesul în acest sens depinde de conservare. Datele selectate (adică datele care sunt relevante pentru client și organizate într-un mod care permite o analiză semnificativă) nu apar pur și simplu. Gestionarea acestora necesită multă muncă. În multe organizații, oamenii de știință din domeniul datelor petrec între 50 % și 80 % din timpul lor conservând și pregătind datele astfel încât acestea să poată fi utilizate eficient.

Odată ce toate aceste date sunt stocate în depozitul unei organizații, există încă două provocări semnificative. În primul rând, nevoile de securitate și confidențialitate a datelor vor avea un impact asupra modului în care echipele IT gestionează aceste date. Aceasta include respectarea reglementărilor regionale/industriale, criptarea și accesul bazat pe roluri pentru datele sensibile. În al doilea rând, datele sunt benefice numai dacă sunt utilizate. Crearea unei culturi bazate pe date poate fi o provocare, în special dacă în cadrul culturii sunt încorporate politici moștenite și atitudini de lungă durată. Noile aplicații dinamice, cum ar fi analiza self-service, pot schimba regulile jocului pentru aproape orice departament, însă echipele IT trebuie să depună timp și efort pentru educație, familiarizare și instruire; aceasta este o investiție pe termen lung care produce schimbări organizaționale semnificative pentru a obține informații și optimizări.

În sfârșit, tehnologia Big Data se schimbă într-un ritm rapid. Acum câțiva ani, Apache Hadoop era tehnologia populară folosită pentru a gestiona Big Data. Apache Spark a fost lansat în 2014. Astăzi, o combinație de tehnologii oferă noi descoperiri pe piața Big Data. Este o provocare continuă să țineți pasul.

Cum funcționează Big Data

Big Data funcționează prin furnizarea de informații care pun în lumină noi oportunități și modele de business. Odată ce datele au fost preluate, începerea activității implică trei măsuri esențiale:

1. Integrare

Big Data reunește date din mai multe surse și aplicații disparate. Mecanismele tradiționale de integrare a datelor, cum ar fi extragerea, transformarea și încărcarea (ETL), nu sunt, în general, suficiente. Este nevoie de strategii și tehnologii noi pentru a analiza seturile Big Data la scară terabyte sau chiar petabyte.

În cursul integrării, trebuie să introduceți datele, să le prelucrați și să vă asigurați că sunt formatate și disponibile într-o formă pe care analiștii dvs. de afaceri o pot utiliza.

2. Gestionare

Big Data necesită stocare. Soluția dvs. de stocare poate fi în cloud, la sediu sau ambele. Puteți să vă stocați datele în orice formă doriți și să integrați la cerere cerințele de procesare dorite și motoarele de procesare necesare în seturile de date respective. Mulți oameni își aleg soluția de stocare în funcție de locul în care își păstrează datele în prezent. Lacurile de date câștigă treptat popularitate, deoarece suportă cerințele actuale de calcul și vă permit să suplimentați resursele în funcție de necesități.

3. Analiză

Investiția dvs. în Big Data dă roade atunci când analizați și acționați pe baza datelor dvs. O analiză vizuală a seturilor dvs. variate de date vă oferă o nouă claritate. Explorați datele în profunzime pentru a face noi descoperiri. Împărtășiți concluziile la care ați ajuns cu alții. Construiți modele de date prin machine learning și inteligența artificială. Puneți-vă datele în slujba organizației dumneavoastră.

Cele mai bune practici Big Data

Pentru a vă ajuta în călătoria dvs. Big Data, am creat câteva bune practici cheie pe care puteți să le aveți în vedere. Iată recomandările noastre pentru construirea unei fundații Big Data de succes.

1. Aliniați Big Data cu obiectivele economice specifice

Seturile de date mai extinse vă permit să faceți noi descoperiri. În acest scop, este important să combinați noile investiții în competențe, organizare sau infrastructură cu un context de business puternic, pentru a garanta investițiile și finanțarea continue pentru proiecte. Pentru a afla dacă sunteți pe drumul cel bun, întrebați-vă cum vă sprijină și vă facilitează Big Data prioritățile de afaceri și mediul IT. Exemplele includ înțelegerea modului de filtrare a jurnalelor web pentru a înțelege comportamentul specific comerțului electronic, stabilirea percepției generale din interacțiunile cu clienții prin rețelele de socializare și prin activitățile de asistență oferite și înțelegerea metodelor de corelare statistică și a relevanței acestora pentru clienți, produse, producție și date tehnice.

2. Compensați lipsa competențelor prin standarde și control

Unul dintre cele mai mari obstacole în calea fructificării investiției în Big Data este lipsa personalului cu competențele necesare pentru a analiza datele. Puteți atenua acest risc asigurându-vă că tehnologiile, considerentele și deciziile privitoare la Big Data sunt integrate în programul dvs. de administrare IT. Standardizarea abordării vă va permite să gestionați costurile și să utilizați resursele existente. Organizațiile care implementează soluții și strategii Big Data ar trebui să își evalueze într-un stadiu incipient și în mod frecvent cerințele de competență și ar trebui să identifice proactiv eventualele lipsuri la nivel de competențe. Acestea pot fi abordate prin instruirea/utilizarea încrucișată a resurselor existente, prin angajarea de resurse noi și prin solicitarea suportului oferit de firmele de consultanță.

3. Optimizați transferul de cunoștințe printr-un centru de excelență

Folosiți o abordare de tip centru de excelență ca să partajați cunoștințe, să controlați procesul de supervizare și să gestionați comunicările de proiect. Indiferent dacă Big Data este o investiție nouă sau în expansiune, costurile directe și indirecte pot fi distribuite la nivelul întregii companii. Utilizarea acestei abordări poate contribui la creșterea posibilităților specifice Big Data și la maturizarea generală a arhitecturii informațiilor într-un mod mai structurat și sistematic.

4. Cel mai mare beneficiu este alinierea datelor nestructurate cu cele structurate

Este cu siguranță important să analizăm tehnologia Big Data în sine. Cu toate acestea, puteți aduce informații de business și mai importante prin conectarea și integrarea Big Data cu densitate redusă cu datele structurate pe care le utilizați deja în prezent.

Indiferent dacă doriți să colectați Big Data referitoare la clienți, produse, echipamente sau la mediu, obiectivul este să adăugați mai multe puncte de date relevante la sistemul dvs. de centralizare și analiză a datelor, care să ducă la concluzii mai bune. De exemplu, este o adevărată provocare să deosebiți sentimentele generale ale clienților de cele ale celor mai buni clienți. Acesta este motivul pentru care mulți văd Big Data ca o extensie integrală a capacităților existente de business intelligence, a platformei de stocare a datelor și a arhitecturii informaționale.

Rețineți că procesele și modelele analitice Big Data pot fi atât umane, cât și asistate de mașină. Capacitățile analitice Big Data includ statistici, analize spațiale, semantică, descoperire interactivă și vizualizare. Folosind modele analitice, puteți corela diferite tipuri și surse de date pentru a realiza asociații și descoperiri semnificative.

5. Pregătiți-vă laboratorul de cercetare pentru performanțe

Descoperirea semnificației datelor dvs. nu este întotdeauna simplă. Uneori nici nu știm ce căutăm. Este de așteptat. Structura de management și IT trebuie să inervină în această „lipsă de direcție” sau „lipsa unei necesități clare”.

În același timp, este important ca analiștii și experții în date să colaboreze îndeaproape cu compania pentru a înțelege lacunele și cerințele cheie de business. Pentru a permite explorarea interactivă a datelor și experimentarea algoritmilor statistici, aveți nevoie de zone de lucru cu performanțe ridicate. Asigurați-vă că mediile de testare au suportul necesar – și că sunt administrate corespunzător.

6. Aliniați-vă cu modelul de funcționare în cloud

Procesele și utilizatorii Big Data necesită acces la o gamă largă de resurse, atât pentru experimentarea iterativă, cât și pentru rularea sarcinilor de producție. O soluție Big Data include toate domeniile de date, inclusiv tranzacțiile, datele principale, datele de referință și datele sintetice. Mediile de testare analitice trebuie create la cerere. Managementul resurselor este esențial pentru a asigura controlul întregului flux de date, inclusiv înainte și după procesare, integrare, sintetizare în baza de date și modelare analitică. O strategie de securitate și de asigurare a accesului în cloud – atât a nivel privat, cât și public – bine planificată joacă un rol esențial în abordarea acestor cerințe în schimbare.

Aflați mai multe despre Big Data la Oracle

Pentru organizațiile care au nevoie de o gestionare eficientă și cuprinzătoare a Big Data, platforma Oracle Cloud Infrastructure (OCI) Big Data oferă o gamă largă de capabilități cu un raport excepțional preț/performanță. Cu instrumente Big Data integrate nativ, OCI este o platformă Big Data complet gestionată, cu capacitate de autoescală și elastică, livrată cu un model de plată în funcție de utilizare, care vă reunește toate datele.

Volumul, viteza și varietatea Big Data fac dificilă obținerea de informații semnificative și de informații utile, însă companiile care investesc în instrumentele și expertiza necesare pentru a extrage informații valoroase din datele lor pot descoperi o multitudine de informații care oferă factorilor de decizie posibilitatea de a baza strategia pe fapte, nu pe presupuneri.

Întrebări frecvente despre Big Data

Ce înseamnă Big Data?

Big Data se referă la seturi de date extrem de vaste și diverse care nu sunt ușor de gestionat cu metodele și instrumentele tradiționale de prelucrare a datelor.

Care este un exemplu de Big Data?

Big Data se caracterizează prin cele cinci V-uri – adică conține un volum mare de informații, prezintă o velocitate sau viteză mare de generare a datelor, are o varietate de tipuri de date și subliniază veridicitatea și valoarea datelor. Exemplele de surse includ e-mailuri și texte, videoclipuri, baze de date, date ale senzorilor IoT, postări social media, pagini web și multe altele.

Exemple de industrii care se bazează pe procesul decizional bazat pe date includ asistența medicală, comerțul cu amănuntul, finanțele și marketingul. În domeniul sănătății, Big Data poate fi utilizat pentru a cerceta seturi mari de date pentru a prezice momentul în care un pacient ar putea beneficia de intervenție timpurie înainte de apariția unei boli precum diabetul de tip 2. În comerțul cu amănuntul, Big Data poate contribui la optimizarea stocurilor și la personalizarea ofertelor și recomandărilor. În finanțe, Big Data este utilizat pentru detectarea fraudelor și o mai bună identificare a tendințelor, în timp ce agenții de marketing pot urmări un volum uriaș de date nestructurate din social media pentru a detecta sentimentele și a optimiza campaniile publicitare.