Ce este Big Data?
Definiția conceptului Big Data
Ce anume înseamnă Big Data?
Conceptul Big Data se referă la date care presupun o varietate mai mare, fiind recepționate în volume și la viteze din ce în ce mai mari. Acest aspect este, de asemenea, cunoscut sub numele de „cele trei V-uri”.
Mai simplu spus, Big Data înseamnă seturi mai mari și mai complexe de date, provenite în special din surse noi de date. Aceste seturi de date sunt atât de voluminoase, încât software-ul tradițional de procesare a datelor pur și simplu nu le poate gestiona. Dar aceste volume masive de date pot fi utilizate pentru a rezolva problemele de afaceri pe care nu le-ați fi putut aborda până acum.
Cele trei V-uri ale Big Data
| Volum | Cantitatea de date contează. Cu Big Data, va trebui să procesați volume mari de date nestructurate, cu densitate redusă. Acestea pot fi date de valoare necunoscută, cum ar fi fluxurile de date Twitter, datele despre secvențele de clicuri pe o pagină web sau într-o aplicație mobilă sau echipamentele activate prin senzori. Pentru unele organizații, aceasta ar putea însemna zeci de terabyți de date. Pentru altele, poate fi vorba despre sute de petabyți. |
| Viteză | Viteza este rata la care datele sunt primite și (poate) accesate. În mod normal, cea mai mare viteză a datelor se transmite direct în memorie, prin comparație cu scrierea pe disc. Unele produse inteligente activate prin internet funcționează în timp real sau aproape real și vor necesita evaluare și acțiune în timp real. |
| Varietate | Varietatea se referă la numeroasele tipuri de date disponibile. Tipurile de date tradiționale au fost structurate și se încadrează perfect într-o bază de date relațională. Odată cu creșterea Big Data, datele vin sub formă de noi tipuri de date nestructurate. Tipurile de date nestructurate și semistructurate, cum ar fi datele de tip text, audio și video, necesită o preprocesare suplimentară pentru extragerea semnificației și susținerea metadatelor. |
Valoarea - și adevărul - conceptului Big Data
În ultimii ani, au apărut încă doi V: valoare și veridicitate. Datele au valoare intrinsecă. Datele nu folosesc la nimic dacă nu au valoare. La fel de important: cât de veridice sunt datele dvs. - și cât de mult vă puteți baza pe acestea?
Astăzi, Big Data au dobândit o semnificație capitală. Gândiți-vă la unele dintre cele mai mari companii de tehnologie din lume. O mare parte din valoarea pe care o oferă acestea provine din datele lor, pe care le analizează în mod constant pentru a genera mai multă eficiență și a dezvolta noi produse.
Descoperirile tehnologice recente au redus exponențial costul stocării și calculării datelor, făcând mai ușoară și mai puțin costisitoare decât oricând stocarea cât mai multor date. Cu un volum crescut de Big Data acum mai ieftine și mai accesibile, puteți lua decizii de afaceri mai precise și mai eficiente.
A descoperi valoare în Big Data nu se referă doar la analiza datelor (ceea ce reprezintă un cu totul alt beneficiu). Acesta este un adevărat proces de descoperire, care necesită analiști perspicace, utilizatori business și manageri care pun întrebările corecte, recunosc tipare recurente, fac presupuneri în cunoștință de cauză și anticipă comportamente.
Dar cum am ajuns aici?
Istoricul Big Data
Deși conceptul de Big Data, în sine, este relativ nou, originile seturilor mari de date datează din anii 1960 și 1970, când universul datelor se afla abia la început, odată cu primele centre de date și cu dezvoltarea bazei de date relaționale.
În jurul anului 2005, oamenii au început să-și dea seama cât de multe date generau utilizatorii prin Facebook, YouTube și alte servicii online. Hadoop (un cadru de tip open-source creat special pentru stocarea și analiza seturilor Big Data) a fost dezvoltat în același an. NoSQL a început, de asemenea, să câștige popularitate tot în acest interval de timp.
Dezvoltarea cadrelor de tip open-source, cum ar fi Hadoop (și, mai recent, Spark) a fost esențială pentru amploarea pe care a luat-o Big Data, deoarece acestea fac ca volumele mari de date să fie mai ușor de prelucrat și mai puțin costisitor de stocat. În anii care au trecut de atunci, volumul Big Data a crescut exponențial. Utilizatorii încă generează cantități uriașe de date - dar nu doar oamenii fac acest lucru.
Odată cu apariția Internetului tuturor lucrurilor (IoT), tot mai multe obiecte și dispozitive sunt conectate la internet, colectând date despre tiparele de utilizare ale clienților și despre performanța produselor. Apariția machine learning a generat și mai multe date.
În timp ce conceptul de Big Data a ajuns departe, utilitatea sa abia începe să se impună. Tehnologia cloud computing a extins și mai mult posibilitățile oferite de Big Data. Sistemul de stocare cloud oferă o scalabilitate cu adevărat eficientă, prin care dezvoltatorii pot, pur și simplu, să creeze clustere ad-hoc pentru a testa un subset de date. De asemenea, bazele de date grafice devin tot mai importante, dată fiind capacitatea lor de a afișa cantități masive de date într-un mod care accelerează și eficientizează procesul de analiză.
Avantajele Big Data:
- Big Data vă permit să obțineți răspunsuri mai cuprinzătoare, deoarece puteți accesa mai multe informații.
- Răspunsurile mai cuprinzătoare înseamnă mai multă încredere în date - ceea ce înseamnă o abordare complet diferită a soluționării problemelor.
Cazuri de utilizare Big Data
Big Data vă poate ajuta să abordați o gamă largă de activități de business, de la experiența clienților până la analiză. Iată doar câteva exemple.
| Dezvoltarea produselor | Companii precum Netflix și Procter & Gamble utilizează Big Data pentru a anticipa solicitările clienților. Acestea construiesc modele predictive pentru produse și servicii noi prin clasificarea atributelor cheie ale produselor sau serviciilor anterioare și actuale și prin procesarea relației dintre aceste atribute și succesul comercial al ofertelor. În plus, P&G folosește date și analize de la grupuri tematice, rețele de socializare, piețe de testare și lansări timpurii pe piață pentru a planifica, produce și lansa noi produse. |
| Întreținerea predictivă | Factorii care pot prezice defecțiuni mecanice pot fi îngropați adânc în datele structurate, cum ar fi anul, marca și modelul echipamentului, precum și în datele nestructurate care acoperă milioane de intrări de jurnal, date ale senzorilor, mesaje de eroare și temperatura motorului. Analizând aceste indicații ale potențialelor probleme înainte să apară problemele propriu-zise, organizațiile pot implementa mentenanța într-un mod mai rentabil și pot maximiza durata de funcționare a pieselor și echipamentelor. |
| Experiența clientului | Cursa pentru clienți a demarat. Acum puteți obține o viziune mai clară ca niciodată asupra experienței clienților. Big Data vă permite să colectați date din rețelele de socializare, vizitele pe web, jurnalele de apeluri și din alte surse pentru a îmbunătăți experiența de interacțiune și pentru a maximiza valoarea livrată. Începeți să livrați oferte personalizate, reduceți nemulțumirile clienților și rezolvați problemele în mod proactiv. |
| Fraude și conformitate | Când vine vorba de securitate, nu vă confruntați doar cu câțiva hackeri răzleți, ci cu echipe întregi de experți. Cadrele de securitate și cerințele de conformitate sunt în continuă evoluție. Big Data vă ajută să identificați tiparele de acțiune pe baza datelor care semnalează fraude și cumulează volume mari de informații, pentru a accelera rapoartele de reglementare. |
| Machine Learning | Machine learning este un subiect fierbinte în acest moment. Și datele - în special Big Data - constituie unul dintre motivele semnificative în acest sens. Acum putem instrui mașinile în loc să le programăm. Disponibilitatea Big Data pentru a exersa modele de machine learning face posibil acest lucru. |
| Eficiența operațională | Eficiența operațională poate să nu rețină întotdeauna atenția, dar reprezintă o zonă în care Big Data exercită cel mai mare impact. Cu Big Data, puteți analiza și evalua producția, feedback-ul și retenția clienților, dar și alți factori necesari pentru a diminua inactivitatea și a anticipa cererile viitoare. Big Data pot fi, de asemenea, utilizate pentru a îmbunătăți procesul decizional în funcție de cererea actuală de pe piață. |
| Stimularea inovației | Big Data vă poate ajuta să inovați studiind interdependențele dintre oameni, instituții, entități și procese și să stabiliți ulterior noi modalități de utilizare a acestor informații. Folosiți informațiile obținute din date pentru a îmbunătăți deciziile cu privire la considerentele financiare și de planificare. Analizați tendințele și dorințele clienților când livrați produse și servicii noi. Implementați prețuri dinamice. Posibilitățile sunt nelimitate. |
Provocări Big Data
Deși Big Data vine cu multe promisiuni, conceptul nu este lipsit de provocările sale.
În primul rând, conceptul de Big Data este... imens. Deși au fost dezvoltate noi tehnologii pentru stocarea datelor, volumul de date se dublează aproximativ o dată la doi ani. Organizațiile încă se străduiesc să țină pasul cu datele generate și să găsească modalități de stocare eficientă.
Dar nu este suficient doar să stochezi datele. Acestea trebuie utilizate pentru a genera valoare și asta depinde de procesul de selecție și organizare. Datele curate – sau datele relevante pentru client și organizate într-un mod care permite analize semnificative – necesită multă muncă. Experții în date petrec între 50 și 80 la sută din timp selectând, organizând și pregătind datele înainte ca acestea să poată fi folosite efectiv.
În sfârșit, tehnologia Big Data se schimbă într-un ritm rapid. Acum câțiva ani, Apache Hadoop era tehnologia populară folosită pentru a gestiona Big Data. Apache Spark a fost lansat în 2014. Astăzi, o combinație a celor două cadre de lucru pare a fi cea mai bună abordare. A ține pasul cu tehnologia Big Data constituie o provocare continuă.
Descoperiți mai multe resurse Big Data:
Cum funcționează Big Data
Big Data vă oferă noi perspective care deschid noi oportunități și propun noi modele de afaceri. Procesul de implementare implică trei acțiuni cheie:
1. Integrare
Big Data reunește date provenite din multe surse și aplicații diferite. Mecanismele tradiționale de integrare a datelor, cum ar fi extragerea, transformarea și încărcarea (ETL), nu sunt, în general, suficiente. Este nevoie de strategii și tehnologii noi pentru a analiza seturile Big Data la scară terabyte sau chiar petabyte.
În cursul integrării, trebuie să introduceți datele, să le prelucrați și să vă asigurați că sunt formatate și disponibile într-o formă pe care analiștii dvs. de afaceri o pot utiliza.
2. Administrare
Big Data necesită spațiu de stocare. Soluția dvs. de stocare poate fi în cloud, locală sau de ambele tipuri. Puteți să vă stocați datele în orice formă doriți și să integrați la cerere cerințele de procesare dorite și motoarele de procesare necesare în seturile de date respective. Mulți oameni își aleg soluția de stocare în funcție de locul în care își păstrează datele în prezent. Soluția cloud câștigă treptat popularitate, deoarece acceptă cerințele dvs. actuale de calcul și vă permite să folosiți resursele după cum considerați necesar.
3.Analiză
Investiția dvs. în Big Data se dovedește benefică atunci când analizați și acționați la nivelul datelor dvs. Vă bucurați de mai multă claritate printr-o analiză vizuală a seturilor dvs. variate de date. Explorați datele în profunzime pentru a face noi descoperiri. Împărtășiți concluziile la care ați ajuns cu alții. Construiți modele de date prin machine learning și inteligența artificială. Puneți datele să lucreze pentru dvs.
Cele mai bune practici Big Data
Pentru a vă ajuta în călătoria dvs. Big Data, am creat câteva bune practici cheie pe care puteți să le aveți în vedere. Iată recomandările noastre pentru construirea unei fundații Big Data de succes.
| Aliniați Big Data cu obiectivele economice specifice | Seturile de date mai extinse vă permit să faceți noi descoperiri. În acest scop, este important să combinați noile investiții în competențe, organizare sau infrastructură cu un context de business puternic, pentru a garanta investițiile și finanțarea continue pentru proiecte. Pentru a afla dacă sunteți pe drumul cel bun, întrebați-vă cum vă sprijină și vă facilitează Big Data prioritățile de afaceri și mediul IT. Exemplele includ înțelegerea modului de filtrare a jurnalelor web pentru a înțelege comportamentul specific comerțului electronic, stabilirea percepției generale din interacțiunile cu clienții prin rețelele de socializare și prin activitățile de asistență oferite și înțelegerea metodelor de corelare statistică și a relevanței acestora pentru clienți, produse, producție și date tehnice. |
| Compensați lipsa competențelor prin standarde și control | Unul dintre cele mai mari obstacole în calea obținerii de avantaje din investiția dvs. în Big Data este lipsa de competențe. Puteți atenua acest risc asigurându-vă că tehnologiile, considerentele și deciziile privitoare la Big Data sunt integrate în programul dvs. de administrare IT. Standardizarea abordării vă va permite să gestionați costurile și să utilizați resursele existente. Organizațiile care implementează soluții și strategii Big Data ar trebui să își evalueze într-un stadiu incipient și în mod frecvent cerințele de competență și ar trebui să identifice proactiv eventualele lipsuri la nivel de competențe. Acestea pot fi abordate prin instruirea/utilizarea încrucișată a resurselor existente, prin angajarea de resurse noi și prin solicitarea suportului oferit de firmele de consultanță. |
| Optimizați transferul de cunoștințe printr-un centru de excelență | Folosiți o abordare de tip centru de excelență ca să partajați cunoștințe, să controlați procesul de supervizare și să gestionați comunicările de proiect. Indiferent dacă Big Data este o investiție nouă sau în expansiune, costurile directe și indirecte pot fi distribuite la nivelul întregii companii. Utilizarea acestei abordări poate contribui la creșterea posibilităților specifice Big Data și la maturizarea generală a arhitecturii informațiilor într-un mod mai structurat și sistematic. |
| Cel mai mare avantaj îl constituie alinierea datelor nestructurate cu cele structurate | Este cu siguranță important să analizăm tehnologia Big Data în sine. Dar puteți obține informații mai bune despre afaceri conectând și integrând densitatea redusă a Big Data cu datele structurate pe care le utilizați deja în prezent. Indiferent dacă doriți să colectați Big Data referitoare la clienți, produse, echipamente sau la mediu, obiectivul este să adăugați mai multe puncte de date relevante la sistemul dvs. de centralizare și analiză a datelor, care să ducă la concluzii mai bune. De exemplu, este o adevărată provocare să deosebiți sentimentele generale ale clienților de cele ale celor mai buni clienți. Acesta este motivul pentru care mulți văd Big Data ca o extensie integrală a capacităților existente de business intelligence, a platformei de stocare a datelor și a arhitecturii informaționale. Rețineți că procesele și modelele analitice Big Data pot fi atât umane, cât și asistate de mașină. Capacitățile analitice Big Data includ statistici, analize spațiale, semantică, descoperire interactivă și vizualizare. Folosind modele analitice, puteți corela diferite tipuri și surse de date pentru a realiza asociații și descoperiri semnificative. |
| Planificați-vă laboratorul de cercetare pentru performanță | Descoperirea semnificației datelor dvs. nu este întotdeauna simplă. Uneori nici nu știm ce căutăm. Este de așteptat. Structura de management și IT trebuie să susțină această „lipsă de direcție” sau „lipsa unei necesități clare”. În același timp, este important ca analiștii și experții în date să colaboreze îndeaproape cu compania pentru a înțelege lacunele și cerințele cheie de business. Pentru a integra explorarea interactivă a datelor și experimentarea algoritmilor statistici, aveți nevoie de zone de lucru performante. Asigurați-vă că mediile de testare au suportul necesar – și că sunt administrate corespunzător. |
| Aliniați-vă cu modelul de funcționare în cloud | Procesele și utilizatorii Big Data necesită acces la o gamă largă de resurse, atât pentru experimentarea iterativă, cât și pentru rularea sarcinilor de producție. O soluție Big Data include toate domeniile de date, inclusiv tranzacțiile, datele principale, datele de referință și datele sintetice. Mediile de testare analitice trebuie create la cerere. Managementul resurselor este esențial pentru a asigura controlul întregului flux de date, inclusiv înainte și după procesare, integrare, sintetizare în baza de date și modelare analitică. O strategie de securitate și de asigurare a accesului în cloud – atât a nivel privat, cât și public – bine planificată joacă un rol esențial în abordarea acestor cerințe în schimbare. |