Ce este un depozit de date?

Definiția depozitului de date

Un depozit de date este un tip de gestionare de date proiectat să permită și să susțină activitățile de business intelligence (BI), în special pe cele de analiză. Depozitele de date sunt destinate exclusiv efectuării de interogări și analize și conțin adesea cantități mari de date din istoric. Datele dintr-un depozit de date provin de obicei dintr-o gamă largă de surse, cum ar fi fișierele jurnal ale aplicațiilor și aplicațiile de tranzacții.

Un depozit de date centralizează și consolidează cantități mari de date din mai multe surse. Capacitățile sale analitice permit organizațiilor să obțină informații de afaceri valoroase din datele lor pentru a îmbunătăți procesul de luare a deciziilor. În timp, acesta construiește un istoric ce poate fi extrem de valoros pentru experții în date și analiștii de afaceri. Datorită acestor capacități, un depozit de date poate fi considerat singura „sursă de adevăr” a unei organizații.


Videoclip Data Warehouse

 

Un depozit de date obișnuit include adesea următoarele elemente:

  • O bază de date relațională pentru a stoca și a gestiona datele
  • O soluție de extragere, încărcare și transformare (ELT) pentru pregătirea datelor pentru analiză
  • Capacități de analiză statistică, raportare și extragere a datelor
  • Instrumente de analiză a clientului pentru vizualizarea și prezentarea datelor către utilizatorii business
  • Alte aplicații analitice mai sofisticate, care generează informații asupra cărora se poate acționa utilizând algoritmi din știința datelor și inteligența artificială (AI) sau grafice și caracteristici spațiale care permit mai multe tipuri de analize de date vaste

Organizațiile pot alege și o soluție care să combine procesarea tranzacțiilor, analiza în timp real a tuturor depozitelor de date și machine learning într-un singur serviciu MySQL Database – fără complexitatea, latența, costul și riscurile extragerii, transformării și încărcării (ETL) dublurilor.

Beneficiile unui depozit de date

Depozitele de date oferă beneficiul fundamental și unic de a permite organizațiilor să analizeze cantități mari de date variate și să extragă valoare semnificativă din acestea, precum și să păstreze o evidență a datelor din istoric.

Patru caracteristici unice (descrise de informaticianul William Inmon, care este considerat întemeietorul depozitului de date) permit depozitelor de date să ofere acest beneficiu fundamental. Conform acestei definiții, depozitele de date sunt

  • Axate pe subiect. Acestea pot analiza date despre un anumit subiect sau domeniu funcțional (cum ar fi vânzările).
  • Integrate. Depozitele de date creează consecvență între diverse tipuri de date din surse diferite.
  • Nevolatile. Odată ce datele se află într-un depozit de date, acestea sunt stabile și nu se schimbă.
  • Dependente de timp. Analiza depozitului de date ia în calcul modificările realizate în timp.

Un depozit de date bine conceput va efectua interogări foarte rapid, va furniza o cantitate mare de date și va oferi flexibilitate suficientă pentru ca utilizatorii finali să dividă sau să reducă volumul de date pentru o examinare mai detaliată, cu scopul de a satisface o gamă variată de cerințe - fie la nivel înalt, fie la nivel foarte fin și detaliat. Depozitul de date servește drept bază funcțională pentru mediile BI middleware, care oferă utilizatorilor finali rapoarte, tablouri de bord și alte interfețe.

Arhitectura depozitului de date

Arhitectura unui depozit de date este determinată de nevoile specifice ale organizației. Arhitecturile obișnuite includ

  • Simplu. Toate depozitele de date au un design de bază în care metadatele, datele rezumative și datele brute sunt stocate în colecția centrală a depozitului. Colecția este alimentată de surse de date la un capăt și accesată de utilizatorii finali pentru analiză, raportare și exploatare la celălalt capăt.
  • Simplu cu o zonă de așteptare. Datele operaționale trebuie curățate și procesate înainte de a fi introduse în depozit. Deși acest lucru se poate face în mod programat, multe depozite de date adaugă o zonă de așteptare pentru date înainte ca acestea să intre în depozit, pentru a simplifica pregătirea datelor.
  • Centru și etape. Prin adăugarea piețelor de date între colecția centrală și utilizatorii finali, organizația poate să își personalizeze depozitul de date pentru a deservi diverse linii de afaceri. Când datele sunt gata de utilizare, acestea sunt mutate în piața de date corespunzătoare.
  • Medii de testare. Mediile de testare sunt zone private și sigure, în care companiile pot să exploreze rapid și neoficial noi seturi de date sau modalități de analiză a datelor fără a trebui să respecte regulile și protocolul depozitului de date.

Evoluția depozitelor de date - de la analiza de date până la AI și machine learning

Când au apărut depozitele de date la sfârșitul anilor 1980, scopul lor era de a ajuta trecerea fluxului de date din sistemele operaționale către sistemele de susținere a deciziilor (DSS). Primele depozite de date necesitau o cantitate enormă de date redundante. Majoritatea organizațiilor aveau mai multe medii DSS care deserveau diverși utilizatori. Deși mediile DSS foloseau o mare parte din aceleași date, colectarea, curățarea și integrarea datelor se repetau adesea pentru fiecare mediu.

Dat fiind că depozitele de date au devenit tot mai eficiente, ele au evoluat de la stadiul de magazine de informații, care susțineau platformele BI tradiționale, transformându-se în ample infrastructuri de analiză, care susțin o gamă largă de aplicații, cum ar fi analizele operaționale și managementul performanțelor.

Iterațiile depozitelor de date au progresat de-a lungul timpului, oferindu-le companiilor o valoare tot mai mare prin depozitul de date la nivel de companie (EDW).

Etapă Capacitate Valoarea pentru afaceri
1 Raportarea tranzacțiilor Oferă informații relaționale pentru a crea analize instantanee ale performanței afacerii
2 Divizare, interogare ad hoc, instrumente BI Extinde capacitățile pentru a obține informații mai profunde și analize mai puternice
3 Anticipează performanțele viitoare (exploatarea datelor) Dezvoltă vizualizări și business intelligence pentru viitor
4 Analiză tactică (spațială, statistică) Oferă scenarii de tipul „ce-ar fi dacă” pentru a fundamenta deciziile practice pe baza unei analize mai complexe
5 Stochează mai multe luni sau ani de date Stochează date doar pentru săptămâni sau luni

Pentru fiecare dintre aceste cinci etape era nevoie de o varietate tot mai mare de seturi de date. Ultimele trei etape, în special, creează necesitatea unei game și mai ample de date și de capacități de analiză.

În prezent, AI și machine learning transformă aproape toate activele din orice domeniu, serviciu și companie - iar depozitele de date nu fac excepție. Extinderea Big Data și aplicarea noilor tehnologii digitale determină schimbarea cerințelor și capacităților depozitelor de date.

Depozitul de date autonom reprezintă ultima etapă din această evoluție, oferind întreprinderilor posibilitatea de a extrage și mai multă valoare din datele lor, reducând în același timp costurile și îmbunătățind fiabilitatea și performanța depozitului de date.

Aflați mai multe despre depozitele de date autonome și începeți cu propriul dvs. depozit de date autonom.

Depozitele de date, piețele de date și magazinele de date operaționale

Deși execută roluri similare, depozitele de date sunt diferite de piețele de date și de magazinele de date operaționale (ODS). O piață de date îndeplinește aceleași funcții ca un depozit de date, dar într-un domeniu mult mai limitat - de obicei, un singur departament sau o singură linie de afaceri. Datorită acestui lucru, piețele de date sunt mai ușor de stabilit decât depozitele de date. Cu toate acestea, ele tind să introducă inconsecvențe, deoarece poate fi dificil să gestionați și să controlați în mod uniform datele în mai multe piețe de date.

ODS acceptă numai operațiunile zilnice, de aceea, vizualizarea datelor din istoric este foarte limitată. Deși funcționează foarte bine ca surse de date curente și sunt deseori folosite ca atare de către depozitele de date, ele nu acceptă interogări complexe ale datelor din istoric.

Ce este un depozit de date în cloud?

Un depozit de date în cloud utilizează cloudul pentru a colecta și stoca date din surse de date disparate.

Depozitele de date inițiale au fost construite pe servere locale. Aceste depozite de date on-premises continuă să ofere multe avantaje în ziua de azi. În multe cazuri, ele pot îmbunătăți gestionarea, securitatea și suveranitatea datelor, oferind și o latență mai bună. Cu toate acestea, depozitele de date locale nu sunt la fel de flexibile și necesită o prognoză complexă pentru determinarea modului în care se va scala depozitul de date pentru cerințele viitoare. Gestionarea acestor depozite de date poate fi, de asemenea, foarte complexă.

Pe de altă parte, depozitele de date din cloud au următoarele avantaje:

Cele mai bune depozite de date în cloud sunt complet gestionate și autonome, astfel încât chiar și începătorii pot crea și utiliza un depozit de date cu doar câteva clicuri. Un mod simplu de a începe migrarea la un depozit de date în cloud este să rulați un depozit de date în cloud on-premises, în spatele firewallului centrului de date, respectând astfel cerințele privind suveranitatea și securitatea datelor.

În plus, majoritatea depozitelor de date în cloud urmează un model de plată în funcție de utilizare, care le oferă clienților posibilitatea de a economisi suplimentar.

Ce este un depozit de date modern?

Indiferent dacă fac parte din sectoarele IT, tehnologia datelor, analize de afaceri sau știința datelor, diverșii utilizatori din organizație au cerințe diferite privind un depozit de date.

O arhitectură modernă a datelor răspunde acestor cerințe diferite oferind o modalitate de a gestiona toate tipurile, fluxurile și analizele de date. Aceasta conține modele de arhitectură care includ componentele necesare pentru colaborare, conform celor mai bune practici din domeniu. Depozitul modern de date include:

  • o bază de date convergentă care simplifică gestionarea tuturor tipurilor de date și oferă diferite moduri de utilizare a acestora
  • servicii cu autoservire de colectare și transformare a datelor
  • suport pentru procesare SQL, machine learning, grafică și spațială
  • opțiuni multiple de analiză care simplifică modul de utilizare a datelor fără a le muta
  • gestionarea automată pentru asigurarea simplă a accesului, scalare și administrare

Un depozit modern de date poate fluidiza eficient fluxurile de lucru ale datelor într-un mod pe care alte depozite nu îl pot realiza. Aceasta înseamnă că oricine, de la analiștii și inginerii de date până la experții în date și echipele IT, își poate desfășura activitatea mai eficient și poate inova în continuare pentru a-și dezvolta organizația, fără nenumărate întârzieri și evitând complexitatea.

Proiectarea unui depozit de date

Dacă o organizație dorește să proiecteze un depozit de date, trebuie să înceapă prin definirea cerințelor sale specifice de afaceri, stabilind domeniul de aplicare și elaborând un proiect conceptual. Organizația poate apoi crea atât designul logic, cât și pe cel fizic pentru depozitul de date. Designul logic implică relațiile dintre obiecte, iar designul fizic înseamnă cea mai bună modalitate de a stoca și de a recupera obiectele. Designul fizic include, de asemenea, procesele de transport, de rezervă și de recuperare.

Orice proiect de depozit de date trebuie să abordeze următoarele aspecte:

  • Conținutul de date specific
  • Relațiile în cadrul și între grupurile de date
  • Mediul sistemelor care va susține depozitul de date
  • Tipurile de transformări de date necesare
  • Frecvența de actualizare a datelor

Un factor principal în etapa de proiectare constă în nevoile utilizatorilor finali. Majoritatea utilizatorilor finali sunt interesați să efectueze analize și să examineze datele în mod agregat, nu sub formă de tranzacții individuale. Cu toate acestea, utilizatorii finali adesea nu știu cu adevărat ce doresc până când nu apare o anumită nevoie. De aceea, procesul de planificare ar trebui să includă un proces de explorare suficient de amplu pentru a anticipa nevoile. În cele din urmă, designul depozitului de date ar trebui să permită spațiu de expansiune și dezvoltare pentru a ține pasul cu evoluția nevoilor utilizatorilor finali.

Cloudul și depozitul de date

Depozitele de date din cloud oferă aceleași caracteristici și beneficii ca depozitele de date on-premises, însă au avantajele adăugate ale tehnologiei de cloud computing, cum ar fi flexibilitatea, scalabilitatea, agilitatea, securitatea și costurile reduse. Depozitele de date în cloud permit întreprinderilor să se concentreze exclusiv asupra extragerii de informații valoroase din datele lor, în loc să fie nevoite să construiască și să gestioneze infrastructura hardware și software pentru a susține depozitul de date.

Am nevoie de un lac de date?

Organizațiile folosesc atât lacurile de date, cât și depozitele de date pentru volume mari de date din diferite surse. Opțiunea de a utiliza oricare dintre acestea depinde de ceea ce intenționează organizația să facă cu datele. În continuare se prezintă modul în care fiecare opțiune este folosită în mod optim:

  • Lacurile de date stochează din abundență date disparate, nefiltrate pentru a fi utilizate ulterior pentru un anumit scop. Datele din aplicațiile pentru liniile de afaceri, din aplicațiile mobile, dispozitivele de socializare, dispozitivele IoT și din multe alte surse sunt captate ca date brute într-un lac de date. Structura, integritatea, selecția și formatul diferitelor seturi de date sunt stabilite în momentul analizei de către persoana care efectuează analiza. Lacul de date ar putea fi alegerea corectă atunci când organizațiile au nevoie de stocare cu costuri reduse pentru date neformatate, nestructurate din surse multiple, pe care intenționează să le utilizeze pentru un anumit scop în viitor.
  • Depozitele de date sunt destinate în mod special analizei datelor. Procesarea analitică într-un depozit de date se realizează cu date care au fost pregătite pentru analiză - adunate, contextualizate și transformate - cu scopul de a genera informații bazate pe analiză. Depozitele de date sunt, de asemenea, potrivite pentru de a gestiona cantități mari de date din diverse surse. Depozitul de date este probabil alegerea corectă atunci când organizațiile au nevoie de analize avansate de date sau de analize care se bazează pe datele din istoric din mai multe surse din întreaga întreprindere.

De ce să nu executați analize împotriva mediului OLTP?

Depozitele de date sunt medii relaționale utilizate pentru analiza datelor, în special a datelor din istoric. Organizațiile folosesc depozitele de date pentru a descoperi modele și relații în datele lor, care se dezvoltă în timp.

În schimb, mediile tranzacționale sunt folosite pentru a procesa tranzacțiile în mod continuu și sunt utilizate în mod obișnuit pentru introducerea comenzilor, tranzacțiile financiare și cele de retail. Acestea nu se bazează pe datele din istoric; de fapt, în mediile OLTP, datele din istoric sunt adesea arhivate sau, pur și simplu, eliminate, pentru îmbunătățirea performanței.

Depozitele de date și sistemele OLTP diferă semnificativ.

Depozitul de date Sistemul OLTP
Fluxul de lucru Gestionează întrebările ad-hoc și analiza datelor Acceptă numai operații predefinite
Modificările datelor Se actualizează automat în mod regulat Actualizări de către utilizatorii finali care emit declarații individuale
Designul schemelor Utilizează scheme parțial denormalizate pentru a optimiza performanța Utilizează scheme complet normalizate pentru a garanta consecvența datelor
Scanarea datelor Cuprinde mii până la milioane de rânduri Accesează doar câteva înregistrări în același timp
Datele din istoric Stochează mai multe luni sau ani de date Stochează date doar pentru săptămâni sau luni

Implementare cu complexitate zero: Autonomous Data Warehouse

Cea mai recentă iterație a depozitului de date este depozitul de date autonom, care se bazează pe AI și învățarea asistată de computer pentru a elimina sarcinile manuale și pentru a simplifica configurarea, implementarea și gestionarea datelor. Un depozit de date autonom ca serviciu în cloud nu necesită administrarea bazei de date, configurarea sau gestionarea hardware-ului ori instalarea software-ului prin intervenții umane.

Crearea depozitului de date, crearea backupului, remedierea și actualizarea bazei de date, precum și extinderea sau reducerea acesteia se efectuează automat - oferind aceeași flexibilitate, scalabilitate și agilitate și aceleași costuri scăzute ca și platformele în cloud. Depozitul de date autonom elimină complexitatea, accelerează implementarea și eliberează resursele, astfel încât organizațiile să se poată concentra pe activitățile care aduc plus de valoare afacerii.

Oracle Autonomous Data Warehouse

Depozitul de date autonom Oracle este un depozit de date complet autonom, ușor de utilizat, scalabil, care asigură rezultate rapide la interogări și nu necesită administrarea bazei de date. Depozitul de date autonom Oracle este foarte simplu și rapid de configurat.

Motivele pentru care să alegeți Oracle Autonomous Data Warehouse în loc de Snowflake

  • Automatizare. Singurul depozit de date care automatizează complet managementul bazelor de date.
  • utilizare ușoară. Soluția Autonomous Data Warehouse se implementează și se gestionează mai simplu și are funcționalități integrate care elimină necesitatea unor servicii independente suplimentare.
  • Costul soluției. Depozitul nostru modern de date și caracteristicile îmbunătățite au costuri similare cu cele ale soluțiilor care au aceleași cerințe privind fluxurile de lucru.
  • Securitatea datelor. Oferim protocoale de securitate integrate și îmbunătățite, care vă protejează datele împotriva amenințărilor cibernetice.
  • Guvernanța datelor. Platforma noastră pentru depozite de date ajută organizațiile să-și gestioneze cu ușurință cerințele privind suveranitatea datelor.
Oracle Chatbot
Disconnected