Oracle Cloud Free Tier

Sestavujte, testujte a nasazujte aplikace pomocí zpracování přirozeného jazyka – to vše zdarma.

Co jsou big data?

Jak definujeme big data

Co přesně jsou big data?

Definice říká, že big data jsou rozmanitější data, která přicházejí ve větším rozsahu a s větší rychlostí. Tyto aspekty také známe jako tři R.

Jednoduše řečeno, big data jsou větší a komplexnější datové sady především z nových zdrojů. Tyto datové sady jsou tak objemné, že tradiční software pro zpracování dat s nimi jednoduše nedokáže pracovat. Tyto obrovské objemy dat lze ale využít k řešení obchodních problémů, které byste předtím nebyli schopni vyřešit.

Tři R pro big data

Rozsah Na množství dat záleží. Pro big data platí, že je třeba zpracovávat velké objemy nestrukturovaných dat s nízkou hustotou. Může se jednat o data neznámé hodnoty, jako jsou datové kanály z Twitteru, posloupnosti kliknutí na webové stránce nebo v mobilní aplikaci nebo výstup ze zařízení vybaveného senzory. V některých organizacích to mohou být desítky terabajtů dat. V jiných třeba stovky petabajtů.
Rychlost Rychlost určuje, jak rychle data přicházejí a jak na ně (možná) reagujete. Nejrychleji přicházející data normálně míří přímo do paměti namísto zápisu na disk. Některé inteligentní produkty připojené k internetu fungují v reálném nebo téměř reálném čase a také vyžadují vyhodnocování a reakci v reálném čase.
Různorodost Různorodost znamená množství typů dat, která jsou k dispozici. Tradiční datové typy byly strukturované a úhledně zapadaly do struktury relační databáze. S tím, jak rostou na významu big data, přicházejí data v nových nestrukturovaných datových typech. Nestrukturované a polostrukturované datové typy, jako je text, zvuk a video, vyžadují dodatečné předzpracování, aby bylo možné odvodit význam a doplnit metadata.

Hodnota a fakta pro big data

V posledních několika letech se objevily další dva aspekty: hodnotavěrohodnost. Data mají svou vnitřní hodnotu. Ta je ale k ničemu, dokud ji neobjevíme. Stejně důležité je, jak věrohodná jsou vaše data a jak moc se na ně můžete spolehnout.

Big data dnes představují kapitál. Uvažte ty největší světové technologické společnosti. Velká část hodnoty, kterou nabízejí, vychází z jejich dat, která neustále analyzují, aby dosáhly vyšší efektivity a mohly vyvíjet nové produkty.

Nedávné technologické objevy exponenciálně snížily náklady na ukládání a zpracování dat, což usnadňuje a zlevňuje ukládání větších objemů dat než kdykoli předtím. Stále levnější a dostupnější big data ve stále větších objemech vám umožňují přijímat stále přesnější a preciznější obchodní rozhodnutí.

Hledání hodnoty, kterou obsahují big data, neznamená jen jejich analýzu (což je další velká výhoda). Je to celý proces objevování, který vyžaduje důvtipné analytiky, podnikové uživatele a vedoucí pracovníky, kteří kladou správné otázky, rozpoznávají vzorce, formulují informované předpoklady a předpovídají chování.

Jak jsme ale do této fáze došli?

Big data a jejich historie

Ačkoli samotný koncept popisující big data je relativně nový, počátky rozsáhlých datových sad sahají do 60. a 70. let, kdy svět dat teprve začínal s prvními datovými centry a vývojem relačních databází.

Kolem roku 2005 si lidé začali uvědomovat, kolik dat uživatelé generují prostřednictvím Facebooku, YouTube a dalších online služeb. Téhož roku byl vyvinut Hadoop, opensourcový rámec vytvořený speciálně pro ukládání a analýzu velkých datových sad. V té době si popularitu také začal získávat jazyk NoSQL.

Vývoj opensourcových rámců, jako je Hadoop (a později Spark), byl pro big data a rozvoj jejich využívání zásadní, protože díky nim je zpracování velkých objemů snazší a jejich ukládání levnější. V dalších letech jejich objem dále prudce rostl. Uživatelé stále generují obrovská množství dat – ovšem nejen lidé.

S příchodem internetu věcí (IoT) se k internetu připojuje stále více objektů a zařízení, které shromažďují údaje o vzorcích chování zákazníků a výkonnosti produktů. Příchod strojového učení podnítil vznik ještě více dat.

I když tedy big data dosáhla velkého významu, jejich smysluplné využití je teprve v počátcích. Cloud computing jejich možnosti rozšířil ještě dále. Cloud nabízí skutečně elastickou škálovatelnost, kdy vývojáři mohou podle potřeby jednoduše spustit výpočetní cluster a otestovat určitou podmnožinu dat. Stále důležitější jsou také databáze grafů, a to díky své schopnosti zobrazovat obrovské objemy dat způsobem, který umožňuje jejich rychlou a komplexní analýzu.


Big data a jejich přínosy:

  • Big data umožňují získávat ucelenější odpovědi, protože poskytují více informací.
  • Ucelenější odpovědi znamenají větší důvěru v data, což dále znamená zcela odlišný přístup k řešení problémů.

Případy použití pro big data

Big data mohou pomoci v celé řadě obchodních aktivit, od sledování zážitku zákazníků po analýzu. Zde je jen pár příkladů.

Vývoj produktů Společnosti jako Netflix a Procter & Gamble využívají big data k prognóze zákaznické poptávky. Pro nové produkty a služby vytvářejí prediktivní modely založené na klasifikaci klíčových atributů dřívějších a současných produktů nebo služeb a modelování vztahu mezi těmito atributy a komerčním úspěchem své nabídky. Kromě toho společnost P&G využívá k plánování, výrobě a uvádění nových produktů data a analýzy ze zájmových skupin, sociálních médií, testovacích trhů a přednostního představení produktů v některých prodejnách.
Prediktivní údržba Faktory, které mohou předvídat mechanické poruchy, mohou být ukryty hluboko ve strukturovaných datech, jako je rok, značka a model zařízení, stejně jako v nestrukturovaných datech, která představují miliony záznamů v protokolech, data ze senzorů, chybové zprávy nebo třeba údaje o teplotě motoru. Analýzou těchto indikátorů potenciálních problémů dříve, než k poruše skutečně dojde, mohou organizace levněji zajišťovat údržbu a maximalizovat životnost součástí a vybavení.
Zákaznický zážitek Boj o zákazníky nikdy nekončí. Jasnější pohled na zákaznický zážitek je nyní dostupnější než kdykoli předtím. Big data umožňují shromažďovat informace ze sociálních médií, návštěv webu, protokolů hovorů a dalších zdrojů, na jejichž základě můžete zlepšovat zážitek z interakce a maximalizovat poskytnutou hodnotu. Umožňují vám vytvářet přizpůsobené nabídky, snižovat počet nespokojených zákazníků a proaktivně řešit problémy.
Podvody a dodržování předpisů Pokud jde o zabezpečení, riziko neznamená jen pár hackerů – proti vám stojí celé týmy expertů. Bezpečnostní prostředí a požadavky na dodržování předpisů se neustále vyvíjejí. Big data vám pomohou identifikovat vzorce v datech, které naznačují podvody, a agregovat rozsáhlé objemy informací, díky čemuž budete moci rychleji vytvářet výkazy pro regulační orgány.
Strojové učení Strojové učení je v současnosti žhavým tématem. A jedním z důvodů jsou data, konkrétně tedy big data. Nyní jsme schopni stroje učit namísto toho, abychom je programovali. Umožňují nám to big data dostupná pro trénování modelů strojového učení.
Provozní efektivita Provozní efektivita obvykle nepřitahuje největší pozornost, je to ale přitom oblast, ve které big data zaznamenávají největší přínos. Big data umožňují analyzovat a vyhodnocovat výrobu, zpětnou vazbu zákazníků a reklamace, stejně jako další faktory ovlivňující počet výpadků a předvídání budoucích požadavků. Big data je také možné využít ke zlepšení rozhodování s ohledem na aktuální tržní poptávku.
Podpora inovací Big data vám mohou pomoci inovovat na základě analýzy vzájemných souvislostí mezi lidmi, institucemi, subjekty a procesy a následně určit nové způsoby využití získaných poznatků. Využít poznatky získané na základě dat ke zlepšení rozhodování v oblasti financí a plánování. Zkoumat trendy a požadavky zákazníků za účelem vytváření nových produktů a služeb. Implementovat dynamické stanovování cen. Možnosti jsou nekonečné.

Výzvy pro big data

I když big data představují velký příslib, jejich využití není zcela bez problémů.

Zaprvé, big data jsou... velká. Ačkoli se vyvíjejí nové technologie pro ukládání dat, objem vytvořených dat se zhruba každé dva roky zdvojnásobuje. Organizace stále jen stěží drží krok s rostoucími objemy svých dat a hledají způsoby, jak je efektivně ukládat.

Samotné ukládání dat ale nestačí. Data je třeba využívat, aby měla nějakou hodnotu, a jejich využívání závisí na vhodném postupu. Získání čistých dat neboli dat, která jsou pro klienta relevantní a organizovaná způsobem umožňujícím jejich smysluplnou analýzu, představuje spoustu práce. Datoví vědci tráví 50–80 % svého času čištěním a přípravou dat, než je vůbec možné je použít.

A konečně, technologie pro big data se velmi rychle vyvíjejí. Před několika lety bylo oblíbenou technologií využívanou k jejich zpracování řešení Apache Hadoop. Poté bylo v roce 2014 představeno řešení Apache Spark. Dnes se jako nejlepší přístup jeví kombinace obou rámců. Držet krok s technologiemi pro big data představuje trvalou výzvu.

Prozkoumat další materiály pro big data:

Jak fungují big data

Big data poskytují nové poznatky, které otevírají nové příležitosti a obchodní modely. Začít je využívat znamená do začátku tři hlavní kroky:

1.  Integrace
Big data představují agregované údaje z mnoha různorodých zdrojů a aplikací. Tradiční mechanismy integrace dat, jako je extrakce, transformace a načtení (ETL), obecně nejsou pro tento úkol dostačující. Vyžaduje nové strategie a technologie pro analýzu velkých datových sad v rozsahu terabajtů či dokonce petabajtů.

V rámci integrace je nutné data přijmout, zpracovat a zajistit, aby byla dostupná ve formátu, se kterým mohou vaši obchodní analytici pracovat.

2.  Správa
Pro big data potřebujete úložiště. Vaše úložiště může být v cloudu, on-premises nebo kombinací obou přístupů. Svá data můžete ukládat v jakémkoli formátu a následně datové sady zpracovávat na vyžádání s ohledem na libovolné požadavky a s použitím libovolného systému. Mnohé organizace volí své úložné řešení podle toho, kde se aktuálně nacházejí jejich data. Na popularitě postupně získává cloud, protože podporuje aktuální požadavky na výpočetní výkon a umožňuje využívat zdroje podle potřeby.

3.  Analýza
Investice do řešení pro big data se vám vyplatí, jestliže budete svá data analyzovat a následně jednat podle získaných poznatků. Na základě vizuální analýzy vašich různorodých datových sad získáte nový pohled. Dalším zkoumáním dat můžete objevit nové souvislosti. Svá zjištění můžete sdílet s ostatními. S využitím strojového učení a umělé inteligence můžete vytvářet datové modely. Nechte svá data pracovat.

Osvědčené postupy pro big data

Abychom vám pomohli na cestě k novým možnostem, které přinášejí big data, připravili jsme pro vás několik důležitých osvědčených postupů, na které je vhodné myslet. Toto jsou naše doporučení pro vytvoření úspěšných základů pro big data.

Slaďte big data s konkrétními obchodními cíli Rozsáhlejší datové sady umožňují objevovat nové souvislosti. Z tohoto hlediska je důležité nové investice do dovedností, organizace nebo infrastruktury provádět na základě jasného obchodního kontextu, který zajistí pokračování investic a financování projektu i do budoucna. Pro zjištění, zda jste na správné cestě, si položte otázku, do jaké míry big data podporují a zajišťují vaše hlavní obchodní a IT priority. Mezi příklady patří seznámení s postupy, jak filtrovat webové protokoly, aby bylo možné porozumět chování zákazníků při online nákupech, odvození sentimentu z příspěvků na sociálních sítích a interakcí zákaznické podpory a pochopení metod statistické korelace a jejich relevance pro data o zákaznících, produktech, výrobě a vývoji.
Zmírněte negativní vliv nedostatku dovedností pomocí standardů a řízení Jednou z největších překážek pro dosažení většího přínosu investice do řešení pro big data je nedostatek dovedností. Toto riziko můžete zmírnit začleněním technologií pro big data a aspektů a rozhodnutí, které s nimi souvisejí, do vašeho programu řízení IT. Standardizace přístupu vám umožní zajistit si kontrolu nad náklady a využíváním zdrojů. Organizace implementující řešení a strategie pro big data by měly včas a opakovaně vyhodnocovat své požadavky na dovednosti a proaktivně identifikovat jejich potenciální nedostatek. Ten je možné řešit zaškolením či vzájemným proškolením stávajících zdrojů, najmutím nových zdrojů a zapojením konzultačních firem.
Optimalizujte předávání znalostí pomocí centra dokonalosti Vytvořte centrum dokonalosti, prostřednictvím kterého budete moci sdílet znalosti, zajišťovat dohled a řídit projektovou komunikaci. Ať jsou pro vás big data novinkou, nebo rozšířením dosavadních investic, o měkké a tvrdé náklady je možné se podělit v rámci celé firmy. Využití tohoto přístupu může strukturovanějším a systematičtějším způsobem pomoci zvýšit vaši schopnost využívat big data a celkovou vyspělost informační architektury.
Největší přínos zajistí sladění nestrukturovaných a strukturovaných dat

I když budete big data analyzovat samostatně, jistě získáte cenné přínosy. Pokud ale propojíte a integrujete big data s nízkou hustotou se strukturovanými daty, která již používáte, dosáhnete ještě větších obchodních poznatků.

Bez ohledu na to, zda shromažďujete big data o zákaznících, produktech, zařízeních nebo životním prostředí, cílem je doplnit do hlavních souhrnných i analytických výstupů relevantnější datové body, což povede k přesnějším závěrům. Je například rozdíl, zda sledujete sentiment veškerých vašich zákazníků, nebo pouze těch nejdůležitějších. Proto mnozí považují big data za nedílné rozšíření stávajících možností business intelligence, platformy pro skladování dat a informační architektury.

Nezapomínejte, že analytické procesy a modely pro big data mohou být založeny na jak lidech, tak i na počítačích. Mezi analytické funkce pro big data patří statistika, prostorová analýza, sémantika, interaktivní zjišťování a vizualizace. Pomocí analytických modelů můžete korelovat různé typy a zdroje dat, a vytvářet tak asociace a smysluplná zjištění.

Výsledky zlepší výzkumná laboratoř

Hledání souvislostí v datech nemusí vždy být přímočaré. Někdy ani nevíme, co hledáme. To není překvapující. Vedení firmy a IT oddělení musí mít pro toto „nedostatečné směřování“ nebo „nedostatečně jasné požadavky“ pochopení.

Zároveň je důležité, aby analytici a datoví vědci úzce spolupracovali s obchodním oddělením, protože jen tak budou moci rozpoznat nejvýznamnější mezery ve znalostech a porozumět požadavkům. K zajištění interaktivního zkoumání dat a experimentování se statistickými algoritmy jsou nezbytná vysoce výkonná pracoviště. Postarejte se, aby se těmto izolovaným prostředím dostávalo potřebné podpory a také vhodného řízení.

Slaďte své postupy s cloudovým provozním modelem Procesy a uživatelé využívající big data požadují přístup k široké škále zdrojů jak pro iterativní experimentování, tak pro provozování produkčních úloh. Řešení pro big data zahrnuje všechny datové sféry, včetně transakčních, kmenových, referenčních i souhrnných dat. Na vyžádání je nutné vytvářet izolovaná prostředí. Pro zajištění kontroly nad celým tokem dat, včetně předběžného a následného zpracování, integrace, sumarizace v rámci databáze a analytického modelování, je zásadní správa zdrojů. Při podpoře těchto měnících se požadavků hraje nedílnou roli dobře naplánovaná strategie zřizování a zabezpečení privátního a veřejného cloudu.