Neden Büyük Veri?
Büyük veri tanımı
Büyük veri tam olarak ne anlama gelir?
Büyük veri, daha fazla çeşitlilik içeren ve hacmi hızlıca artan verilerdir. Bu durum aynı zamanda üç V (volume, velocity, variety) yani hacim, hız ve çeşitliliği ifade eder.
Basitçe belirtmek gerekirse, büyük veri, özellikle yeni veri kaynaklarından elde edilen daha büyük, daha karmaşık veri kümeleridir. Bu veri kümeleri o kadar hacimlidir ki geleneksel veri işleme yazılımı onları bu verilerle başa çıkamaz. Ancak bu büyük hacimli veriler, daha önce üstesinden gelemeyeceğiniz iş sorunlarını çözmek için kullanılabilir.
Büyük verinin üç V'si
| Hacim | Ciddi miktarda veri. Büyük verilerle, düşük yoğunluktaki yüksek hacimli ve yapılandırılmamış verileri işlemeniz gerekir. Bu, Twitter veri akışları, bir web sayfasında tıklamalar veya mobil uygulama yazılımı ya da sensör özellikli ekipman gibi bilinmeyen değerlere sahip veriler olabilir. Bazı organizasyonlar için bu onlarca terabayt veri olabilir. Diğerleri içinse yüzlerce petabayt olabilir. |
| Hız | Hız, verilerin alınma ve (belki de) eyleme geçme hızıdır. Normalde, diske yazmaya kıyasla veri akışlarının en yüksek hızı doğrudan belleğe olandır. Bazı internet bağlantılı akıllı ürünler gerçek zamanlı veya neredeyse gerçek zamanlı olarak çalışır ve gerçek zamanlı değerlendirme ve eylem gerektirir. |
| Çeşitlilik | Çeşitlilik, birçok kullanılabilir veri türünü ifade eder. Geleneksel veri türleri yapılandırılmıştır ve ilişkisel bir veritabanında düzgün bir şekilde bunlara uyar. Büyük verilerin artmasıyla, veriler yapılandırılmamış yeni veri türlerinde sunulur. Metin, ses ve video gibi yapılandırılmamış ve yarı yapılandırılmış veri türleri, anlam türetmek ve meta verileri desteklemek için ek veri ön işlemesi gerektirir. |
Büyük verilerin değeri ve gerçekliği
Son yıllarda iki V (value ve veracity) daha ortaya çıktı: değer ve doğruluk. Temelde verilerin değeri vardır. Ama bu değer keşfedilene kadar hiçbir şekilde kullanılmaz. Bu eşit derecede önem taşır: Verileriniz ne kadar doğru ve bunlara ne kadar güvenebilirsiniz?
Günümüzde büyük veri sermayeye dönüştü. Dünyanın en büyük teknoloji şirketlerinden bazılarını düşünün. Sundukları değerin büyük bir kısmı, verilerinden gelir ve sürekli olarak daha fazla verimlilik üretmek ve yeni ürünler geliştirmek için analiz yaparlar.
En son teknolojik atılımlar, veri depolama ve bilişim maliyetlerini giderek azalttı. Böylece, daha önce hiç olmadığı kadar fazla veri depolama kolay ve uygun maliyetli hale geldi. Artan veri hacminin daha ucuz ve daha erişilebilir hale gelmesiyle, artık daha doğru ve kesin iş kararları verebilirsiniz.
Büyük verilerin değerini anlamak yalnızca verileri analiz etmekten geçmez (bu da bir diğer avantajıdır). Bu, doğru soruları soran, örüntüleri anlayan, bilinçli varsayımlar yapan ve davranışı tahmin eden yöneticiler, içgörüye sahip analistler ve iş kullanıcıları gerektiren tüm keşif süreçidir.
Peki buraya nasıl geldik?
Büyük veri tarihi
Büyük veri kavramı nispeten yeni olmasına rağmen, büyük veri kümelerinin başlangıç noktası veri dünyasının ilk veri merkezlerini kullanmaya başladığı ve ilişkisel veri tabanlarının geliştirildiği 1960'lara ve 1970'lere dayanır.
2005 civarında, kullanıcıların Facebook, YouTube ve diğer çevrimiçi hizmetler aracılığıyla ne kadar çok veri ürettiği fark edildi. Aynı yıl Hadoop (büyük veri kümelerini depolamak ve analiz etmek için özel olarak oluşturulmuş açık kaynaklı bir sistem) geliştirildi. Ayrıca NoSQL bu sıralarda popülerlik kazanmaya başladı.
Hadoop (ve daha yakın zamanda Spark) gibi açık kaynaklı sistemlerin geliştirilmesi, büyük verilerin daha kolay çalışabilmeleri ve depolanması için daha ucuz hale gelmeleri nedeniyle büyük verilerin büyümesi için gerekliydi. O zamandan bu yana, büyük veri hacmi büyük bir ivme kazandı. Kullanıcılar hala çok miktarda veri üretiyorlar, ancak bunu yapan sadece insanlar değil.
Nesnelerin İnterneti'nin (IoT) hayatımıza girmesiyle birlikte, daha fazla nesne ve cihaz internete bağlı hale geldi ve müşteri kullanım örüntüleri ve ürün performansı ile ilgili veriler toplanıyor. Makine öğrenimi'nin ortaya çıkışı da daha fazla bilgi üretti.
Büyük veri çok yol katetmiş olsa faydalarının kapsamı giderek artacak. Bulut bilişim, büyük veri olanaklarını daha da genişletti. Bulut, geliştiricilerin bir veri alt kümesini test etmek için özel kümeler başlatabileceği gerçekten esnek ölçeklenebilirlik sunar. Ayrıca, grafik veritabanları da giderek daha önemli hale geliyor. Bu veritabanları, analizleri hızlı ve kapsamlı hale getiren bir biçimde çok miktarda veri görüntüleyebiliyor.
Büyük veri avantajları:
- Büyük veri, daha fazla bilgi sahibi olduğunuz için daha eksiksiz yanıtlar almanızı sağlar.
- Daha eksiksiz yanıtlar, verilere daha fazla güven anlamına gelir ve bu da sorunların üstesinden gelme konusunda tamamen farklı bir yaklaşımı ifade eder.
Büyük veri kullanım senaryoları
Büyük veri, müşteri deneyiminden analize kadar çeşitli iş faaliyetlerini ele almanıza yardımcı olabilir. Bunlardan bazıları şunlardır.
| Ürün geliştirme | Netflix ve Procter & Gamble gibi şirketler müşteri talebini tahmin etmek için büyük veriler kullanır. Geçmiş ve güncel ürün veya hizmetlerin önemli özniteliklerini sınıflandırarak ve tekliflerin ticari başarısı ile bu öznitelikler arasındaki ilişkiyi modelleyerek yeni ürün ve hizmetler için tahmine dayalı modeller oluştururlar. Ayrıca, P&G yeni ürünleri planlamak, üretmek ve kullanıma sunmak için odak gruplarından, sosyal medyadan, test pazarlarından ve erken mağaza yayınlarından veri ve analizler kullanır. |
| Tahmine dayalı bakım | Mekanik arızaları tahmin edebilen faktörler; yıl, ekipman üretimi ve modeli gibi yapılandırılmış verilere ve milyonlarca günlük girişini, sensör verilerini, hata mesajlarını ve motor sıcaklığını kapsayan yapılandırılmamış verilere derinlemesine gömülebilir. Organizasyonlar bu potansiyel sorunların göstergelerini sorunlar ortaya çıkmadan önce analiz ederek bakımı daha uygun maliyetli bir şekilde devreye alabilir ve parça ve ekipman çalışma sürelerini en üst düzeye çıkarabilir. |
| Müşteri deneyimi | Müşteriler için rekabet devam ediyor. Artık müşteri deneyimine yönelik genel bakış hiç olmadığı kadar net. Büyük veri, etkileşim deneyimini geliştirmek ve sunulan değeri en üst düzeye çıkarmak için sosyal medya, web ziyaretleri, çağrı günlükleri ve diğer kaynaklardan veri toplamanıza olanak tanır. Kişiselleştirilmiş teklifler sunmaya başlayın, müşteri kaybını azaltın ve sorunları proaktif olarak ele alın. |
| Dolandırıcılık ve uyumluluk | Güvenlik söz konusu olduğunda, sadece birkaç dolandırıcıyla değil bütün uzman ekiplerle karşı karşıyasınız. Güvenlik altyapıları ve uyumluluk gereksinimleri sürekli değişiyor. Büyük veri, düzenleyici raporlamayı çok daha hızlı hale getirmek için büyük hacimli bilgileri birleştiren ve sahteciliği gösteren veri örüntülerini belirlemenize yardımcı olur. |
| Makine öğrenimi | Makine öğrenimi şu anda bir gündem konusu. Ve veri, özellikle büyük veri, makine öğrenimi gündeme taşıyan nedenlerden biri. Artık makineleri programlamak yerine eğitebiliyoruz. Makine öğrenimi modellerini eğitmek için büyük veri kullanımı bunu mümkün kılıyor. |
| Operasyonel verimlilik | Operasyonel verimlilik her zaman güncem yaratmasa da büyük verinin en büyük etkiyi yarattığı alandır. Büyük verilerle kesintileri azaltmak ve gelecekteki talepleri tahmin etmek için üretimi, müşteri geri bildirimlerini ve iadeleri ve diğer faktörleri analiz edebilir ve değerlendirebilirsiniz. Büyük veriler, mevcut piyasa talebi doğrultusunda karar vermeyi geliştirmek için de kullanılabilir. |
| İnovasyona yön verin | Büyük veriler, insanlar, kurumlar, tüzel kişilikler ve süreçler arasındaki bağımlılıkları öğrenerek ve ardından bu içgörüleri kullanmanın yeni yollarını belirleyerek yenilikler yapmanıza yardımcı olabilir. Finansal ve planlama konularına ilişkin alınan kararları geliştirmek için veri içgörülerini kullanın. Eğilimleri ve müşteri beklentilerini inceleyerek yeni ürünler ve hizmetler sunun. Dinamik fiyatlandırma uygulayın. Sonsuz olasılığa sahipsiniz. |
Büyük veri zorlukları
Büyük veri çok fazla umut vaat etse de zorlukları da vardır.
Öncelikle büyük veri ... büyüktür. Veri depolamaya yönelik yeni teknolojiler geliştirilmesine rağmen, veri hacimleri her iki yılda bir ikiye katlanıyor. Organizasyonlar hala verilerini yönetebilmek ve onları etkili bir şekilde depolamanın yollarını bulmak için mücadele ediyor.
Ancak sadece verileri depolamak yeterli değildir. Veriler, değer yaratacak şekilde kullanılmalıdır bu da iyileştirmeye bağlıdır. Temiz veriler veya müşteri ile ilgili olan ve anlamlı bir analiz sağlayacak şekilde organize edilen veriler çok fazla çalışma gerektirir. Veri bilimcileri, zamanlarının yüzde 50 ila 80'ini, verilerin gerçekten kullanılabilmesi için önce düzenleyip hazırlarken harcıyor.
Son olarak, büyük veri teknolojisi hızla değişiyor. Birkaç yıl önce, Apache Hadoop büyük verileri işlemek için kullanılan popüler teknolojiydi. 2014 yılında Apache Spark kullanıma sunuldu. Günümüzde, iki sistemin bir arada kullanılması en iyi yaklaşım olarak görülüyor. Büyük veri teknolojisine ayak uydurmak, devam eden bir zorlu görev.
Daha fazla büyük veri kaynağını keşfedin:
Büyük veri nasıl çalışır?
Büyük veriler, size yeni fırsatlar ve iş modelleri sunan yeni içgörüler sağlar. Kullanmaya başlamak için üç temel adım vardır:
1. Entegre Etme
Büyük veriler, çok sayıda farklı kaynaktan ve uygulama yazılımlarından gelen verileri bir araya getirir. Çıkartma, dönüştürme ve yükleme (ETL) gibi geleneksel veri entegrasyon mekanizmaları genellikle göreve uygun değildir. Terabayt ve hatta petabayt ölçeğinde büyük veri kümelerini analiz etmek için yeni stratejiler ve teknolojiler gerektirir.
Entegrasyon sırasında verileri bir araya getirmeniz, işlemeniz ve formatlandığından ve iş analistlerinizin kullanmaya başlayabileceği bir biçimde sunulduğundan emin olmanız gerekir.
2. Yönetme
Büyük veri depolama gerektirir. Depolama çözümünüz bulutta, şirket içinde veya her ikisinde olabilir. Verilerinizi istediğiniz herhangi bir biçimde depolayabilir ve talep üzerine dilediğiniz işleme gereksinimlerini ve gerekli işlem motorlarını bu veri kümelerine taşıyabilirsiniz. Birçok kişi, depolama çözümlerini verilerinin bulunduğu yere göre seçer. Geçerli bilişim ihtiyaçlarınızı karşıladığından ve kaynakları gereken şekilde başlatmanıza olanak sağladığından bulut giderek daha popüler hale geliyor.
3. Analiz Etme
Büyük veriye yaptığınız yatırım, verilerinizi analiz ederken ve bunlarla işlem yaparken karşılığını verir. Çeşitli veri kümelerinizin görsel analiziyle verilerinizi hiç olmadığı kadar net görebilirsiniz. Yeni keşifler için verilerinizi daha ayrıntılı inceleyin. Bulgularınızı başkalarıyla paylaşın. Makine öğrenimi ve yapay zeka ile veri modelleri oluşturun. Verilerinizi çalışmalarınızda kullanın.
Büyük veri en iyi uygulamaları
Büyük veri yolculuğunuzda size yardımcı olmak için aklınızda bulundurmanız gereken bazı önemli en iyi uygulamaları bir araya getirdik. Başarılı bir büyük veri temeli oluşturma yönergelerimiz aşağıdadır.
| Büyük verileri belirli iş hedefleriyle uyumlu hale getirin | Daha kapsamlı veri kümeleri yeni keşifler yapmanızı sağlar. Bu amaçla, devam eden proje yatırımlarını ve finansmanını garanti etmek için işletmeye dayalı güçlü bir bağlamla beceriler, kuruluş veya altyapı konusunda yeni yatırımlar yapılması önemlidir. Doğru yolda olup olmadığınızı belirlemek için büyük verilerin önde gelen iş ve BT önceliklerinizi nasıl desteklediğini ve etkinleştirdiğini sorun. Örnekler arasında e-ticaret davranışını anlamak, sosyal medya ve müşteri destek etkileşimlerinden sosyal duygu türetmek ve istatistiksel bağlantı yöntemlerini ve bunların müşteri, ürün, üretim ve mühendislik verileriyle ilgili ilgililiğini anlamak sayılabilir. |
| Standartlar ve yönetişimle beceri eksikliğini azaltın | Büyük veriye yatırımınızdan faydalanmanın en büyük engellerinden biri beceri eksikliğidir. Büyük veri teknolojilerinin, dikkate alınacak hususların ve kararların BT yönetişim programınıza eklenmesi sayesinde bu riski azaltabilirsiniz. Yaklaşımınızı standart hale getirmek, maliyetleri yönetmenize ve kaynaklardan yararlanmanıza olanak sağlar. Büyük veri çözümleri ve stratejileri uygulayan kuruluşlar, beceri gereksinimlerini erken ve sık olarak değerlendirmeli ve olası yetenek boşluklarını proaktif olarak belirlemelidir. Bunlar mevcut kaynakların eğitim/çapraz eğitimiyle, yeni kaynakların işe alımıyla ve danışmanlık firmalarından yararlanılarak ele alınabilir. |
| Mükemmellik merkezi ile bilgi aktarımını optimize edin | Bilgiyi paylaşmak, gözetimi kontrol etmek ve proje iletişimlerini yönetmek için mükemmellik yaklaşımı merkezini kullanın. Büyük veri ister yeni ister büyüyen bir yatırım olsun, fiziksel ve işletimsel yapı için yapılan harcamalar şirket içinde paylaşılabilir. Bu yaklaşımdan yararlanmak, büyük veri becerilerini ve genel bilgi mimarisinin vadesini daha yapılandırılmış ve sistematik bir şekilde artırmaya yardımcı olabilir. |
| İlk tamamen geri ödeme, yapılandırılmamış verileri yapılandırılmış verilerle uyumlu hale getiriyor | Büyük verileri kendi başına analiz etmek kesinlikle değerlidir. Ancak, düşük yoğunluklu büyük verileri bugün zaten kullandığınız yapılandırılmış verilerle bağlayarak ve entegre ederek daha da fazla iş içgörüsü elde edebilirsiniz. Müşteri, ürün, ekipman veya çevresel büyük verileri yakalıyor olsanız da, hedef, önemli ana ve analitik özetlerinizle daha ilgili veri noktaları eklemek ve daha iyi sonuçlar yakalamaktır. Örneğin, tüm müşteri sosyal duygusu ile yalnızca en iyi müşterilerinizin sosyal duygusunu ayırt etme arasında fark vardır. Bu nedenle birçok kişi büyük verileri mevcut iş zekası yeteneklerinin, veri depolama platformunun ve bilgi mimarisinin ayrılmaz bir uzantısı olarak görür. Büyük veri analiz süreçlerinin ve modellerinin hem insan hem de makine tabanlı olabileceğini unutmayın. Büyük veri analiz yetenekleri arasında istatistikler, mekansal analizler, semantik, etkileşimli keşif ve görselleştirme yer alır. Analitik modelleri kullanarak, ilişkilendirmeler ve anlamlı keşifler yapmak için farklı veri türlerini ve kaynaklarını ilişkilendirebilirsiniz. |
| Performans için keşif laboratuvarınızı planlayın | Verilerinizdeki anlamı keşfetmek her zaman kolay değildir. Bazen ne aradığımızı bile bilmeyiz. Bu normaldir. Yönetim ve BT'nin bu "yönetim eksikliği" veya "açık ve net gereksinim eksikliği" konusunda yardımcı olması gerekir. Aynı zamanda, analistlerin ve veri bilimcilerin önemli iş bilgisi açıklarını ve gereksinimlerini anlamak için işle ilgili ayrıntılı çalışmalar yürütmeleri önemlidir. Verilerin etkileşimli keşfini ve istatistiksel algoritmaların denemesini sağlamak için yüksek performanslı çalışma alanlarına ihtiyacınız vardır. Güvenli ortamlara ihtiyaç duyulan desteğin sağlandığından ve güvenli ortamların düzgün bir şekilde yönetildiğinden emin olun. |
| Bulut işletim modeliyle uyumlu hale getirin | Büyük veri süreçleri ve kullanıcıların, hem tekrarlayan deneme hem de çalıştırılan üretim işleri için çok sayıda kaynağa erişmeleri gerekir. Büyük bir veri çözümü; işlemleri, ana verileri, referans verilerini ve özet verileri içeren tüm veri adlandırılmış alanlarını içerir. Analitik güvenli ortamlar talep üzerine oluşturulmalıdır. Kaynak yönetimi, işlem öncesi ve sonrası, entegrasyon, veritabanı içi özetleme ve analitik modelleme gibi veri akışının tamamının kontrolünü sağlamak için kritik önem taşır. İyi planlanmış özel ve genel bulut dağıtımı ve güvenlik stratejisi bu değişen gereksinimlere destek sağlamada temel bir rol oynamaktadır. |