ETL nedir?

Çıkartma, dönüştürme ve yükleme (ETL), birden çok kaynaktan veri toplamak ve daha sonra keşfi, raporlamayı, analizi ve karar vermeyi desteklemek için bir araya getirmek amacıyla veri temelli organizasyonlar tarafından kullanılan süreçtir.

Veri kaynakları tür, biçim, hacim ve güvenilirlik açısından çok çeşitli olabilir, bu nedenle verilerin bir araya getirildiğinde yararlı olması için işlenmesi gerekir. Hedef veri depoları, hedefler ve teknik uygulamaya bağlı olarak veritabanları, veri ambarları ya da veri gölleri olabilir.

ETL'nin üç ayrı adımı

Çıkartma
Çıkartma sırasında, ETL verileri tanımlar ve kaynaklarından kopyalayabilir, böylece verileri hedef veri deposuna kopyalayabilir. Veriler; dokümanlar, e-postalar, iş uygulamaları, veritabanları, ekipman, sensörler, üçüncü taraflar ve daha fazlası dahil olmak üzere yapılandırılmış ve yapılandırılmamış kaynaklardan gelebilir.

Dönüştürme
Çıkartılmış veriler ilk halinde ham veri olduğundan, nihai veri deposuna hazırlamak için verilerin eşlenmesi ve dönüştürülmesi gerekir. Dönüştürme sürecinde ETL, elde edilen verileri güvenilir ve sorgulanabilir hale getirecek şekilde verileri doğrular, tekilleştirir ve/veya toplar.

Yükleme
ETL, dönüştürülen verileri hedef veri deposuna taşır. Bu adım tüm kaynak verilerin ilk yüklemesine neden olabilir veya kaynak verilerdeki artımlı değişikliklerin yüklenmesi olabilir. Verileri gerçek zamanlı veya çizelgelenen toplu işlerde yükleyebilirsiniz.

ELT veya ETL: Fark nedir?

Dönüştürme adımı, ETL işlemindeki açık ara en karmaşık adımdır. Bundan dolayı, ETL ve ELT iki ana noktada birbirinden ayrılır:

• Dönüştürmenin gerçekleşme zamanı
• Dönüştürmenin yeri

Geleneksel veri ambarında, veriler ilk olarak "kaynak sistemlerden" (ERP sistemleri, CRM sistemleri vb.) çıkartılır. OLAP araçları ve SQL sorguları, birleştirilmiş sonuçlar elde etmek için veri kümelerinin boyutlarını standart hale getirmeye bağlıdır. Bu, verilerin bir dizi dönüşümden geçmesi gerektiği anlamına gelir.

Geleneksel olarak, bu dönüşümler veriler hedef sisteme yüklenmeden önce (genellikle ilişkisel bir veri deposu) gerçekleştirilmiştir.

Ancak, veri ambarını destekleyen temel veri depolama ve işleme teknolojileri geliştikçe, hedef sistem içinde dönüşümleri gerçekleştirmek mümkün hale geldi. Hem ETL hem de ELT işlemleri ara geliştirme alanları içerir. ETL'de, ister tescilli ister özel olsun, bu alanlar araçta bulunur. Kaynak sistem (örneğin, CRM sistemi) ile hedef sistem (veri ambarı) arasında bulunurlar.

Buna karşılık, ELT'lerde, toplanma alanı veri ambarındadır ve DBMS'ye güç sağlayan veritabanı motoru, ETL aracının aksine dönüşümleri yapar. Bu nedenle, ELT'lerin anlık sonuçlarından biri, ETL araçlarının veri dönüştürme sürecine yardımcı olmak için sağladığı veri hazırlama ve temizleme işlevlerini kaybetmenizdir.

ETL ve kurumsal veri ambarları

Geleneksel olarak, ETL için araçlar temelde kurumsal veri ambarlarına destekleyici iş zekası (BI) uygulama yazılımlarına veri sunmak için kullanılırdı. Bu tür veri ambarları, bir şirkette tüm aktivitelerde gerçekleşen bütün olaylar hakkında güvenilir bir kaynak olarak temsil edecek şekilde tasarlanmıştır. Bu ambarlardaki veriler, veri doğrulamasını yöneten sıkı şemalar, meta veriler ve kurallarla dikkatli şekilde yapılandırılır.

Kurumsal veri ambarlarına yönelik ETL araçları, yüksek hacimli, yüksek performanslı toplu iş yükleri, olay temelli, yavaş beslemeli entegrasyon süreçleri; programlanabilir dönüşümler ve orkestrasyonlar gibi veri entegrasyonu gereksinimlerini karşılamalıdır. Böylece en zorlu dönüşümler ve iş akışları başa çıkabilir ve en çeşitli veri kaynakları için bağlayıcılara sahip olabilir.

Verileri yükledikten sonra, kaynak ve hedef veri depoları arasında senkronizasyonu sağlamaya yönelik birden fazla stratejiniz mevcuttur. Tam veri kümesini düzenli olarak yeniden yükleyebilir, en son verilerin periyodik güncellemelerini çizelgeleyebilir veya kaynak ile hedef veri deposu arasında tam senkronizasyon sağlamak için kaydedebilirsiniz. Bu tür gerçek zamanlı entegrasyon, değişiklik verisi yakalama (CDC) olarak adlandırılır. Bu gelişmiş süreç için ETL araçlarının kaynak veritabanlarının işlem semantiğini anlaması ve bu işlemleri hedef veri ambarına doğru bir şekilde göndermesi gerekir.

ETL ve özel veri grafikleri

Özel veri ambarları kurumsal veri ambarlarından daha küçük ve daha odaklı hedef veri depolarıdır. Örneğin, tek bir departman veya tek bir ürün serisi hakkındaki bilgilere odaklanabilir. Bu nedenle, özel veri ambarları için ETL araçlarının kullanıcıları genellikle iş kolu (LOB) uzmanları, veri analistleri ve/veya veri bilimcileridir.

Özel veri ambarları için ETL araçları, programcılar ve BT personeli yerine işletme personeli ve veri yöneticileri tarafından kullanılabilir olmalıdır. Dolayısıyla, bu araçların ETL ardışık düzenlerini ayarlamayı kolaylaştırmak için görsel bir iş akışına sahip olması gerekir.

Kod içermeyen veri akışı tasarımı hakkında bilgi edinin

ETL veya ELT ve veri gölleri

Veri gölleri, özel veri ambarlarından ve veri ambarlarından farklı bir örüntü izler. Veri gölleri genellikle verilerini nesne deposunda veya Hadoop Dağıtılmış Dosya Sistemlerinde (HDFS) depolar ve bu nedenle daha az yapılandırılmış verileri şema olmadan depolayabilirler ve bu yapılandırılmamış verileri sorgulamak için birden çok aracı desteklerler.

Bu durumun olanak sağladığı ek bir örüntü, verilerin ilk olarak "olduğu gibi" depolandığı ve verilerin veri gölünde yakalandıktan sonra dönüştürüleceği, analiz edileceği ve işleneceği çıkartma, yükleme ve dönüştürmedir (ELT). Bu örüntü birçok avantaj sağlar.

• Tüm veriler kaydedilir; birleştirme veya filtreleme nedeniyle sinyal kaybolmaz.
• Veriler çok hızlı alınabilir; bu, Nesnelerin İnterneti (IoT) akışı, günlük analizi, web sitesi metrikleri vb. için yararlıdır.
• Yakalama sırasında beklenmeyen eğilimlerin keşfedilmesine olanak tanır.
• Bu, büyük ve yapılandırılmamış veri kümelerinde örüntü algılamada mükemmel olan yeni yapay zeka (AI) tekniklerinin dağıtılmasını sağlar.

Veri göllerine yönelik ETL araçları, veri bilimcileri ve veri mühendisleri için etkili olduğundan, görsel veri entegrasyon araçları içerir. Veri gölü mimarisinde genellikle kullanılan ek araçlar şunları içerir:

• Bulut Veri Akışı Mesajlaşma, uygulama yazılımı günlükleri, operasyonel telemetri, web tıklama veri takibi, olay işleme ve güvenlik analitiği için büyük gerçek zamanlı veri akışlarını veri göllerine alabilen hizmetler. Kafka ile uyumluluk, bu hizmetlerin neredeyse sonsuz veri kaynaklarından veri alabilmesini sağlar.
• Çok büyük veri kümelerinde veri işleme ve dönüşüm görevlerini hızla gerçekleştirebilen Spark tabanlı bulut hizmetleri. Spark hizmetleri, veri kümelerini nesne deposundan veya HDFS'den yükleyebilir, bunları ölçeklenebilir bilişim örneği kümeleri arasında bellekte işleyebilir ve dönüştürebilir ve çıktıyı veri gölüne veya özel veri ambarlarına ve/veya veri ambarlarına geri yazabilir.

ETL kullanım senaryoları

ETL süreci, yüksek kaliteli modeller oluştururken veri bilimi ve analitik için veri göllerine hızlı ve güvenilir bir şekilde veri alma kabiliyeti nedeniyle birçok endüstri için temeldir. Ayrıca ETL çözümleri büyük veri hacimlerine ilişkin düzenli bir görünüm oluşturmak için uygun ölçekte işlem verilerini yükleyip dönüştürebilir. Bu, işletmelerin sektördeki eğilimleri görselleştirmesine ve tahmin etmesine olanak sağlar. Çok sayıda endüstri uygulanabilir bilgiler, hızlı karar alma ve daha büyük verimlilik sağlama konusunda ETL'ye güvenir.

Finansal hizmetler
Finans kuruluşları tüketici davranışına ilişkin içgörüler elde etmek için büyük miktarlarda yapılandırılmış ve yapılandırılmamış veri toplar. Bu içgörüler, riski analiz edebilir, bankaların finansal servislerini optimize edebilir, çevrimiçi platformları iyileştirebilir ve hatta ATM'lere nakit sağlayabilir.

Petrol ve gaz
Petrol ve gaz endüstrileri, belirli coğrafi alanlarda kullanım, depolama ve eğilimler hakkında tahminler oluşturmak için ETL çözümlerini kullanır. ETL, bir çıkartma sahasının tüm sensörlerinden mümkün olduğunca fazla bilgi toplamak ve bu bilgiyi okumayı kolaylaştırmak için işleme amacıyla çalışır.

Otomotiv
ETL çözümleri, bayilerin ve üreticilerin satış modellerini anlamalarını, pazarlama kampanyalarını kalibre etmelerini, envanteri yenilemelerini ve müşteri potansiyellerini takip etmelerini sağlayabilir.

Telekomünikasyon
Günümüzde üretilen benzersiz veri hacmi ve çeşitliliği ile telekomünikasyon sağlayıcıları, bu verileri daha iyi yönetmek ve anlamak için ETL çözümlerine güveniyor. Bu veriler işlendikten ve analiz edildikten sonra işletmeler bu verileri kullanarak reklam, sosyal medya, SEO, müşteri memnuniyeti, kârlılık ve daha fazlasını geliştirebilir.

Sağlık Hizmetleri
Bakımı iyileştirirken maliyetleri düşürme ihtiyacından yola çıkan sağlık sektörü, hasta kayıtlarını yönetmek, sigorta bilgilerini toplamak ve değişen düzenleyici gereksinimleri karşılamak için ETL çözümlerini kullanır.

Yaşam bilimleri
Klinik laboratuvarlar, araştırma kurumları tarafından üretilen çeşitli veri türlerini işlemek için ETL çözümlerine ve yapay zekaya (AI) güvenir. Örneğin, aşı geliştirme konusunda iş birliği yapmak için çok miktarda verinin toplanması, işlenmesi ve analiz edilmesi gerekir.

Kamu sektörü
Nesnelerin İnterneti (IoT) yeteneklerinin çok hızlı bir şekilde ortaya çıkmasıyla, akıllı şehirler trafiği optimize etmek, su kalitesini izlemek, park alanlarını iyileştirmek ve daha pek çok şey için ETL'yi ve yapay zekanın gücünü kullanıyor.

ETL Ürünleri ve Çözümleri

Hizmet Odaklı Mimari (SOA) Ürün Grubu
Uygulama yazılımı entegrasyonunun karmaşıklığını nasıl azaltabilirsiniz? Tek bir platformda basitleştirilmiş bulut, mobil, şirket içi ve IoT entegrasyon kabiliyetlerinin tümünü sunan bu çözüm, bu çözüm, daha düşük bir toplam sahip olma maliyeti (TCO) ile birlikte daha hızlı entegrasyon ve artan üretkenlik sağlayabilir. Oracle Oracle E-İş Yönetim Sistemi dahil olmak üzere birçok kurumsal uygulama yazılımı, veri akışlarını düzenlemek için bu ürünü yoğun bir şekilde kullanır.

GoldenGate
Dijital dönüşüm genellikle verilerin yakalandığı yerden ihtiyaç duyulan yere taşınmasını gerektirir ve GoldenGate bu süreci basitleştirmek için tasarlanmıştır. Oracle GoldenGate şirket içinde, bulutta veya kendi kendini yöneten bir veritabanında bulunan heterojen veritabanları arasında gerçek zamanlı entegrasyon için yüksek hızlı bir veri çoğaltma çözümüdür. GoldenGate sistem performansını etkilemeden veri kullanılabilirliğini artırır. Böylece gerçek zamanlı veri erişimi ve operasyonel raporlama sağlanır.

Bulut Veri Akışı
Bulut Veri Akışı çözümümüz, yüksek hacimli veri akışlarını gerçek zamanlı olarak almak ve kullanmak için tamamen yönetilen, ölçeklenebilir ve dayanıklı bir çözüm sağlar. Mesajlaşma, uygulama günlükleri, operasyonel telemetri, web tıklama verileri veya verilerin bir yayınla-abone ol mesajlaşma modelinde sürekli ve sıralı olarak üretildiği ve işlendiği diğer durumlar için bu hizmeti kullanın. Spark ve Kafka ile tamamen uyumludur.