Veri ambarı, işletme ve/veya şirketler için anlam ifade eden içeriklerin depolanarak takip edildiği ve yönetildiği alandır. Farklı kaynaklardan gelen pek çok anlamlı içeriğin kolay, pratik ve hızlı bir biçimde erişilebilir olmasını mümkün kılan veri ambarı (Data Warehouse), veri analizi ve yönetimi sürecine de aynı kolaylıkta imkan sunar.
Veri Ambarı Nedir?
Veri ambarı, mevcut verilerin efektif ve stratejik kullanımına yardımcı teknolojilerin ve bileşenlerin bir arada bulunmasından, bir bakıma karışımından vücut bulur. Oldukça yüksek boyuta sahip verilerin dönüştürüldüğü ki buna işlem tabloları da dahil, basit sorgular yardımıyla kısa zamanda erişilebilecek duruma getirildiği bir alan olan veri ambarlarının asli işlevi iş bilgisine kolay erişim imkanı yaratmaktır.
Veri ambarı, bir kuruluşun geleceğe ilişkin önemli ve stratejik kararları alma aşamasında belirleyici rol oynar. Başarıyla kurgulanmış olması şartıyla, veri ambarı üzerine bina edilecek pek çok analitik uygulama ile başarılı sonuçlar alınması pekala mümkündür.
Veri Ambarı Nasıl Çalışır?
Veri ambarının çalışma yapısı ve sürecin önemli aşamaları, bu ambarların nasıl çalıştığını kavramak bakımından önemlidir. Dolayısıyla veri ambarlarının nasıl bir çalışma yapısına sahip olduğu ve bu çalışma prosesinin kritik evrelerini incelemek yararlı olacaktır.
Herhangi bir veri ambarı, iletilen bilgilerin bir ya da daha çok veri kaynağından gönderildiği tek bir merkezi depo gibi de değerlendirilebilir. Öncelikle gelen verinin genel yapısının neler olabileceğini ifade etmek gerekir. Bir verinin genel yapısı şunlardan biri olabilir:
- Yapılandırılmış | Structured
- Yarı Yapılandırılmış | Semi Structured
- Yapılandırılmamış | Unstructured
Veriler, veri ambarına transfer edilmeden önce bir dizi işlem ve aşamadan geçer. BL araçları, SQL istemcileri veya elektronik tablolar aracılığıyla bir dizi aşamadan geçirilen ve veri ambarına transfer edilen veriler, kullanıcıların erişimine açık hale gelebilmesi adına işlenirler. Özetle, veri ambarı, farklı kaynaklardan kendisine iletilen bilgileri bir tek kapsama sahip veri tabanında birleştirir.
Verilerin ambara transferi öncesinde, çoğu zaman homojen olmayan bilgilerin tek tipte bir forma dönüştürülmesi gerekir. Veri ambarının nereden, hangi kaynaklardan beslendiğine de değinmek gerekir. Buna göre veri ambarı, şirketin dahili veri kaynaklarının yanı sıra harici kaynaklarından da beslenebilir. Hemen bu noktada dahili veri kaynakları ile dış kaynakların neler olduğunu açıklamak yararlı olacaktır.
İç Kaynaklar | Internel Data
- Kurumsal kaynak planlama sistemleri,
- Operasyon sistemleri,
- İçerik yönetim sistemleri,
- Müşteri ilişkileri yönetim sistemleri,
- İşletim veri tabanları,
- Excel, CSV, metin dosyaları gibi diğer dosyalar,
- e – postalar.
Dış Kaynaklar | External Data
- Üçüncü parti hizmet sağlayıcılar,
- Bulut hizmetleri
- Web siteleri,
- Sosyal medya,
- Uygulamalar ve sistemler.
Veri ambarı mimarisinde çeşitli bileşenler mevcuttur. Söz konusu bileşenlerin iki merkezi işlevi vardır: veri kazanımı veya veri edinme (data acquisition) ve veri entegrasyonudur (data integration).
Veri Kazanımı (Data Acquisition)
Veri kazanımı için başvurulan çeşitli teknikler ve yöntemlere başvurulur. En yaygın kullanılan tekniklerden bazılarıysa şunlardır:
- Tetikleyici | Trigger
Tetikleyiciler, çeşitli olaylar karşısında veri tabanında otomatik olarak uygulanması gereken işlemlerin tanımlanmasını mümkün kılar.
- Log Dosyaları
Her sistemin tetikleme teknolojisini desteklemesi mümkün değildir. Tetikleme teknolojisini desteklemeyen sistemlerde Log kayıtlarına başvurulur. Veri ambarları, log kayıtlarından hareketle günlük olarak bu dosyaları işleyebilme yeteneğine sahiptir.
- İzleme Programı | Monitoring
Veri kazanmak için tetikleyici kullanmaya elverişli sistem yoksa ve log dosyası da mevcut değilse izleme programı söz konusu olur. İzleme programı yardımıyla izlenen dosyaların periyodik olarak anlık görüntülerini oluşturan ve sonrasında bu görüntülerle geçmiş görüntüleri eşleştiren algoritmalardan faydalanılır.
Veri kazanımı için başvurulan bu yöntemlerden hiçbiri mevcut değilse manuel şekilde veri kazanımı da mümkündür.
Veri Entegrasyonu (Data Integration)
Veri entegrasyonunda, veri ambarları genellikle dosyaları çok boyutlu formlarda sunma imkanı veren OLAP fonksiyonlarından yardım alır. OLAP yani online analitik işleme prosesi ise ETL yardımıyla ilerler. Daha somut bir anlatım olması adına adım adım açıklamakta fayda var:
- E = Çıkarma | Extraxtion
Veri çıkarma, farlı veri kaynaklarından belirli bilgilerin seçimine dayanır. Bir tür gönderme veya alma stratejisi olarak da yürütülebilen bu işlem, şayet alma stratejisinin bir parçası olarak ilerlerse veri kaynaklarına düzenli şekilde veri ambarına transfer etmeleri emri verilir. Şayet çekme stratejisi olarak ilerlerse veri ambarı, veri çıkarmayı otomatik tetikleyebilir.
- T = Dönüştürme | Transformation
Dönüştürme sürecinde, çıktı dosyalar bir dönüşüm parçası olarak ayarlanarak hedef veritabanı formatına uygun biçimde çevrilir.
- L = Yükleme | Loading
Dönüştürülen dosyaların veri ambarının ilgili hedef veritabanlarına kaydedildiği süreç ise yükleme sürecidir.
Veri Ambarı Ne İşe Yarar?
Analitiğe ve iş zekası faaliyetlerine imkan sunmak ve bunları desteklemek amacıyla geliştirilen veri yönetim sistemine “veri ambarı” adı verilir. Veri ambarları sadece sorgulama ve analiz için kurulur ve genellikçe geçmiş verilerin çoğunu depolar. Veri deposu içerisinde yer alan verilerse genellikle uygulama yazılımlarının günlük dosyaları ve işlem uygulama yazılımları gibi farklı kaynaklardan sağlanır.
Birçok kaynaktan aktarılan büyük miktardaki verilerin tek bir merkez altında birleştirilmesini mümkün kulan veri ambarı; verilerden faydalı ve değerli iş içgörü elde etmesini de mümkün kılar. Zamanla, iş analistleri ve özellikle veri bilimciler için çok değerli bir tarihi kayıt oluşturur.
Veri Ambarı Kimler İçin Gereklidir?
Veri ambarına tek bir sebepten dolayı ihtiyaç duyulmadığı gibi, veri ambarına başvurması gereken tek tip bir kullanıcıdan da söz edilemez. Zira, farklı türden çok sayıda kullanıcılar çeşitli gereksinimlerini yanıt bulmak adına veri ambarından faydalanabilir. Veri ambarı kullanımı kimler için gerekli sorusuna yanıt olabilecek bazı kullanıcılar şunlardır:
- Çok sayıda ve büyük miktarda veri ihtiyacı bulunan karar vericiler,
- Birden fazla veri kaynağından bilgi almaya kurgulanmış, bunun için özelleştirilmiş, karmaşık ve kompleks süreçler kullananlar,
- Karar vermek için sistematik bir yaklaşım arzu edenler,
- Veri ulaşımını pratik bir çerçevede gerçekleştirmek için basit bir teknolojiye ihtiyaç duyanlar,
- Grafikler, analizler ve/veya raporlar için önemli bir ihtiyaç olan büyük miktarda veri üzerinde güçlü bir performans arzu edenler.
Veri Ambarının (DWH) Avantajları
İş bilgisine kolay erişim olanağı sunan veri ambarının pek çok açıdan önemli avantajı ve kullanıcıya sunduğu çeşitli kazanımları mevcuttur. Veri ambarının başlıca avantajları şunlardır:
- Birbirinden farklı kaynaklarda, dağınık ve bağımsız bir biçimde yer alan verilerin tek bir ortam/alan üzerinden hızla ve kolaylıkla erişilebilir olmasını sağlar. Bu sayede büyük bir zaman tasarrufu söze konu olur.
- Farklı kaynaklardan gelen verilerin tamamı üzerinde tutarlılık, standardizasyon ve kalite sağlar.
- Anlık raporlama ve sorgulamayı destekler özelliği sayesinde enerji ve zaman kaybını minimize eder.
- Mevcut durumu genel bir perspektiften izlemeyi; bütünsel bir bakış açısı ve yaklaşımla görmeyi mümkün kılar.
- Fırsatları ve riskleri değerlendirmeye yardımcı olur; iktisadi teşekküllere rekabet avantajı sağlar.
- Geçmiş verilerin büyük çoğunluğunu depo edebilir. Bu sayede, analitik olarak geçmiş veriye bakmak, yorumlamak, değerlendirmek ve geleceğe ilişkin isabetli öngörülerde bulunmak oldukça kolay ve pratik bir hal kazanır.
- Entegrasyona ve yapılandırmaya dair konularda esnektir.
- Özne odaklı olduğu için belirli bir işlev alanı ya da konuya dair veri analizinde bulunabilir.
- Çok sayıda ve çeşitli kaynaklardan gelen farklı veri tipleri arasında entegrasyon ve tutarlılık sağlar.
- Herhangi bir verinin veri ambarına girmesi, kararlı ve değişmez olmasına neden olur. Bu yönüyle kalıcıdır.
Veri Tabanı ve Veri Ambarı İlişkisi
Veri tabanı, şirketlerin operasyonel iş ve işlemlerin yerine getirilmesini sağlayan sistemler bütünüdür. Veri tabanı içinde birbirinden bağımsız çeşitli tablolar ve farklı temalar yer alır. Söz gelimi analitik bir gereksinim söz konusu olduğunda bu tablolara erişmek ve bunları bir araya getirmek, gerek işlem süresinin uzaması gerekse operasyon sağlığını tehdit edebilecek risklerin oluşması gibi olumsuz sonuçlara neden olabilir.
Bahse konu olumsuz durumların gelişebilme olasılığı nedeniyle veri ambarı sistemleri geliştirilmiştir. Süregiden akışa engel olmadan, talep edilen tablolar önceden bir araya getirilmiş ve analiz yahut raporlamaya hazır bir durumda veri ambarlarında yer alabilmektedir. Ayrıca belirtmekte fayda var ki veri ambarından kasıt bir ürün değil, bir tür yöntemdir. Fakat bu yöntem özelinde geliştirilmiş ürünler bulunur.