Ölçeklenebilir ve sürdürülebilir analitik sistemler, Modern Veri Mühendisliği ile yürütülebilir.
DATAMIND, geleneksel analitik çözümleri kullanmak yerine modern veri mühendisliği çözümleri kullanarak kompleks veri analitikleri oluşturur.
Geleneksel IT sağlayıcılarının aksine DATAMIND, yeni teknolojiler kullanarak modern veri yönetimi çözümleri sunar. Tüm veri ekosistemini ele alarak, modern iş zekası gözünden doğru ve hızlı çözümlere odaklanır. Veri mühendisliği çözümlerimiz, müşterilerimize güçlü, sağlam, hatasız ve ölçeklenebilir veri yönetimi sağlar.
- Tüm kaynaklardan veri entegrasyonu
- Veri hazırlama (ETL)
- Veri keşfi
- Algoritma ve modüllerle veri işleme, analitikler
- Güvenilir ve ölçeklenebilir erişim için veri kararlılığı
DATAMIND olarak, müşterilerimizin mevcut sistemleri ile pragmatik yaklaşımlarla modern ürünleri kullanarak çalışıyoruz. Modern veri çözümleri ve mimarisini oluşturmak zaman alsa da, müşterilerimizin mevcut sistemlerine de destek vererek çalışmalarımızı sürdürüyoruz. Bu çalışmalarımız;
- Veri kalitesi yönetimi
- ETL işlem yönetimi
- Verilerin çıkarılması, veri kalitesinin artırılması ve dönüşümler (Data Quality Improvement)
- Veri tabanı yönetim sistemi (Database Management System)
- Veri ambarı yönetimi (Datawarehouse Management & ETL)
- Veri yönetişimi ve Veri Güvenliği (Data Governance & Data Security)
Bu maddeler çerçevesinde, verinin konsept olarak ele alındığı aşağıdaki başlıklar, DATAMIND ailesi olarak müşterilerimize sunduğumuz danışmanlık ve diğer hizmetleri kapsamaktadır.
Veri Yönetimi ile Veri Kalitesinin Arttırılması
Şirketlerin ülkeleri ve tüm dünyayı etkileyen başarıları, karar verici pozisyondaki yöneticilerin zamanında verdiği doğru analiz edilmiş verilere dayalı, stratejik ve operasyonel kararlarına bağlıdır. Bu başarılı kararların temelinde ise kanı değil kanıt yatmaktadır. Bu başarıya ulaşmak, kanıtların güvenilir ve tutarlı olmasına bağlıdır. Kanıtlar şirketlerin ve çeşitli organizasyonların sağlıklı ham verilerinden ve güvenilir diğer kaynaklardan yararlanılarak zenginleştirilmiş faydalı, anlamlı, tutarlı verilerinden oluşmaktadır. Özetlemek gerekirse bu verilerden yola çıkarak yapılan tahminler de verilen kararlara ve kararı veren şirketlere olan güveni arttırmakta, müşterilere ve yatırımcılara, bu şirketlerle çalışma noktasında büyük bir cesaret vermektedir.
Birçok yönetici veri kalitesini artırmanın öneminin farkında değildir ya da IT birimi bu konuya gereken özeni göstermemekte gerekli çalışmaları yapmamaktadır. Ancak bilinenin aksine veri kalitesi büyük-küçük her şirket için hayati önem taşımaktadır. Düşük veri kalitesi doğrudan ya da dolaylı olarak büyük ekonomik zararlara yol açabilir veya siz farkında olmadan hedeflediğiniz performansı alamamanıza neden olabilmektedir. Bu durum hedeflenen başarıya ulaşma noktasında sizi sekteye uğratabilmektedir.
Veriler şirket-sektör standartlarına uygun olmalıdır. Kalitesiz veri şirketlere olan güveni sarsmaktadır. Kalitesiz veri demek, yüksek maliyet ve düşük gelir demektir. Kısaca özetlemek gerekirse daha çok performans harcanıp daha az kazanılması anlamına gelmektedir. Örnek bir senaryo kurgulamak gerekirse; bir finans şirketi olduğumuzu varsayalım. Bu şirket, müşterilerinin kimlik numarası, telefon numarası, kredi kart numarası v.s. bilgilerinden herhangi birinin verisinde bir hata yaptığında ve bu ortaya çıktığında müşterinin tepkisi ne olmalıdır? “Bu şirket gerçekten benim paramı yönetme kabiliyetine sahip mi?” sorusu müşterinin ilk aklına gelen soru olacaktır ve şirkete olan genel güven sarsılacaktır. Bu durum da haliyle yatırımcıların şirketinizden uzaklaşmasına yol açacaktır.
Şirketlerin ve çeşitli organizasyonların geçmişine dair ham verilerin ve güvenilir kaynaklardan yardım alarak zenginleştirdiği faydalı verilerin kaliteli olması şirket geleceğinin inşası açısından son derece önemlidir. Birçok sebepten dolayı zamanla verilerde bozulmalar meydana gelebilmektedir. Bozuk ve doğru olmayan verilerle alınan kararların maliyeti oldukça yüksektir. Bazen bunu ölçmek mümkün bile olmayabilmektedir.
Başarısı doğru karar vermeye bağlı bir organizasyon verilerini özenle tutmak ve yönetmek zorundadır. Çünkü bir organizasyon geleceğini tayin eden stratejik kararları doğru veriler ışığında alırsa başarıya ulaşılabilir.
Veri kalitesini arttırma çalışmalarında göz önünde bulundurulan etmenler şunlardır;
- İşletme kurallarına hakim olmak.
- Veri kümeleri arasındaki ilişkilere hakim olmak.
- Verinin elde edildiği kaynaklardan veya türetildiği yöntemlerden haberdar olmak.
- Veri temizleme teknolojilerine (Data/Text Mining, ETL, SQL vs.) ve yaklaşım biçimine hakim olmak.
- Geliştirme desteğini alabilmek.
- Geliştirme süresini kontrol altında tutabilmek.
- Lisans maliyetlerini karşılayabilmek.
- Proje maliyetini kontrol altında tutabilmek.
- Her aşamada veri güvenliğinin sağlanması.
Süreci daha detaylı ve literatüre uygun şekilde ele alırsak veri kalitesini arttırma çalışmalarında şu aşamalardan geçildiğini ifade edebiliriz:
ETL( Extract – Transform – Load “Çıkart – Dönüştür – Yükle”) temel olarak kullanılacak verinin dış kaynaklardan çıkarılması, verinin iş önceliklerine göre temizlenmesi, birleştirilmesi, kısıtlarının ve kalitesinin dönüştürülmesi ve son hedefe (veritabanı veya veri ambarı) yüklenmesi sürecine denir. Yüksek boyutlu veriler operasyonel sistemlerden alınıp veri ambarı veya data mart’lara yüklenirken ETL sürecine sokulurlar. Amaç iş zekasında kullanılacak verinin en etkin kullanılabilecek hale sokulmasıdır.
Veri ambarı, işlem sistemlerinden, operasyonel veri depolarından ve dış kaynaklardan elde edilen verileri tutmak için tasarlanmış bir depolama mimarisidir.
Veri ambarı, soyutlaştırılmış ve tarihle ilişkilendirilmiş konu alanlarını, gerekli detay ve kırılımlarda barındırarak farklı analizlerde işlevli kılmayı hedefler. Datamartlar ise, benzer zaman detaylarında ve konuya odaklı verilerin boyutlar ve fact’lerin ayrılarak analiz edilmesi için kullanılan veri alanlarıdır.
Data governance, veri ile ilgili işlemler için bir sorumluluklar sistemidir. Bu sistemin temelini ise politikalar, standartlar ve prosedürler oluşturur. Sistem, politikalar, standartlar ve prosedürler sayesinde verinin ne zaman, hangi şartlar altında, hangi eylemlerde, hangi yöntemler ile kimler tarafından kullanılacağına ve veri sahipliğine karar verir. Bu tür politikalar verinin doğruluk, erişilebilirlik, tutarlılık, bütünlük ve güncellenmesi de dahil olmak üzere çeşitli bölümlerinden sorumlu kişilerin kim olduğunu belirtmelidir. Bu süreçler dahilinde verilerin, nasıl depolanması, arşivlenmesi, yedeklenmesi ve güncellenmesi gerektiği veya hırsızlık ve siber saldırılara karşı nasıl etkilendiğinin verisinin tutulması ve bu işlerle ilgilenen ekiplerin belirlenmesi veri yönetişimi ve veri güvenliğinin konusudur. Firmalarda, firma ya da müşteri verilerinin, o veri ile ilgili yetkili personel tarafından kullanıldığına emin olunması için belirli standardizasyon çalışmaları yapılmalıdır.
Verileri, yapısal (Structured), yapısal olmayan (Unstructured) şeklinde 2 sınıfa ayırmak mümkündür. Yapısal veriler, belirli bir veri tabanında duran, raporlanabilen, uygulamaların ürettiği veriler olarak karşımıza çıkmaktadır. Firmaların yönetmekte zorlandığı veri sınıfı ise yapısal olmayan verilerdir.
Oluşan BT varlıklarının %50 ila %80’i yapısız verilerden oluştuğu ve en az denetlenen ve yönetilen alan olduğu düşünülürse, denetlemelerde ve yönetim sistemlerinde, veri yönetişimi ve veri güvenliği büyük öneme sahiptir.