Nedir bu “Büyük Veri”?

Bugünlerde adını sıkça duyduğumuz “Big Data” yani “Büyük Veri,” teknolojiden pazarlamaya pek çok sektöre damgasını vurmakta. Aslında yeni bir kavram olmamasına rağmen önemi yeni yeni anlaşılıyor.

Mobil teknolojilerin etkisiyle zamanımızın çoğunu online olarak geçirdiğimiz bu günlerde, her geçen gün daha fazla veri oluşuyor ve bu da Büyük Veri (Big Data) kavramının içini her saniye daha da dolduruyor.

Sosyal medyada paylaştığımız fotoğraflar, iletiler, kaydettiğimiz profil bilgileri, yaptığımız her yorum ve check-in birer birer kaydediliyor. Bunun yanı sıra lokasyon bazlı servisler, akıllı sensörler ile gittiğimiz yerler, gezdiğimiz mağazalar ve hatta rafların önünde geçirdiğimiz vakit bile birer veri olarak veri havuzunda saklanıyor. Teknolojinin gelişmesi ile hayatımıza giren “Internet of Things” yani “Nesnelerin İnterneti” iletişim ağı ile etrafımızdaki nesnelerin artık birbiriyle konuşup, bizlere daha akıllı ve kişisel servisler sunabiliyor. Her gün kullandığımız kol saati veya bardak  gibi nesneler, zamanla kendisinde biriken veriler ile bize özel servisler sunmaya başladı bile. Yakın gelecekte sıradan bir günümüz nasıl geçecek merak ediyorsanız buraya tıklayın.

Dijital ortamlarda üretilen içeriğin, 2016 yılında 7.9 zettabyte ulaşması bekleniyor.

2009 yılında 0,9 zettabyte olan veri miktarının 2020 yılında 40 kat büyüyerek 36 zettabyte olması bekleniyor (International Data Corporation). Akıllı cihazların sayısının ve kullanımının her geçen gün artması bu verilerin çok daha fazla büyüyeceğini gösteriyor.

2012 yılında dijital ortamlarda üretilen 2.7 zettabyte dijital içeriğin, 2016 yılında 7.9 zettabyte ulaşması bekleniyor. (ZettaByte = 1 Milyar TeraByte).

Verilerin hızla ve büyük miktarda artması sunucu sayılarının katlanmasını sağladı. Geçtiğimiz on yılda tüm dünyadaki sunucuların sayısı 6 kat artarak 3.25 milyona ulaştı.

Gri data olarak adlandırılan ham veriler, günümüzde işlenmeyi bekleyen verilerin %80’ini oluşturmakta. Yapısal olmayan yani yapılandırılmamış bu veriler fotoğraf, müzik, e-posta gibi verilerden oluşuyor.

Veri madenciliği: Büyük Veri ile hayatımıza giren yeni bir uzmanlık alanı

Veri dediğimiz şey inanılmaz bir hızla artsa da verilerin işlendiğinde anlam kazandığı gerçeği değişmiyor. Pek çok şirket, ellerinde oluşan bu devasa veri havuzunu en iyi şekilde kullanmak için yeni ekipler ve iş akışları oluşturuyor.

Bu ihtiyaç dahilinde günümüzde bir çok yeni meslek dalları ortaya çıktı. Bunlardan biri de veri madenciliği. İlerleyen teknoloji ile gelecekte şu an tahmin bile edemeyeceğimiz bir çok meslek dalı da ortaya çıkacak.

Başta sağlık, finans ve üretim sektörlerinde olmak üzere birçok sektör bu bilgilerin kolay yönetilmesi, saklanabilmesi, hızlı erişilebilmesi, yedeklenmesi ve arşivlenmesi konusunda yoğun olarak çalışıyor. Büyük veri (Big data), ABD’nin sağlık sektöründe yıllık 300 milyar dolarlık bir iş hacmine sahip.

5V: “Büyük Veri”yi Anlatan 5 Bileşen

* Volume (Hacim): Verilerin devasa olmasıyla depolama maliyetleri de artıyor. Maliyetler yeni teknolojilerle düşürülmeye çalışılsa da, verilerin anlamlandırılması daha da önemli hale geldi. İşletmelerin veriyi nasıl ve nerede işleyecekleri, nerede depolayacakları oldukça önemli.

* Velocity (Hız): Hacmin gün geçtikçe hızla artması, hem veri depolamanın hem de işlemenin çok hızlı olması gerekliliğini doğuruyor.

* Variety (Çeşitlilik): Sosyal ve mobil platformların her gün çeşitlenmesiyle verilerin tipi ve özellikleri de değişiyor. Önceden üretilen verilerle bu yeni ve farklı verilerin birbirleriyle entegre edilmesi uzmanların oldukça zaman ayıracağı bir süreç haline geliyor.

* Verification (Doğrulama): Hacim, hız ve çeşitlilik fazla olduğunda, verilerin ne kadar doğru olduğu, hangilerinin saklanması, gizli kalması veya atılması gerektiği ve güvenlik seviyeleri gibi noktaların da değerlendirilmesi gerekiyor.

* Value (Değer): Bileşenler arasında en son adım olan veri değeri, aynı zamanda en önemli olan. Bu adım verilerin anlamdırılması anlamına geliyor. Şirketlerin veriyi değerlendirip anlamlı bir sonuç elde etmesi önceki 4 bileşeni ne derece iyi değerlendirdiği ile mümkün oluyor.

Büyük Veri Neden Önemli?

Günümüzün rekabetçi iş dünyasında veri, başarı yolunda kritik bir değer. Veri, müşterinin tutumuyla ilgili bilgileri şekillendirebiliyor, operasyon kalitesini geliştirmeye ve maliyetlerini düşürmeye yardımcı olabiliyor. Aynı zamanda yenilikçi ürün özelliklerini destekleyebiliyor. Tüm bunların sonucunda karlılığı da artırabiliyor.

Karlılık süreçlerini bu denli etkileyen büyük verinin doğru kullanımı ve sürekliliğinin sağlanması şirketler için vazgeçilmez unsurlardan biri haline geldi. Büyük veriyi analiz etme yeteneğini geliştiren şirketler, daha önce görmedikleri bir çok farklı davranış modeline ulaşarak, geleceği çok daha keskin bir şekilde tahmin edebilecek ve müşterilerine doğru yer ve zamanda hizmetlerini ulaştırma fırsatı yakalayacak.

Şirketler, günümüzde büyük veri’yi (big data) en iyi şekilde değerlendirebilmek için verilerin işlenip, saklanacağı altyapıları oluşturmak zorunda.

Verilerin işleneceği altyapılara örnek olarak Google’ı verebiliriz. Google, teknolojisini kendi geliştiriyor ve verilerini kendi tutuyor. (Google File System ile tutup, MapReduce ile işleyerek Big Table ile saklıyor.)

Birçok yazılımcı açık kaynak kodlu yazılımlar geliştiriyor. Bunun en bilinen örnekleri: Hadoop, HBase, Lucene gibi teknolojiler.

Facebook, Twitter, LinkedIn gibi firmalar ise büyük veriyi işledikleri yazılımları açık kaynaklı olarak yayınlıyorlar ve Cassandra, Hive, Pig, Voldemort, Storm gibi projelerin ortaya çıkmasını ve gelişmesini sağlıyorlar.

Tabi,  bir de yazılımlar ile yapılan veri toplama çalışmaları yanında bu verinin güvenli bir yerde barındırılması gerekiyor. Yukarıda bahsi geçen markaların bazıları bunun için kendi veri merkezlerini kurarken birçok şirket de verilerini %100 güvenlik ve yedeklilik imkanı sağlayan veri merkezlerinde barındırıyor. Çünkü veri merkezleri internet erişimi, fiziki güvenlik, iklimlendirme ve yedekli enerji konusunda büyük veriye ev sahipliği yapabilecek nitelikte yapılandırılıyor.

Kaynaklar: Big data nedir?, Big data nedir?, Büyük veri nedir?