Google Bu İşi Nasıl Nasıl Yapıyor? Milyonlarca Sonuç ve 0,21 Saniye

google-veri-toplamaUzun zamandır merak ettiğim ve araştırdığım bir konu bu soruyu kime sorsam ıgghh edip duruyordu.  Cevapsız olan kalan sorularımdan bir tanesiydi. Bugün  Musa Savaş abime sordum ve …

Her zaman merak ettiğim Google üzerinde bir kelime aradığımızda milyonlarca sonuç buluyor hemde milisaniyeler içerisinde bunları karşımıza getirebiliyor.  Peki bu kadar hızlı bir taramayı bu kadar büyük bir veri yığını içerisinden SQL sorgusuyla,  kendi filtrelemeleriyle ve kullanıcı filtrelemelerinden geçirerek karşımıza birkaç milisaniye içerisinde nasıl getirebildiğiydi. Nasıl bir teknoloji kullandıklarıydı…

Düşünsenize Google’ı açıyorsunuz ve bir kelime arıyorsunuz ..

send feedback için yaklaşık 265.000.000 sonuçtan 1 – 10 arası sonuçlar (0,24 saniye)

Karşınıza 250 milyon sonuç çıkıyor ve bu sonuçlar 0,24 saniye gibi manyak bir süre içersinde listeleniyor.   Google önbelleğine aldığı sitelerin içerisinde aradığımız kelimeyi tarıyor ve bu kelime ile alakalı sonuçları kendi kurallarına ve filtrelerine göre dizerek karşımıza getiriyor.  Bunu hangi bilgisayar diski ile 0,24 saniyede getirebilirsiniz ?

Ne kadar süper bir işlemcinizde olsa ne kadar hızlı bir diskiniz bile olsa bu kadar düşük bir süre için  artık işlemci – ram veya harddisk hızını geçtim altın ile baskı devresi olan anakart bile olsa işletim sisteminin hızının bile yetmeyeceğine karar verdim.  Hadi geçtim işletim sistemini  diskin FAT32 / NTFS bile olmasının bu hızda etkisi olacağını ortaya çıkıyor.

En hızlı dosya sistemi olarak NTFS ‘yi bile ele alsak desek ki Google NTFS olan disklere veriyi yazsa yinede NTFS ‘nin bile hızının bu kadar sonucu 0,24 saniyede getirebileceğine imkan vermiyorum.

Peki ne olabilir ?

1. Google kendi server makinalarını özel yaptırıyor.   Tamam olabilir.

2. Google kendi işletim sistemini kullanıyor.  Tamam kesinlikle böyle.

3. Google kendi dosya sistemini yazdı.  Abi o kadar hızlı bir dosya sistemi olabilir mi ?

4. Google binlerce sunucusu ile aynı anda sorguyu çalıştırıyor.  Olsun yinede bu hız ?

Musa Abi gülümseyerek şu cevabı verdi ;

Google verilerinin bir kopyasını disk yüzyinde taşıyor fakat asıl veri tabanını disk yüzeyinde taşımıyor.

Nasıl yani bir disk kullanmıyor mu ?  Ne kullanıyor ? Veriyi nerede tutuyor ?

Ramlerde..!

Bir an şaşırdım veriyi nasıl RAM üzerinde tutabilir ki dedim ? Bu kadar büyük bir veri yığını RAM üzerinde tutulabilir mi ?  Evet dedi. Google’ın en büyük yatırımı RAM lerdir.   Bu yüzden bir sürü diski var bu diskleride Gmail deki hayvan gibi depolama sistemi sunabiliyor :)   Boşa ziyan olmasın :)

Hiç böyle birşeyi düşünmemiştim.  Hani Google’ın veri tabanının RAM ler üzerinde tutulabileceği ? Tabiki disk hızı, dosya sistemi felan hikaye olarak kalıyor.  Olay tamamiyle SQL sorgusuna kadar RAM üzerinde tutulması 0,24 milisaniyede milyonlarca sonuç üzerinde tarama yapmasına ve sonuçların filtreleme edilmesine olanak verebilir.

Şimdi kafamda yeni bir soru işareti oluştu… Google RAM ‘leri hangi firmadan alıyor :) Herhalde sağlam bir bütçe ve sağlam bir yatırım hangi firmadan alıyorsa o firmayı ihya ediyordur kesin :)

Neyse orası bizi ilgilendirmez :)

FaceBook ile paylaş... Friendfeed ile paylaş... Twitter ile paylaş

Yönetici Notu :
#0
Lütfen yapacağınız yorumlarda kişi ve kurumlara hakaret etmeden, kişilik haklarına zarar vermeden düşüncelerinizi yazınız.
  1. Seval
    Eylül 10th, 2009 04:03

    Bende çok merak etmişimdir. Sayende öğrendim, teşekkürler.

  2. _KmL_
    Eylül 10th, 2009 04:06

    RAM’ler aklıma daha önce yatmıştı ama bende anlam veremedim. Windows da il açılma anında RAM lere alınıyor ve oradan çalışıyor yoksa baya yavaş olurdu:) Akıl alır gibi değil! Kim bilir ne kadar RAm i vardır? İstesem bi tanesini hediye yollarlar mı acep? :) Teşekkürler, soru işeretinin yerin ünlem aldı :D

  3. Tailan
    Eylül 10th, 2009 04:12

    Yanlış hatırlamıyorsam izlediğim bi seminerde 2. el ramleri ve bozuk ramleri tamir ederek kullandıklarını söylemişlerdi.

  4. erkan durmaz
    Eylül 10th, 2009 08:28

    Bilgilendirme için tşkler.

  5. Mehmet (Blog Gazanya)
    Eylül 10th, 2009 10:05

    Onlara RAM satan firma başka bir yer için sipariş de almıyordur :)

  6. MaTaDoR
    Eylül 10th, 2009 13:08

    Ek Bilgi: RAM’ler üzerindeki verileri elektrik akımı olduğu müddetçe tutabilirler. Çok hızlıdırlar fakat elektrikte milisaniyelik bir kesinti bile olsa tüm veriler RAM üzerinden uçar gider. Bu nedenle mutlaka disklere de kayıt ediliyordur.

    Hamza hocam yazdığın bu konuda, Google binlerce sunucusu ile özel bir paralel işlem mekanizması kullanarak sorgu yaptırıyor diye duymuştum. Yani mesela TR’de bulunan bir Google sunucusu anlık olarak 200 sorguya izin veriyor diyelim, bu şekilde binlerce sunucu arasında paylaşım yapılıyor ve bu müthiş gizli algoritma sayesinde çok kısa sürece istenen kelimeler aratılıyor diye biliyorum.

  7. Yakup Buğra
    Eylül 10th, 2009 15:11

    Meraj ediyordum öğrendim. Ama ben de şimdi o ram’leri üreten firmayı merak ettim :) Şunu da merak ediyorum, neden hep başkalarının hikâyelerine şaşırıyoruz? Bi gün bir Türk firmasının bu türlü efsanevi hikâyelerine şaşaıracakmıyız. Vay bee diyecekmiyiz?

  8. BilgiBankan
    Eylül 10th, 2009 16:06

    Vallaha süpermiş hiç düşünmemiştim böyle bir souyu :) Ama cevabını heyecanla okudum.Demek ram ha! vallaha bu google’ı durduramazlar.Kafaları çalışıyor bunların :) )

  9. MiM
    Eylül 10th, 2009 22:50

    İlginç ve harika :) RAM’leri neden kendisi yapmasınki?

  10. Yakup
    Eylül 10th, 2009 23:02

    Hamza abi çok teşekkürler, güzel bir konu seçimin olmus, bilmiyordum. Öğrendim.. devamını dileriz.. =)

  11. trgy
    Eylül 10th, 2009 23:33

    Bu Google girdap gülüm :)

  12. _KmL_
    Eylül 11th, 2009 05:58

    Bu işin bide görseli var :D

  13. Ferhat UZUNSINAN
    Eylül 11th, 2009 18:30

    RAM hee vayy bee mantıklı RAM leri kullanıyor DİSK ler boş kalıyor onlarıda GMAIL gibi yada benzer işlerde kullanıyor :) hımmm dogru cevapları aldıgımızda kareler yerlerine oturuyor ve dogru sonuc gibi geliyor. Musa ve Hamza’ya Teşekkürler.

  14. Serkan Cura
    Eylül 11th, 2009 19:01

    Bence Kingston kullanıyordur. Hamza :) ne dersin :p

Yorum sayfalarımız