Büyük Veriyi Saklama

  1. KısayolKısayol reportŞikayet pmÖzel Mesaj
    KuZeTaR
    KuZeTaR's avatar
    Kayıt Tarihi: 26/Aralık/2009
    Erkek

    Selamlar, geliştirmekte olduğum bi uygulamada büyük veriyi nası saklıcağım konusunda tereddütlerim var,

     

    En basitinden kullanıcının uygulamada girip çıktığı her sayfayı loglamak istiyorum,

    Bu ve bunun gibi şeyler için hangi database'i önerirsiniz ?

     

    Ve azure, amazon gibi cloud platformlarını mı yoksa doğrudan hosting firmalarını mı tercih etmeliyim ?

     

    Teşekkürler şimdiden

  2. KısayolKısayol reportŞikayet pmÖzel Mesaj
    Buremba
    Buremba's avatar
    Kayıt Tarihi: 16/Haziran/2006
    Erkek

    ne kadar büyük veri?


    . . .. . ... .
  3. KısayolKısayol reportŞikayet pmÖzel Mesaj
    Herbokolog
    KaptaN
    KaptaN's avatar
    Üstün Hizmet Madalyası
    Kayıt Tarihi: 30/Ağustos/2005
    Erkek

    hocam daha fazla bilgi vermelisin ki cevap verilebilsin sana göre 1m  kayıt büyüktür bana göre küçük bir veridir  o yüzden daha fazla bilgi lütfen .

  4. KısayolKısayol reportŞikayet pmÖzel Mesaj
    Ccaglayan
    Ccaglayan's avatar
    Kayıt Tarihi: 23/Kasım/2011
    Erkek

    öncelikle nerde değil hangi platfromda diye sorman daha doğru olur. Logları NoSQL bir yapıda tutabilirsin verileri hızlı işlemek için. Geri kalanlar için MySQL kullanabilirsin şuan 4-5gb lık verilerde ve güzel bir ayarla sorun çıkarmadan kullanabilmekteyiz tabi amazonda ayrı bir instance açarak sadece mysql olarak ayarladığımız makinada. Burda çoğu şirketin satış ve giren çıkan bilgisi tutulmakta.

    artı olarak arama bazlı işler yapıcaksanda hadoop veya solr ı öneririm 300gb lık text veri içinden verileri getirmesi gayet hızlıdır sanki 1-2 mb lık veritabanında sorgu yaparcasına hızlı tepki vermektedir.

    Ccaglayan tarafından 09/Oca/16 17:30 tarihinde düzenlenmiştir
  5. KısayolKısayol reportŞikayet pmÖzel Mesaj
    KuZeTaR
    KuZeTaR's avatar
    Kayıt Tarihi: 26/Aralık/2009
    Erkek

    Depo/otomasyon sistemi,

    Aynı anda 100lerce şirketin kullanıp ürünlerini kontrol edebileceğini düşünebiliriz,

    MySQL biraz sönük kalır gibi geldi, gün içinde ürünün gelişi çıkışı faturası vs. bir çok işlem olucak,

    Belirli bi zaman sonunda kullanıcı sayısı artınca sistemi en başından tekrardan tasarlamak istemiyorum, o yüzden en kötü senaryoya göre bişeyler yapmak istiyorum,

    Yani max. 2k kullanıcı sorgu yapıcak, 10-15gb'lık bi db'nin içinde aynı anda 100 kullanıcı sorgu yapar diye düşünüyorum(en kötü)

  6. KısayolKısayol reportŞikayet pmÖzel Mesaj
    Buremba
    Buremba's avatar
    Kayıt Tarihi: 16/Haziran/2006
    Erkek
    KuZeTaR bunu yazdı

    Depo/otomasyon sistemi,

    Aynı anda 100lerce şirketin kullanıp ürünlerini kontrol edebileceğini düşünebiliriz,

    MySQL biraz sönük kalır gibi geldi, gün içinde ürünün gelişi çıkışı faturası vs. bir çok işlem olucak,

    Belirli bi zaman sonunda kullanıcı sayısı artınca sistemi en başından tekrardan tasarlamak istemiyorum, o yüzden en kötü senaryoya göre bişeyler yapmak istiyorum,

    Yani max. 2k kullanıcı sorgu yapıcak, 10-15gb'lık bi db'nin içinde aynı anda 100 kullanıcı sorgu yapar diye düşünüyorum(en kötü)

    ben mysql'den şaşma derim. eğer verinin başka yerde yedeği varsa mongodb'ye falan atabilirsin alternatif olarak, yoksa çok hızlı olsun sistem memory'de var diyorsan sunucuda elasticsearch'a bakabilirsin. veriyi nasıl sorgulamak istiyorsun bilmiyorum ama basit tek koşullu select sorgularıyla cassandra'ya bakabilirsin. ama bunların hepsini öğrenmen zaman alacak o yüzden hem güvenilir hem de hızlı olan mysql'den gitmen daha mantıklı olur. gerektiğinde daha büyük makina alırsınız, olmadı sharding yapabilirsin. veri zaten büyük değil, anladığım kadarıyla senin için önemli olan veriyi yazmaktan ziyade okumak dolayısıyla büyük veri için tasarlanan veritabanları (hadoop üzerinde çalışan vs.) senin pek işini görmez.


    . . .. . ... .
  7. KısayolKısayol reportŞikayet pmÖzel Mesaj
    Ccaglayan
    Ccaglayan's avatar
    Kayıt Tarihi: 23/Kasım/2011
    Erkek
    KuZeTaR bunu yazdı

    Depo/otomasyon sistemi,

    Aynı anda 100lerce şirketin kullanıp ürünlerini kontrol edebileceğini düşünebiliriz,

    MySQL biraz sönük kalır gibi geldi, gün içinde ürünün gelişi çıkışı faturası vs. bir çok işlem olucak,

    Belirli bi zaman sonunda kullanıcı sayısı artınca sistemi en başından tekrardan tasarlamak istemiyorum, o yüzden en kötü senaryoya göre bişeyler yapmak istiyorum,

    Yani max. 2k kullanıcı sorgu yapıcak, 10-15gb'lık bi db'nin içinde aynı anda 100 kullanıcı sorgu yapar diye düşünüyorum(en kötü)

    gayette mysql bu stresin altından kalkar burdaki kilit nokta mysqlin güzel optimasyonudur ve iyi bir hardware kullanmaktır. @Buremba ya katılıyorum dediklerinde belirli yerlerde nosql kullanabilirsin ama buda sistem memoryisine yük bindircektir. Tabi herşey veritabanı yapısınada bakmıyor adam akıllı optimasyon şekilde programın yazılması ve iyi sqllerin yazılması gerekmektedir. Gereksiz sorgulardan kaçınarak mysql ile harikalar yaratabilirsin.

  8. KısayolKısayol reportŞikayet pmÖzel Mesaj
    camarade
    ontedi
    ontedi's avatar
    Kayıt Tarihi: 04/Eylül/2005
    Erkek

    Ya su optimizasyon ile ilgili ufak ornekler verebilir misiniz.

     

    Cok iyi olur diye dusunuyorum.


    Matematikçi ve Yazılımcı. http://www.ontedi.com ve http://www.cizgi.site Siteme beklerim herkesi.
  9. KısayolKısayol reportŞikayet pmÖzel Mesaj
    unix
    Andrei
    Andrei's avatar
    Banlanmış Üye
    Kayıt Tarihi: 11/Aralık/2008
    Erkek

    "sönük kalır gibi geldi" dedigin mysql'i su an facebook, youtube, wikipedia, linkedin, twitter gibi devler, database serverlarında kullanıyor hocam :)

    arkasında oracle'ın oldugu bir veri tabanı yönetim sistemi icin "yeterli olur mu acaba" diye kaygıya düsmeyin.

    hardware & tuning ikilisinin yapılandırmalarını da göz önünde bulundurarak her türlü transaction yükünün altından kalkabilirsiniz.

    Andrei tarafından 09/Oca/16 19:28 tarihinde düzenlenmiştir

    %40 indirimli olarak "Centos Sistem ve Sunucu Yönetimi" adlı kitabımızı satın alarak, Linux üzerine yapılacak olan devam projeleri icin destekte bulunabilirsiniz : http://www.hepsiburada.com/centos-sistem-ve-sunucu-yonetimi-oku-izle-dinle-ogren-p-KKODLAB01579
  10. KısayolKısayol reportŞikayet pmÖzel Mesaj
    SerYolcu
    SerYolcu's avatar
    Kayıt Tarihi: 14/Ocak/2010
    Erkek

    PostgreSql i tavsiye edebilirim.. Sıralamada MySql in üstünde yeralır...


    Ondan çocuk olmamıştır (Kimsenin babası değildir). Kendisi de doğmamıştır (kimsenin çocuğu değildir). İhlas Suresi 3 üncü ayette bunlar yazar.
  11. KısayolKısayol reportŞikayet pmÖzel Mesaj
    KuZeTaR
    KuZeTaR's avatar
    Kayıt Tarihi: 26/Aralık/2009
    Erkek

    @Buremba hocam aslında veri girişi de olucak, ama ne kadar boyutta olucağını kestiremiyorum, ama sanırım yine de MySQL ideal olucak gibi

    @Ccaglayan Tek tablo içinde 100 şirketin bütün ürünlerini saklıcak ve eş zamanlı sorgular olucak sürekli, yüksek ihtimalle bu sorguların hepsi 9.00-18.00 arasında olucak, nası optimize edebilceğim konusunda bi fikrim yok, cache'de tut falan diyolar, ama hiç bi fikrim yok nasıl yapıldığına dair:)

    @Andrei Cehalet hocam:) ama FB, Twitter gibi devler NoSQL kullanıyo diye biliyodum

    @SerYolcu Postgre'yi hiç düşünmemiştim, bi göz atayım

    Hepinize değerli yorumları için teşekkür ederim

    KuZeTaR tarafından 10/Oca/16 04:32 tarihinde düzenlenmiştir
Toplam Hit: 3209 Toplam Mesaj: 26
büyük veri