Büyük Veriyi Saklama
-
Selamlar, geliştirmekte olduğum bi uygulamada büyük veriyi nası saklıcağım konusunda tereddütlerim var,
En basitinden kullanıcının uygulamada girip çıktığı her sayfayı loglamak istiyorum,
Bu ve bunun gibi şeyler için hangi database'i önerirsiniz ?
Ve azure, amazon gibi cloud platformlarını mı yoksa doğrudan hosting firmalarını mı tercih etmeliyim ?
Teşekkürler şimdiden
-
ne kadar büyük veri?
-
hocam daha fazla bilgi vermelisin ki cevap verilebilsin sana göre 1m kayıt büyüktür bana göre küçük bir veridir o yüzden daha fazla bilgi lütfen .
-
öncelikle nerde değil hangi platfromda diye sorman daha doğru olur. Logları NoSQL bir yapıda tutabilirsin verileri hızlı işlemek için. Geri kalanlar için MySQL kullanabilirsin şuan 4-5gb lık verilerde ve güzel bir ayarla sorun çıkarmadan kullanabilmekteyiz tabi amazonda ayrı bir instance açarak sadece mysql olarak ayarladığımız makinada. Burda çoğu şirketin satış ve giren çıkan bilgisi tutulmakta.
artı olarak arama bazlı işler yapıcaksanda hadoop veya solr ı öneririm 300gb lık text veri içinden verileri getirmesi gayet hızlıdır sanki 1-2 mb lık veritabanında sorgu yaparcasına hızlı tepki vermektedir.
Ccaglayan tarafından 09/Oca/16 17:30 tarihinde düzenlenmiştir -
Depo/otomasyon sistemi,
Aynı anda 100lerce şirketin kullanıp ürünlerini kontrol edebileceğini düşünebiliriz,
MySQL biraz sönük kalır gibi geldi, gün içinde ürünün gelişi çıkışı faturası vs. bir çok işlem olucak,
Belirli bi zaman sonunda kullanıcı sayısı artınca sistemi en başından tekrardan tasarlamak istemiyorum, o yüzden en kötü senaryoya göre bişeyler yapmak istiyorum,
Yani max. 2k kullanıcı sorgu yapıcak, 10-15gb'lık bi db'nin içinde aynı anda 100 kullanıcı sorgu yapar diye düşünüyorum(en kötü)
-
KuZeTaR bunu yazdı
Depo/otomasyon sistemi,
Aynı anda 100lerce şirketin kullanıp ürünlerini kontrol edebileceğini düşünebiliriz,
MySQL biraz sönük kalır gibi geldi, gün içinde ürünün gelişi çıkışı faturası vs. bir çok işlem olucak,
Belirli bi zaman sonunda kullanıcı sayısı artınca sistemi en başından tekrardan tasarlamak istemiyorum, o yüzden en kötü senaryoya göre bişeyler yapmak istiyorum,
Yani max. 2k kullanıcı sorgu yapıcak, 10-15gb'lık bi db'nin içinde aynı anda 100 kullanıcı sorgu yapar diye düşünüyorum(en kötü)
ben mysql'den şaşma derim. eğer verinin başka yerde yedeği varsa mongodb'ye falan atabilirsin alternatif olarak, yoksa çok hızlı olsun sistem memory'de var diyorsan sunucuda elasticsearch'a bakabilirsin. veriyi nasıl sorgulamak istiyorsun bilmiyorum ama basit tek koşullu select sorgularıyla cassandra'ya bakabilirsin. ama bunların hepsini öğrenmen zaman alacak o yüzden hem güvenilir hem de hızlı olan mysql'den gitmen daha mantıklı olur. gerektiğinde daha büyük makina alırsınız, olmadı sharding yapabilirsin. veri zaten büyük değil, anladığım kadarıyla senin için önemli olan veriyi yazmaktan ziyade okumak dolayısıyla büyük veri için tasarlanan veritabanları (hadoop üzerinde çalışan vs.) senin pek işini görmez.
-
KuZeTaR bunu yazdı
Depo/otomasyon sistemi,
Aynı anda 100lerce şirketin kullanıp ürünlerini kontrol edebileceğini düşünebiliriz,
MySQL biraz sönük kalır gibi geldi, gün içinde ürünün gelişi çıkışı faturası vs. bir çok işlem olucak,
Belirli bi zaman sonunda kullanıcı sayısı artınca sistemi en başından tekrardan tasarlamak istemiyorum, o yüzden en kötü senaryoya göre bişeyler yapmak istiyorum,
Yani max. 2k kullanıcı sorgu yapıcak, 10-15gb'lık bi db'nin içinde aynı anda 100 kullanıcı sorgu yapar diye düşünüyorum(en kötü)
gayette mysql bu stresin altından kalkar burdaki kilit nokta mysqlin güzel optimasyonudur ve iyi bir hardware kullanmaktır. @Buremba ya katılıyorum dediklerinde belirli yerlerde nosql kullanabilirsin ama buda sistem memoryisine yük bindircektir. Tabi herşey veritabanı yapısınada bakmıyor adam akıllı optimasyon şekilde programın yazılması ve iyi sqllerin yazılması gerekmektedir. Gereksiz sorgulardan kaçınarak mysql ile harikalar yaratabilirsin.
-
Ya su optimizasyon ile ilgili ufak ornekler verebilir misiniz.
Cok iyi olur diye dusunuyorum.
-
"sönük kalır gibi geldi" dedigin mysql'i su an facebook, youtube, wikipedia, linkedin, twitter gibi devler, database serverlarında kullanıyor hocam :)
arkasında oracle'ın oldugu bir veri tabanı yönetim sistemi icin "yeterli olur mu acaba" diye kaygıya düsmeyin.
hardware & tuning ikilisinin yapılandırmalarını da göz önünde bulundurarak her türlü transaction yükünün altından kalkabilirsiniz.
Andrei tarafından 09/Oca/16 19:28 tarihinde düzenlenmiştir -
PostgreSql i tavsiye edebilirim.. Sıralamada MySql in üstünde yeralır...
-
@Buremba hocam aslında veri girişi de olucak, ama ne kadar boyutta olucağını kestiremiyorum, ama sanırım yine de MySQL ideal olucak gibi
@Ccaglayan Tek tablo içinde 100 şirketin bütün ürünlerini saklıcak ve eş zamanlı sorgular olucak sürekli, yüksek ihtimalle bu sorguların hepsi 9.00-18.00 arasında olucak, nası optimize edebilceğim konusunda bi fikrim yok, cache'de tut falan diyolar, ama hiç bi fikrim yok nasıl yapıldığına dair:)
@Andrei Cehalet hocam:) ama FB, Twitter gibi devler NoSQL kullanıyo diye biliyodum
@SerYolcu Postgre'yi hiç düşünmemiştim, bi göz atayım
Hepinize değerli yorumları için teşekkür ederim
KuZeTaR tarafından 10/Oca/16 04:32 tarihinde düzenlenmiştir