Forum
Aktif konular
Üyeler
Kurallar
Arama
Büyük Veri İçin Database? Büyük Veri İçin Database?
-
Kaç milyon tablo var yazar misin? O zimbirtiyi ben de kullanıyorum ve hızlı çalışma ihtimali yok. MySQL ile devam.
-
15 gb veride mysql kaldırmıyor mu? Ne diyon hacı sen? Millet Facebook yazmış mysql üzerine sen kaldırmıyor diyorsun. Hemde 4 tane dvd yi.
Tablo yapılarını, sorgu şeklini, indexlerini, partition'larını, triggerlarını kontrol et hacı.
DrKill tarafından 17/Mar/16 00:29 tarihinde düzenlenmiştir -
MySQL ayarlarını kontrol etmekte fayda var. phpmyadmin varsa panele girip status'a bakabilirsin herhangi bir uyarı ya da hata var mı. MySQL error log'larına bakabilirsin. Kullandığın SQL sorgunu kontrol edebilirsin.
Alternatif diyorsan eğer ben mongoDB kullanıyorum nosql.
-
15 GB veride nasıl bir sorguda crash yaşıyorsun hocam detayları paylaş yardımcı olmaya çalışalım
-
burda veri miktarından çok tablo yapısı tablo hangi engine ile çalışıyor bu önemli oturupda bir sorguda 20-30 tane tabloyu relationlarsan mysql kafayı yer olabildiğince inner join vb şeyleri yapmaktan kaçınmalısın sürekli atılan sorgularda. Birde myisam ve innodb engine leri arasındaki farkları iyi oku ve tabloları buna göre yapılandırmanı öneririm yoksa çok üzer seni. Örnek myisam da attığın sorguda bütün tabloyu kitler başka bir sorgu gelip orayı okuyamaz beklemek zorunda kalır. innodb de ise bu kitleme row bazlı olduğu için sorun ile karşılaşmazsın. innodb geriye dönüş imkanı vardır veri silinmesinde vs ama myisamda gitti mi gitti. şimdilik aklıma gelenler bunlar ama şöyle örnekler vereyim buralara kesinlikle bak
http://stackoverflow.com/a/15678615ve birde yeni versionlarda baya bi iyileştirme felan yaptılar yeni versionlardaki yenilikleri ve performans ayarları üzerine yazıları okumanı şiddetle öneririm.
-
hocam senin sorunun kodlama da gibi tek seferde 10 gb sonuç aldıgımı biliyorum ben yaklaşık 90gb data dan gelen sonuç bu ama sen tabloları oracle a atıp ordan çekmeyi deneye bilirsin bu arada joinlerine çok dikkat et çözersin.
-
Sen başkasınınkini görmediğinden kendininkini büyük sanmışsın.
-
15gb buyuk veri degil hocam. MYSQL, MSSQL falan TB'larca data tutabiliyor. Aktif bulk sorgular yapan sistemde bile su anda
645G /mnt/db
mysql database var ve sikintisi yok genel olarak.
ilk yapacagin sey mysql ayarlarini degistirmek. hiz sorunun varsa indexlerini falan da guncelle.
edit: yukarida arkadas yazmis kac milyon table var diye. Onun gibi bir sey varsa onu da degistir. Daha once gormustum her gelen user'a table aciyordu elemanin biri okumasi kolay olsun diye. Onun gibi bir sey yapiyorsan lutfen kapat 2-3 table ile birlestirip oyle store et datayi. Bunun olma ihtimalini dusunmek bile icime rahatsizlik getirdi :D.
musdawdaf tarafından 17/Mar/16 11:33 tarihinde düzenlenmiştir -
Sevgili müritler şu anda 19 gb'lik bir database mevcut sorgu yaptığım zaman mysql crash oluyor ve alttaki hatayı veriyor. Mysql'i şimdi başlatamıyorum. O kadar veriyi tekrardan import etmek zorunda kalıyorum.
[Err] 2013 - Lost connection to MySQL server during query
03:08:11 [mysql] Error: MySQL shutdown unexpectedly.
03:08:12 [mysql] This may be due to a blocked port, missing dependencies,
03:08:12 [mysql] improper privileges, a crash, or a shutdown by another method.
03:08:12 [mysql] Press the Logs button to view error logs and check
03:08:12 [mysql] the Windows Event Viewer for more clues
03:08:12 [mysql] If you need more help, copy and post this
03:08:12 [mysql] entire log window on the forums
Kirmizi27 tarafından 19/Mar/16 03:13 tarihinde düzenlenmiştir -
Kirmizi27 bunu yazdı
Sevgili müritler şu anda 19 gb'lik bir database mevcut sorgu yaptığım zaman mysql crash oluyor ve alttaki hatayı veriyor. Mysql'i şimdi başlatamıyorum. O kadar veriyi tekrardan import etmek zorunda kalıyorum.
[Err] 2013 - Lost connection to MySQL server during query
03:08:11 [mysql] Error: MySQL shutdown unexpectedly.
03:08:12 [mysql] This may be due to a blocked port, missing dependencies,
03:08:12 [mysql] improper privileges, a crash, or a shutdown by another method.
03:08:12 [mysql] Press the Logs button to view error logs and check
03:08:12 [mysql] the Windows Event Viewer for more clues
03:08:12 [mysql] If you need more help, copy and post this
03:08:12 [mysql] entire log window on the forums
Tabloların ve tablolara ait örnek veriler ve yazdığın sorguları burada yazarsan o zaman yadımcı olabiliriz. İçimizden kimse müneccim değil hacım.
Kısayol
Şikayet
Özel Mesaj
Alıntı yap
Cevapla