Forum
Aktif konular
Üyeler
Kurallar
Arama
100 Gb TSV Dosyasını İşlemek? 100 Gb TSV Dosyasını İşlemek?
-
Hocam selamlar.
Oncelikle Large Text Viewerla bir dener misiniz ? http://large-text-file-viewer.software.informer.com/5.2/
Aksi halde Veritabanina yazdirip oradan calisabilirsiniz...
-
Hocam veritabanına çevirme işi hiç aklıma gelmemişti. Biriler idaha yazdı konuda. Oldukça mantıklı. Daha önce hiç bu kadar büyük dump bile import etmedim. Kaldı ki bu tsv dosyası. Yani ilk satırda başlık, alt satırlarda veriler var. Sütunlar tab ile ayrılı. 100 gb dosyayı import edebilir miyim? Tsv dosyasını import edebilir miyim? Elbet akşam google'dan bakacağım ama tecrübesi olanlar yazarsa makbul geçer.
krypt tarafından 04/Nis/16 09:49 tarihinde düzenlenmiştir -
KrypT bunu yazdı
Hocam veritabanına çevirme işi hiç aklıma gelmemişti. Biriler idaha yazdı konuda. Oldukça mantıklı. Daha önce hiç bu kadar büyük dump bile import etmedim. Kaldı ki bu tsv dosyası. Yani ilk satırda başlık, alt satırlarda veriler var. Sütunlar tab ile ayrılı. 100 gb dosyayı import edebilir miyim? Tsv dosyasını import edebilir miyim? Elbet akşam google'dan bakacağım ama tecrübesi olanlar yazarsa makbul geçer.
Edersin hocam yapamazsan haber ver göstereyim navicat kurman yeterli
-
Tamamdır hocam. En kötü bir python scripti yazarım.
-
Rahatça Mongodb ye import edebilirsin. Sonrada mongodb compass ile istediğin veriye rahatça ulaşırsın. Daha önce 100gb lık bir dosyada denedim navicat kasıp kitlenebiliyor, zaman kaybetme boşuna.
Aşağıda tam istediğin değil ama örnek teşkil edebilecek bir konu var.
http://stackoverflow.com/questions/31514688/how-to-use-mongoimport-for-specific-fileds-from-tsv-file
Ratbat tarafından 04/Nis/16 12:04 tarihinde düzenlenmiştir -
Hocam MongoDB nin mongoimport aracini kullanabilirsiniz. CSV, TSV dosyalarini destekliyor.
https://docs.mongodb.org/manual/reference/program/mongoimport/
https://docs.mongodb.org/manual/tutorial/backup-and-restore-tools/#human-intelligible-exports
-
MongoDB de gayet güzel bir fikir hocalar aynen. Aklıma gelmemişti sağolun.
-
Hocalar mongoimport bir saattir böyle. Neler olduğu hakkında bir fikri olan var mı?
krypt tarafından 04/Nis/16 20:48 tarihinde düzenlenmiştir -
KrypT bunu yazdı
Hocalar mongoimport bir saattir böyle. Neler olduğu hakkında bir fikri olan var mı?
Hocam selam.
Oncelile yazip yazmadigini kontrol edin veri tabanin acip limit kullanarak bir select edin bakalim.
Eger problem yasarsaniz... C# ile de biseyler yapabiliriz.
Kısayol
Şikayet
Özel Mesaj
Alıntı yap
Cevapla