Forum
Aktif konular
Üyeler
Kurallar
Arama
100 Gb TSV Dosyasını İşlemek? 100 Gb TSV Dosyasını İşlemek?
-
Hocalar elimde 100 gb'lık bir txt dosyası var TSV formatında. Malesef Excel, Wordpad gibi programların sınırları olduğu için açamıyorum dosyayı. LogParser'la verilerin bir kısmını ayrı bir dosyaya çekmeye çalışıyorum bir yandan ama baya uzun sürecek gibi. Bu dosyayla daha pratik yoldan nasıl uğraşabilirim?
-
http://www.gdgsoft.com/gsplit/ ile daha ufak parçalara bölüp bakabilirsin. Bu uygulamayı kullanmayalı çok uzun zaman oldu ama parçalar için bayt cinsinden büyüklük verebildiğin gibi, metin dosyalarında her 1 milyon satırda bir böl gibi seçenekleri de var.
buzukatak tarafından 04/Nis/16 00:09 tarihinde düzenlenmiştir -
Hocam eyv da tsv dosyasında bazı sütunlarda filtreleme yapmak durumdayım. Bir sürü ufak dosyadan tek tek filtreleme yapıp birleştirmek yerine, tek dosyadan logparser'la çalışmak daha kolay olacaktır. Logparser'ın yavaşlığını gsplit'in angaryasına tercih ederim.
-
onu bir cloud a atabilirsen online hızlı açabilirsin diye düşünüyorum.
500 mb büyüklüğünde dosyayı böyle açmıştık bir keresinde.
ama 100 gb dosyayı hangi sunucu kabul eder :)
-
zalimadam bunu yazdı
onu bir cloud a atabilirsen online hızlı açabilirsin diye düşünüyorum.
500 mb büyüklüğünde dosyayı böyle açmıştık bir keresinde.
ama 100 gb dosyayı hangi sunucu kabul eder :)
Google Drive Her biri 5 TB'a kadar boyuta sahip dosyalar depolayabilirsiniz. Dokümanlar, E-Tablolar veya Slaytlar'la oluşturacağınız dosyalar depolama alanınızı kullanmaz.
-
Hocam sıkıntı donanım kaynaklı değil. Örneğin Excel bir küsür milyondan fazla row olan dosyaları açmıyor. Keza wordpad vs gibi txt editörleri de öyle ki filtreleme yapacağım için onlar pek işimi görmez. Bana böyle hayvan gibi ram gerektirmeden (atıyorum swap dosyaları kullanabilir) ve kesintisiz bir şekilde datayı incelememe filtreleme yapıp istediğim kısımları export etmeme yarayacak bir program lazım. LogParser filtreleyip export etmek için mükemmel bir araç ama, dataya bakıp bazı konularda genel fikirler edinmem gerekiyor. LogParser'la da bir query saatler sürebiliyor.
-
Hem ham bir metin dosyası olarak kalsın, hem az bellekle çalışsın, zor o iş. Tarif ettiğin şey zaten bir veritabanı sistemi oluyor ki oradalar.
O dosyayı bir veritabanı dönüştürüp öyle çalış üzerinde.
buzukatak tarafından 04/Nis/16 01:00 tarihinde düzenlenmiştir -
Hocam easyphp kur yada ms sql kur sonra navicat premium indir db ye baglan sonra elindeki dosyayı içeri import etmeyi dene yok yapamam dersen ziple yolla bakayım ben genelde bu şekilde çalışıyorum ama elindeki dosya db ye aktarmaya uygun değilse birşey diyemem tsv değilde csv formatı sanırım o, işin daha kolay yapamazsan haber ver yardımcı olurum.
Sistemine göre sorgu çekmek yavaş yada hızlıdır ancak 100 gb bişi değil.
KaptaN tarafından 04/Nis/16 05:17 tarihinde düzenlenmiştir -
Geany ile bakabiliyorsun sanırım hocam Geany denesene 1 de
-
PilotEdit ile dene açması biraz uzun sürer ama 100gb dosyanın içinde istediğin yerde kolayca değişiklik bile yapabilirsin. birde emeditor deneyebilirsin.
-
Sağolun hocalar akşam deneyeceğim hepsini. LogParser 35 dk'da falan bitiyor query'i. Dosyada 255 milyon civarı row var. Ama parse error hatası veriyor, olması gerekenden çok daha az veriyi export ediyor (diye düşünüyorum) ve export ederken bir kısmının sütunları kaymış.
krypt tarafından 04/Nis/16 09:06 tarihinde düzenlenmiştir
Kısayol
Şikayet
Özel Mesaj
Alıntı yap
Cevapla