Python3 Aynı Olan Değerleri Silme
-
özellikle combolist maillist password listelerinde aynı olan değerleri siler duclicate temizliği yüksek MB olan dosyaları saniyeler içinde temizler.
def yinelenenleri_temizle(kaynak_dosya, hedef_dosya):
with open(kaynak_dosya, 'r', encoding='utf-8') as dosya:
satirlar = dosya.readlines()
temiz_satirlar = list(set(satirlar))
with open(hedef_dosya, 'w', encoding='utf-8') as hedef:
hedef.writelines(temiz_satirlar)
# Örnek kullanım:
kaynak_dosya_adı = 'metin.txt'
hedef_dosya_adı = 'temizlenmis_metin.txt'
yinelenenleri_temizle(kaynak_dosya_adı, hedef_dosya_adı) -
o kadar ugrasmaya gerek yokki :
uniq metin.txt > temizlenmis_metin.txt
-
programa gui ekledim ve boşluklarıda temizliyor. temizlenmiş txt dosyasını bulunduğu klasör içine atıyor :D
https://www.dosyaupload.com/1rnm1/TBT_TXT_TEMIZLEYICI.7z
-
yolbulucu bunu yazdı
o kadar ugrasmaya gerek yokki :
uniq metin.txt > temizlenmis_metin.txt
sortlamadın o yüzden zortladı şu an :D
-
0x656e bunu yazdıyolbulucu bunu yazdı
o kadar ugrasmaya gerek yokki :
uniq metin.txt > temizlenmis_metin.txt
sortlamadın o yüzden zortladı şu an :D
al amk :D
sort metin.txt | uniq > temiz_metin.txt
-
EcHoLL bunu yazdı
özellikle combolist maillist password listelerinde aynı olan değerleri siler duclicate temizliği yüksek MB olan dosyaları saniyeler içinde temizler.
temiz_satirlar = list(set(satirlar))tüm dosyayı memory ye alıyorsun, büyük dosyalarda ramin yetmez
-
yolbulucu bunu yazdıEcHoLL bunu yazdı
özellikle combolist maillist password listelerinde aynı olan değerleri siler duclicate temizliği yüksek MB olan dosyaları saniyeler içinde temizler.
temiz_satirlar = list(set(satirlar))tüm dosyayı memory ye alıyorsun, büyük dosyalarda ramin yetmez
4 milyon satır taradım bir sorun yok yüksek gb belki olabilir hızlı şekilde bununla çözüyorum