Web Site Veri Çekme
-
Selam Muridler
http://engelliweb.com/ bu sitedeki Erişim Engeli Kaldırılanlar listesi harinceki tum listeler ihtiyacım var
Bu sitedeki verileri cekebilen bir programa ihityacım var (daha doğrusu bu programı yazıcak bir murid de ihtiyacım var ) yada bu sitedeki liste elinde olan birisi varsa yardımcı olunursa hem benim için hem cafeci arkadaşlar için guzel olur
-
Acelen yoksa yarin isten geldikten sonra hallederim.
-
Yalnız bu listeler resmi kaynaklardan alınan listeler değil. Kullanıcıların tespit edip siteye raport ettiği siteler. Yani 40000 Site engellenmiş ama bunlar sadece kullanıcılar tarafından rapor edilen siteler. Muhtemelen en az 200.000 Site engellenmiş. Vay be! Çoğuda Tib tarafından engellenmiş. Bu memleket düzelmeyecek aga. Şerefsizim bak.
erşim engeli kalkanlar diye bir liste olduğunu bilmiyordum. Direk tahribat.com u aradım. 2 kere kapanım açıldıydı. Buldum :);;
tahribat.com 15.10.2010 T.C. Ankara 5. Asliye Hukuk Mahkemesi 2009/290
DrKill tarafından 22/May/14 03:16 tarihinde düzenlenmiştirtahribat.com 17.03.2010 Erzurum 2. Sulh Ceza Mahkemesi 2010/318
-
-
badass bunu yazdı
Yuh android surumude var.
devamli yorum girilen siitede donguye girmes mi program.. -
Sitelerdeki yasağın kalkıp kalkmadığına bakmadım, hepsini çektim.
Çok önemliyse kategori sistemi var zaten ona göre de çekebilirim.
Sunucuya hızlı istek yollayınca arada cevap veremediği için boşluklar olmuş olabilir, sorun oluşturursa istek süresini uzatıp bir kez daha deneyebilirim.Çıktıları .xml ve .csv formatında oluşturdum:
.csv yarım saniye arayla çekildi.
.xml bir saniye arayla çekildi.
Bu yüzden .xml olan daha düzgün olmalı.İndir: http://www.dosya.tc/server30/w2yviq/engelliweb.zip.html
-
telekom bunu yazdı
Sitelerdeki yasağın kalkıp kalkmadığına bakmadım, hepsini çektim.
Çok önemliyse kategori sistemi var zaten ona göre de çekebilirim.
Sunucuya hızlı istek yollayınca arada cevap veremediği için boşluklar olmuş olabilir, sorun oluşturursa istek süresini uzatıp bir kez daha deneyebilirim.Çıktıları .xml ve .csv formatında oluşturdum:
.csv yarım saniye arayla çekildi.
.xml bir saniye arayla çekildi.
Bu yüzden .xml olan daha düzgün olmalı.İndir: http://www.dosya.tc/server30/w2yviq/engelliweb.zip.html
dosya.tc dosyaları silebiliyor
yedek bulunsun
-
Katagöre sistemide guzel olur bazı sitelerin engellememek lazım misal tahribat 4 shared gibi
Nasıl çektiğinizi anlatırsaniz sureklı liste guncellendıkce bende cekıp buraya ozel bı sayfa mesela firedriveden paylasım klasr acıp sureklı ısteyen kısıler ordan cekebılır.
Filtre programlarının kullandıgı listeye ulasabılırsem cok daha yararlı olur
Eline sağlık kardesım xml olan cok daha ıse yarar
serseri_1453 tarafından 16/Tem/14 19:35 tarihinde düzenlenmiştir -
serseri_1453 bunu yazdı
Katagöre sistemide guzel olur bazı sitelerin engellememek lazım misal tahribat 4 shared gibi
Nasıl çektiğinizi anlatırsaniz sureklı liste guncellendıkce bende cekıp buraya ozel bı sayfa mesela firedriveden paylasım klasr acıp sureklı ısteyen kısıler ordan cekebılır.
Filtre programlarının kullandıgı listeye ulasabılırsem cok daha yararlı olur
Eline sağlık kardesım xml olan cok daha ıse yarar
python'da scrapy'i kullandim hocam.
Simdi kampta oldugun icin unutmazsam eve gittigimde (~2 hafta) kaynak kodlari paylasirim.
