Botla Veri Çekmelerini Engellemek

  1. KısayolKısayol reportŞikayet pmÖzel Mesaj
    turkcell
    turkcell's avatar
    Kayıt Tarihi: 04/Ocak/2010
    Erkek

    Web sitemdeki içerikleri botlar çekmesin diye yanlış veya düzensiz veri çekmeleri için nasıl manupule edebilirim.

    Flood , ip blok gibi korumalarım mevcut çok yavaş yavaş verilerimi çekebilirler manupule etmek istiyorum.

    Dil önemli değil mantık yada kod örnekleri olursa çok sevinirim. Botları kandıran bir mantık çok teşekkür ederim.


    char ılkUnluyuBul(char a[10]) { char Unluler[] = { 'a', 'ı', 'o', 'u', 'e', 'i', 'ü', 'ö' }; for (int i = 0; i < 9;i++) for (int j = 0, j < 7; j++){//7 olmasının sebebebi 6 harfli bir sözcük girmişti yanlış hatırlamıyorsam if (a[i] == Unluler[j]){ return a[i]; } } bool UnluIncemi(char a){ char InceUnlu[] = { 'e', 'i', 'ü', 'ö' }; for (int i = 0; i < 4;i++) if (a == InceUnlu[i]) return true;
  2. KısayolKısayol reportŞikayet pmÖzel Mesaj
    patata
    patata's avatar
    Banlanmış Üye
    Kayıt Tarihi: 10/Ağustos/2017
    Erkek

    güncel proxy list'leri takip ederek, kullanıcı saniyede belli bir istekten fazla atıyorsa captcha çıkarmak. 90% çözüme ulaştırır.

    sahibindeni inceleyebilirsin, bot yazıp. Davranışlarını.

    Ama kökten çözümü yok

    patata tarafından 17/Ağu/17 04:03 tarihinde düzenlenmiştir

    Tahtam eksik
  3. KısayolKısayol reportŞikayet pmÖzel Mesaj
    coder2
    coder2's avatar
    Kayıt Tarihi: 15/Mart/2007
    Erkek

    cookies , flood , ip blok  bunlar klasik yöntemler. Ben bazen veri çekmek istediğimde bunlarla karşılaşınca sinirim bozuluyor ama illa çözüm bulunabiliyor.  Adsense ile ilgili bir döküman okurken mouse hareketlerini takip eder google ona göre tık sayar yada saymaz falan diyordu tam hatırlamıyorum ama şimdi sen sorunca aklıma geldi (JS ile yapılabilir) mouse hareketlerine bakarsın bot mu insan mı diye ona göre tepki verebilirsin. Bir ara mouse sayfanın altına doğru gelince sayfanın otomatik aşağı inmesi olayını yapmıştım eğer bulursam kodları paylaşırım.


    Önceleri Kızlar Utanınca Kızarırdı Şimdilerde Kızarınca Utanıyorlar..
  4. KısayolKısayol reportŞikayet pmÖzel Mesaj
    NoktaliVirgul
    NoktaliVirgul's avatar
    Kayıt Tarihi: 02/Temmuz/2007
    Erkek

    Sayfayı ajax ile yüklemek de bir çözüm olabilir. Çoğu bot HTML olarak çekip işlem yapıyor ancak browser gibi js yorumlamadığı için sayfada veri bulamayacaktır.

    SEO'ya etkisi kötü olabilir, bilmiyorum.


    If my calculations are correct, when this baby hits eighty-eight miles per hour... you"re gonna see some serious shit.
  5. KısayolKısayol reportŞikayet pmÖzel Mesaj
    Cevdet
    Cevdet's avatar
    Kayıt Tarihi: 10/Ağustos/2017
    Erkek
    patata bunu yazdı

    güncel proxy list'leri takip ederek, kullanıcı saniyede belli bir istekten fazla atıyorsa captcha çıkarmak. 90% çözüme ulaştırır.

    sahibindeni inceleyebilirsin, bot yazıp. Davranışlarını.

    Ama kökten çözümü yok

    Hocam olay kısa sürede çok istek atmak değil. botla sitedeki veri çekiliyor,
    Senin elinde 18,000 tane sahibinden urli olsun sen gunde 100 tane random aralıklarda ilanı sahibinden.com'a nanik yaparak çekebilirsin. hatta öyle ki nodejs'te bir tane window açarsın urlini yazar bağlanır fetch edersin çaktırmadan

    Sen bir gecede her şeyi almaya çalışırsan elbette yakalanırsın. 18,000 içerik 3 ayda gelebilir ancak 10 gün sonra elinde 2,000 içerik olacağını unutma.
    Açıkçası, ben de uğraştığım birçok proje için birçok site ve sayfa fetch ettim (bilgi dahilinde), henuz oyle bir sayfa görmedim ki fetch edilemesin.

    Ha yapılamaz mı yapılabilir! Ancak günümüzde kimsenin de umrunda değil açıkçası çünkü bu işlerde yasal yol açık. sitendeki bilgiler seninse ve çalınmasını istemiyorsan içeriklerini internette takip eder şikayet edersin

  6. KısayolKısayol reportŞikayet pmÖzel Mesaj
    telekom
    telekom's avatar
    Kayıt Tarihi: 28/Temmuz/2005
    Erkek

    Surekli etiketleri, id'leri, sinif isimlerini degistir, tasarimi bozmayacak bos eklemeler yap.

    Tek seferlik ceker ama her seferinde siteye tekrar tekrar bot yazmak bezdirecegi icin bir yerden sonra bikacaklardir..


    vatandaşa kafam girsin!..
  7. KısayolKısayol reportŞikayet pmÖzel Mesaj
    Keyr00t
    Keyr00t's avatar
    Kayıt Tarihi: 01/Nisan/2007
    Erkek

    Tamamen engelleyebileceğini sanmıyorum hocam hiç bişe olmadı phantomjs, selenium vs. gibi kütüphaneler kullanılarak browser çalıştırılıp yine çekilir.

    Hiç denemedim ama içeriği canvasa gömmek belki gözüm olur 

  8. KısayolKısayol reportŞikayet pmÖzel Mesaj
    Ekerci
    Ekerci's avatar
    Kayıt Tarihi: 14/Ocak/2010
    Erkek

    amazonun kullanıcı yorumları çekilmiyordu en son bizim kullandıgımız app ile. ayrıca neden data çekilmesini istemiyorsun? ben işimi data çekmekten kazanıyorum :D


    Konu ID: 112846 Konuyu Acan : Ekerci Konu Başlığı : Tahribatın en sevdiği adam ? Silinme Sebebi : 3 sayfadır takip ediyorum beni seven kimse çıkmadı. alacağınız olsun müridler
  9. KısayolKısayol reportŞikayet pmÖzel Mesaj
    manglerman
    manglerman's avatar
    Kayıt Tarihi: 30/Aralık/2003
    Erkek

    banada lazım bu tarz engellemeler.


    türk kızlarından sabun yapalım, rus kızları elini yıkasın.:)
  10. KısayolKısayol reportŞikayet pmÖzel Mesaj
    patata
    patata's avatar
    Banlanmış Üye
    Kayıt Tarihi: 10/Ağustos/2017
    Erkek
    Cevdet bunu yazdı
    patata bunu yazdı

    güncel proxy list'leri takip ederek, kullanıcı saniyede belli bir istekten fazla atıyorsa captcha çıkarmak. 90% çözüme ulaştırır.

    sahibindeni inceleyebilirsin, bot yazıp. Davranışlarını.

    Ama kökten çözümü yok

    Hocam olay kısa sürede çok istek atmak değil. botla sitedeki veri çekiliyor,
    Senin elinde 18,000 tane sahibinden urli olsun sen gunde 100 tane random aralıklarda ilanı sahibinden.com'a nanik yaparak çekebilirsin. hatta öyle ki nodejs'te bir tane window açarsın urlini yazar bağlanır fetch edersin çaktırmadan

    Sen bir gecede her şeyi almaya çalışırsan elbette yakalanırsın. 18,000 içerik 3 ayda gelebilir ancak 10 gün sonra elinde 2,000 içerik olacağını unutma.
    Açıkçası, ben de uğraştığım birçok proje için birçok site ve sayfa fetch ettim (bilgi dahilinde), henuz oyle bir sayfa görmedim ki fetch edilemesin.

    Ha yapılamaz mı yapılabilir! Ancak günümüzde kimsenin de umrunda değil açıkçası çünkü bu işlerde yasal yol açık. sitendeki bilgiler seninse ve çalınmasını istemiyorsan içeriklerini internette takip eder şikayet edersin

    Sahibinden de belirttiğim datayı 10 günde 2000 içerik çek, bu sözümü yutucam.

    Tüm ip'leri biliyorlar, nasıl oluyor bilmiyorum ama.

    Genel yerinde izin veriyo ama detayını çektirtmiyor sahibinden. Bak dene günde 100 tane bile çekemezsin, eğer elinde fazladan ip'in yoksa. (proxy listler bi işe yaramıyor) 

    Hatta yapabilirsen çok para kazanırsın, bir sürü iş ilanı var. Sahibinden den data çektirtmek isteyen adam kaynıyor ortalık.

    Adamların bot engelleme sistemi muazzam çalışıyor.

    patata tarafından 17/Ağu/17 13:47 tarihinde düzenlenmiştir

    Tahtam eksik
  11. KısayolKısayol reportŞikayet pmÖzel Mesaj
    Keyr00t
    Keyr00t's avatar
    Kayıt Tarihi: 01/Nisan/2007
    Erkek

    Bu sahibinden için para verecek olan varsa ben yazarım engellerde aşarım bi şekilde o tonla adam kaynayan yer neresi 😀

Toplam Hit: 4555 Toplam Mesaj: 15
koruma veri çekme #bot yasaklama