Hem Crawler Hem De Bot Yapımı
-
Arkadşlar şimdiye kadar hep tek sayfa bot tipi şeyler yaptım php de.
Şimdi bir site için bot yapmam lazım fakat crawler tipi devamlı link takibi yaparak link den linke atlayarak içindeki veirleri kaydetmem lazım.
Bunun için github da falan örnek alabileceğim proje yada izleyebileceğim yol hakkında bilgi verebilecek bir uygulama varmıdır bildiğiniz ?
-
Php sart degilse python - scrapy
-
Ne yazık ki python bilgim yok hocam.
Amatör olarak php ile ilgileniyorum. o yüzden php js gibi şeyler ile lazım
-
JS biliyorsan nodejs i dene. Hiç crawler deneyimim yok ama nodejs crawler gibi şeyler aratırsan karşına npm kütüphaneleri, github page'ler felan gelecek. onları kullanabilirsin. tabi önce nodejs öğrenmek için biraz temel birşeyler bilmen gerekecek :/
-
Documentation'un yeterli kalmadığı yerlerde ister PM at sor istersen konu aç herkes faydalanır yardımcı olmaya çalışırım.
Edit // kaydetmek istiyormuşsun :) O zaman şuna bir göz at;
https://github.com/FriendsOfPHP/Goutte
Kentaki tarafından 05/Nis/17 21:42 tarihinde düzenlenmiştir