Forum
Aktif konular
Üyeler
Kurallar
Arama
Web Scraping İle İlgili Soru Web Scraping İle İlgili Soru
-
Merhaba değerli Murid/ Murideler,
Şu aralar webscraping işine merak saldım. şu an için excell ve google sheette importxml, importhtml fonksiyonlarıyla birşeyler yaptım. Hatta çokta iyi geldi. Anladığım kadarıyla işin aslı js ve python ile yapılıyor. O kadar derin kodlamaya girmeden önce şunu öğrenmek istiyorum;
Diyelim ki bir websitede bir button aracılığıyla sağ köşede bir modal box açılıyor, bu modal box a veriler var. Bu verilerin scraping i mümkün mü?
Çünkü excell ve google sheet buna müsade etmiyor. web scraping extensionları da modaldan veri yakalamıyor. Bir de xpath ın doğru olduğunu bildiğim halde bazı sitelerde importxml fonksiyonu ile veri gelmiyor. Google url yi fetch etmedi yazısı alıyorum. Konu hakkında daha önce tecrübesi olup bilgi paylaşan olursa çok işime yarar. En azından bir yol haritası çizebilirim.
Örnek site: https://www.backmarket.de/shop/buzz-box-mobile-5453
-
Adres çubuğunun başına view-source: ekle.
Senin veri ayikladigin yer burası işte aslen.
Burada aradığını bulamıyorsan JavaScript ile renderlanan, compute edilen bir şey vardır browser side'ta. Bunu almanın birden fazla yolu var. Headless browser da ayaklandirabilirsin, reverse engineering yaparak JavaScriptle yapılan işi kullandığın dile de portlayabilirsin. External web request vs.
-
Bs4 ve selenium ile hersey mumkun :D
-
end bunu yazdı
Adres çubuğunun başına view-source: ekle.
Senin veri ayikladigin yer burası işte aslen.
Burada aradığını bulamıyorsan JavaScript ile renderlanan, compute edilen bir şey vardır browser side'ta. Bunu almanın birden fazla yolu var. Headless browser da ayaklandirabilirsin, reverse engineering yaparak JavaScriptle yapılan işi kullandığın dile de portlayabilirsin. External web request vs.
hocam çok sağolasın, mantığını anladım, cevabı aldım. Hiç olmayan backend bilgimle beni aşar, ama öğrenecem artık :)
-
angels_demos bunu yazdı
Bs4 ve selenium ile hersey mumkun :D
Bir zamanlar ne kastirmistim selenium iyiydi
Kısayol
Şikayet
Özel Mesaj
Alıntı yap
Cevapla