文章詳情頁
python - 爬取某網站時需要瀏覽器刷新一次才能返回真實的頁面數據？
瀏覽：123日期：2022-08-10 17:31:34
問題描述
請求所需參數全部帶上了，并且已帶上cookies,已修改header，拿到的數據是提示刷新的HTML，如圖：
原網頁是動態加載的瀑布流，即往不斷下拉就不斷有內容呈現出來，靜候大神，目前采用scrapy框架，暫時還不想上selenium+phantomjs，太重了
問題解答
回答1：動態加載的數據你應該找ajax api請求，而不是在網頁找，工欲善其事必先利其器，善用 F12。
回答2：這種情況比抓取一個代理ip網頁，使用cookie但是報錯好解決多了＝＝，你完全可以判斷當前頁面內容然后進行模擬刷新～ 重要的是保持會話。
如果還不行的話，可以加referer再試一試
相關文章：
1. node.js - 在vuejs-templates/webpack中dev-server.js里為什么要exports readyPromise?2. mysql優化 - 關于mysql分區3. html5 - 如何實現帶陰影的不規則容器？4. javascript - 循環嵌套多個promise應該如何實現？5. python - 管道符和ssh傳文件6. 請教各位大佬，瀏覽器點 提交實例為什么沒有反應7. objective-c - iOS開發支付寶和微信支付完成為什么跳轉到了之前開發的一個app?8. javascript - 為什么這個點擊事件需要點擊兩次才有效果9. javascript - ionic2 input autofocus 電腦成功，iOS手機鍵盤不彈出10. vue.js - vue 打包后 nginx 服務端API請求跨域問題無法解決。
排行榜
網公網安備