文章詳情頁
javascript - Python 爬蟲 Ajax 頁面直接request獲取居然速度比selenium慢。
瀏覽：80日期：2022-08-04 16:42:25
問題描述
因為在爬取的網(wǎng)站需要賬號登陸，不方便公開。因此我只能這樣大致性的咨詢，實在抱歉。
我需要爬一個目標網(wǎng)站的數(shù)據(jù)，發(fā)現(xiàn)在點擊下一頁時候，網(wǎng)址并沒有改變.通過源碼確定是使用了js外加ajax的樣子.通過chrome的控制臺，捕獲到點擊下一頁時候，向指定地址發(fā)送了一條帶多個參數(shù)的get指令。
原先采用selenium+phantomjs的方式暴力無腦方式爬取，一個頁面大概5S左右就能獲取，實際用瀏覽器打開也是這個速度。為了爬取大量的數(shù)據(jù)，準備改用多線程+直接requests.get目標地址的方式來采集，但是發(fā)現(xiàn)采集速度非常的慢，從5S降到的20s左右。
請教下，出現(xiàn)這樣現(xiàn)象的原因可能是什么？我該如何解決？請指教
問題解答
回答1：抱歉 浪費了各位的時間- -是我開始測試的時候，周圍有人再下迅雷，網(wǎng)絡炸了。抱歉 抱歉
相關文章：
1. javascript - vscode alt+shift+f 格式化js代碼，通不過eslint的代碼風格檢查怎么辦。。。2. javascript - [js]為什么畫布里不出現(xiàn)圖片呢？在線等3. python - 如何判斷爬蟲已經(jīng)成功登陸？4. html - vue項目中用到了elementUI問題5. html5 - 有可以一次性把所有 css外部樣式轉(zhuǎn)為html標簽內(nèi)style=" "的方法嗎?6. javascript - 如何將一個div始終固定在某個位置；無論屏幕和分辨率怎么變化；div位置始終不變7. javascript - 原生canvas中如何獲取到觸摸事件的canvas內(nèi)坐標?8. javascript - 有什么比較好的網(wǎng)頁版shell前端組件？9. javascript - 這不是對象字面量函數(shù)嗎？為什么要new初始化？10. javascript - 求解答：實例對象調(diào)用constructor，此時constructor內(nèi)的this的指向？
排行榜
熱門標簽
網(wǎng)公網(wǎng)安備