文章詳情頁
python - pyspider爬pdf爬了一小段時間后就不動了
瀏覽:149日期:2022-08-06 15:07:58
問題描述
下載了一小部分之后就不動了,stop之后重新跑也沒有任何反應,有人知道是怎么回事嗎?謝謝大家。
問題解答
回答1:放代碼吧 騷年
回答2:根據 dashboard 最上方的信息
scheduler 到 fetcher 有100條隊列中的任務fetcher 到 processor 也有100條隊列中的任務processor 下游都是空的
因為默認的隊列容量為 100,這說明在 processor 發生了堵塞,那就要看 processor 在干什么,是不是死掉了。
相關文章:
1. python 計算兩個時間相差的分鐘數,超過一天時計算不對2. javascript - 使用form進行頁面跳轉,但是很慢,如何加一個Loading?3. angular.js - 輸入郵箱地址之后, 如何使其自動在末尾添加分號?4. angular.js - angularjs 注入模塊報錯 很怪異... 求解惑5. javascript - JS 里面的 delete object.key 到底刪除了什么?6. javascript - ES6規范下 repeat 函數報錯 Invalid count value7. docker-compose中volumes的問題8. javascript - html5的data屬性怎么指定一個function函數呢?9. javascript - 后臺管理系統左側折疊導航欄數據較多,怎么樣直接通過搜索去定位到具體某一個菜單項位置,并展開當前菜單10. html5 - 為什么使使用vue cli 腳手架,post-css 沒有自動對css3屬性自動添加瀏覽器前綴呢?
排行榜
