文章詳情頁
python - pyspider爬pdf爬了一小段時間后就不動了
瀏覽：130日期：2022-08-06 15:07:58
問題描述
下載了一小部分之后就不動了，stop之后重新跑也沒有任何反應，有人知道是怎么回事嗎？謝謝大家。
問題解答
回答1：放代碼吧 騷年
回答2：根據 dashboard 最上方的信息
scheduler 到 fetcher 有100條隊列中的任務fetcher 到 processor 也有100條隊列中的任務processor 下游都是空的
因為默認的隊列容量為 100，這說明在 processor 發生了堵塞，那就要看 processor 在干什么，是不是死掉了。
相關文章：
1. mysql - AttributeError: ’module’ object has no attribute ’MatchType’2. github - 利用Python 自動化部署問題3. 求大神幫我看看是哪里寫錯了 感謝細心解答4. npm鏡像站全新上線5. javascript - 圖片能在網站顯示，但控制臺仍舊報錯403 (Forbidden)6. python - from ..xxxx import xxxx到底是什么意思呢?7. php自學從哪里開始？8. MySQL客戶端吃掉了SQL注解？9. phpstady在win10上運行10. 數據庫 - MySQL 單表500W+數據，查詢超時，如何優化呢？
排行榜
網公網安備