文章詳情頁
python - 基于scrapy-redis的分布式爬蟲運行的時候不能正常運行 遇到的問題如下截圖所示
瀏覽:117日期:2022-08-03 11:20:00
問題描述
爬蟲運行時一直是這樣的每一分鐘出現一條這樣的信息,無限循環。不能爬取下來數據
這是redis服務端的顯示
這樣是什么問題,望有高手可以為我解惑,謝謝。
問題解答
回答1:使用scrapy_redis,你要去投放url讓spider去爬取,你投放了嗎?比如
redis-cli lpush myspider:start_urls http://google.com
相關文章:
1. javascript - 百度echarts series數據更新問題2. javascript - JS設置Video視頻對象的currentTime時出現了問題,IE,Edge,火狐,都可以設置,反而chrom卻...3. java - 我設置了cookie的max age,但是cookie依然在關閉游覽器后消失了4. css3 - [CSS] 動畫效果 3D翻轉bug5. 求大神幫我看看是哪里寫錯了 感謝細心解答6. python小白的基礎問題 關于while循環的嵌套7. java固定鍵值轉換,使用枚舉實現字典?8. php自學從哪里開始?9. phpstady在win10上運行10. MySQL客戶端吃掉了SQL注解?
排行榜
