文章詳情頁
python - scrapy抓取知網response的內容重復
瀏覽：123日期：2022-06-27 08:47:44
問題描述
遍歷請求翻頁的url
for i in range(3): yield Request('http:xx/page/%s'%str(i),callback=self.parse_page)
結果response請求成功 但是每次內容都一樣的沒變化都是第一次請求時的內容，但是用postman分別請求分頁的url就沒有這問題。= = 是被ban了嗎 之前就不會這樣
問題解答
回答1：那就要分析一下用postman或者瀏覽器訪問時請求的header頭和用scrapy請求頭有什么區別
回答2：被反爬識別到了
回答3：看下控制臺打印的log，看看是否正確抓取了下一頁2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,注意最后一個x(http:xx/page/x)是否是變化的
相關文章：
1. sql語句 - mysql中關聯表查詢問題2. css - chrome下a標簽嵌套img 顯示會多個小箭頭?3. javascript - 求解答：實例對象調用constructor，此時constructor內的this的指向？4. javascript - 原生canvas中如何獲取到觸摸事件的canvas內坐標?5. html - vue項目中用到了elementUI問題6. javascript - 有什么比較好的網頁版shell前端組件？7. javascript - 如何將一個div始終固定在某個位置；無論屏幕和分辨率怎么變化；div位置始終不變8. javascript - vscode alt+shift+f 格式化js代碼，通不過eslint的代碼風格檢查怎么辦。。。9. mysql updtae追加數據sql語句10. javascript - iframe 為什么加載網頁的時候滾動條這樣顯示？
排行榜
網公網安備