文章詳情頁(yè)
python - Scrapy的spider在IDE中方便運(yùn)行調(diào)試
瀏覽：98日期：2022-06-27 11:03:29
問題描述
我有很多spider，不能每次調(diào)試都手動(dòng)創(chuàng)建一個(gè)debugger吧（scrapy crawl spider_name）
想可以在spider文件中直接右鍵運(yùn)行/調(diào)試。
問題解答
回答1：參考文章：Scrapy爬蟲常見問題總結(jié)
spider方便運(yùn)行/調(diào)試在spider文件中，加入cmdline的調(diào)用方法
import scrapy.cmdline#Your Spider Class...def main(): scrapy.cmdline.execute([’scrapy’, ’crawl’, ’your_spider_name’])if __name__ == ’__main__’: main()回答2：
新建一個(gè)py文件，用這個(gè)來調(diào)試
from scrapy.cmdline import executeimport sysimport ossys.path.append(os.path.dirname(os.path.abspath(__file__)))execute(['scrapy','crawl','YOUR_SPIDER'])
相關(guān)文章：
1. javascript - 關(guān)于<a>元素與<input>元素的JS事件運(yùn)行問題2. mysql - 記得以前在哪里看過一個(gè)估算時(shí)間的網(wǎng)站3. python - 有什么好的可以收集貨幣基金的資源?4. python - 啟動(dòng)Eric6時(shí)報(bào)錯(cuò)：’qscintilla_zh_CN’ could not be loaded5. css3 - 我想要背景長(zhǎng)度變化，而文字不移動(dòng)，要怎么修改呢6. MySQL中的enum類型有什么優(yōu)點(diǎn)？7. css3 - 純css實(shí)現(xiàn)點(diǎn)擊特效8. javascript - vue 怎么渲染自定義組件9. javascript - 同步方式寫異步到底指什么？10. android下css3動(dòng)畫非常卡，GPU也不差啊
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備