問題描述

我有幾個(gè)python爬蟲程序，需要持續(xù)不間斷運(yùn)行，但是每次都是運(yùn)行了兩天之后變得無響應(yīng)，每次都是阻塞在time.sleep(60)的地方，但是進(jìn)程又沒有死掉，在控制臺(tái)輸入Ctrl C都不能退出程序，只能在任務(wù)管理器里強(qiáng)制退出才行。

請問這是由什么原因?qū)е碌?？以及如何解決這個(gè)問題？

先謝謝各位前輩了！

問題解答

問題分析建議:

linux: 可以嘗試通過strace命令追蹤進(jìn)程狀態(tài), 根據(jù)輸出的內(nèi)容做分析,或者通過proc對應(yīng)目錄的文件對進(jìn)程的各項(xiàng)指標(biāo)做分析! Ctrl-C無效,懷疑進(jìn)程進(jìn)入不可中斷的睡眠,具體還得看實(shí)際獲取的數(shù)據(jù)才有可能知道

windows: 通過任務(wù)管理器找到對應(yīng)的進(jìn)程, 右鍵->創(chuàng)建轉(zhuǎn)儲(chǔ)文件, 分析該轉(zhuǎn)儲(chǔ)文件看能否找出原因.

爬蟲程序: 自身對爬取的進(jìn)度,做詳細(xì)的日志, 不管是鏈接,還是遇到的異常,最好都記錄下來,以便得知具體停止的時(shí)間, 和停止時(shí),爬取的進(jìn)度, 下次可以先針對這個(gè)進(jìn)度再去深入分析.

linux系統(tǒng)的話試試用crontab去做定時(shí)任務(wù)windows用任務(wù)計(jì)劃