問(wèn)題描述

用Python27些爬蟲，想要爬取一些網(wǎng)站，我需要判斷網(wǎng)頁(yè)是否可以爬取，第一反應(yīng)是通過(guò)狀態(tài)碼來(lái)判斷，但是寫完運(yùn)行后發(fā)現(xiàn)有許多目標(biāo)網(wǎng)站訪問(wèn)它不存在的頁(yè)面時(shí)會(huì)返回一個(gè)404錯(cuò)誤頁(yè)面，可他的狀態(tài)碼卻是200，結(jié)果爬回來(lái)好多根本就不存在的頁(yè)面。這個(gè)本來(lái)是網(wǎng)站設(shè)置的問(wèn)題，但是現(xiàn)在也不能用狀態(tài)碼來(lái)判斷了，請(qǐng)問(wèn)還有什么方法可以正確判斷一個(gè)頁(yè)面是不是404該不該爬？

問(wèn)題解答

首先， 200 狀態(tài)碼，是網(wǎng)絡(luò)連接狀態(tài)， 所以你只判斷200并不能滿足所有網(wǎng)站。

其次， 寫爬蟲嘛， 你應(yīng)該實(shí)際去看看這些網(wǎng)站的規(guī)則是什么，可以先人工判斷下， 找找規(guī)律， 比如看看網(wǎng)頁(yè)返回內(nèi)容是不是有什么特點(diǎn)之類的。

做個(gè)網(wǎng)頁(yè)內(nèi)容的判斷，如果他網(wǎng)頁(yè)里面沒(méi)有內(nèi)容就直接返回。

就算是頁(yè)面狀態(tài)碼200，返回的404頁(yè)面，應(yīng)該和正常能爬取的頁(yè)面html有不同的html元素吧，根據(jù)有沒(méi)有特定的html元素來(lái)判斷是不是404頁(yè)面也行的