關(guān)于python爬蟲的問(wèn)題
問(wèn)題描述
我使用post爬取網(wǎng)頁(yè)表格數(shù)據(jù),網(wǎng)站如下http://www.ipe.org.cn/Industr...,現(xiàn)在遇到了2個(gè)問(wèn)題,其中一個(gè)問(wèn)題是違規(guī)類型中<input type='checkbox' name='violation' data-role='all' checked='' value='0'>,該網(wǎng)頁(yè)已經(jīng)設(shè)定了checked,已經(jīng)有默認(rèn)值,而我只想要violation=1的數(shù)據(jù),不知道該怎么辦第二個(gè)問(wèn)題是在選擇國(guó)家,省份,城市過(guò)程<select name='select' onchange='setProvince_0();'>我無(wú)法直接用name 以及value選擇我想要的表單數(shù)據(jù)
跪求各位大神的解答
問(wèn)題解答
回答1:他是有API用來(lái)返回?cái)?shù)據(jù)的,你可以抓取一下,點(diǎn)擊篩選之后的數(shù)據(jù)流。大概是這個(gè)api,http://www.ipe.org.cn/data_as...,post方式,里面有一個(gè)參數(shù)叫itemType就是你想要的違規(guī)類型。然后對(duì)應(yīng)的國(guó)家,省份,城市等信息都在api中有體現(xiàn),自己跟一下就知道了。然后根據(jù)需求,構(gòu)造請(qǐng)求你需要的數(shù)據(jù),剩下的就是解析了。。。。
相關(guān)文章:
1. docker gitlab 如何git clone?2. docker鏡像push報(bào)錯(cuò)3. 關(guān)于docker下的nginx壓力測(cè)試4. angular.js使用$resource服務(wù)把數(shù)據(jù)存入mongodb的問(wèn)題。5. android - 項(xiàng)目時(shí)間長(zhǎng)了,字符串文件strings有的字符串可能是多余的,有沒(méi)有辦法快速檢測(cè)那些是沒(méi)用的?6. android - 七牛單次上傳單張圖片,11次6次上傳失敗7. mysql - 用PHPEXCEL將excel文件導(dǎo)入數(shù)據(jù)庫(kù)數(shù)據(jù)5000+條,本地?cái)?shù)據(jù)庫(kù)正常,線上只導(dǎo)入15條,沒(méi)有報(bào)錯(cuò),哪里的問(wèn)題?8. javascript - 怎么看網(wǎng)站用了什么技術(shù)框架?9. docker不顯示端口映射呢?10. 在windows下安裝docker Toolbox 啟動(dòng)Docker Quickstart Terminal 失敗!
