文章詳情頁
python - 如何爬取跳轉網站的數據
瀏覽：106日期：2022-06-30 14:37:44
問題描述
目前在學習一些爬蟲的知識，對于一些復雜的網站使用selenium進行爬取。碰到一個問題，我需要爬取的工單網站（不知道密碼）需要先通過登錄一個鑒權系統，然后鑒權系統頁面點擊其中的工單系統連接，就會自動免登錄跳轉到工單系統網站，這種系統的數據我該如何使用爬蟲進行抓?。恳韵率氰b權系統selenium拿到關于工單系統的html
<a href='http://www.intensediesel.com/link-test001' target='_blank' rel='link-test001' data='1' datasrc='工單系統|||/files/link/test001.gif|||new|||/link-test001'> <img src='http://www.intensediesel.com/files/link/test001.gif' alt='工單系統' align='absmiddle'><span>工單系統</span></a>
問題解答
回答1：用firefox的擴展selenium ide錄制一遍操作。然后導出為python文件。改改運行就可以了。
建議你去讀讀蟲師寫的書。
回答2：例如使用requests庫作為爬蟲的話，先創建session()，A登錄，B是跳轉的頁面即可。
T=requests.session()A=T.post(url=url,data=data)B=T.get(url=url)
創建的T就代表存儲的cookie，會一直保留
相關文章：
1. css - 新手做響應式布局， 斷點過后右側出現空白，求幫助，謝謝。2. python - 啟動Eric6時報錯：’qscintilla_zh_CN’ could not be loaded3. javascript - vue 怎么渲染自定義組件4. javascript - 關于<a>元素與<input>元素的JS事件運行問題5. mysql - 查詢字段做了索引為什么不起效,還有查詢一個月的時候數據都是全部出來的，如果分拆3次的話就沒問題，為什么呢。6. mysql - 記得以前在哪里看過一個估算時間的網站7. 大家好，我想請問一下怎么做搜索欄能夠搜索到自己網站的內容。8. ID主鍵不是自增的嗎 為什么還要加null9. MySQL中的enum類型有什么優點？10. python - 安裝pyspider時出錯：No space left on device:
排行榜
網公網安備