linux - python 抓取公眾號文章遇到驗證問題
問題描述
linux 下抓取微信公眾號文章遇到驗證問題！！！！！！！！
這是我要抓取的人民日報鏈接：http://mp.weixin.qq.com/profile?src=3×tamp=1492739045&ver=1&signature=bSSQMK1LY77M4O22qTi37cbhjhwNV7C9V4aor9HLhAvbGc2ybWX*qg3WqxntZ7iq0kvYe87oPpcSJKFdmGMx5g==1：首先瀏覽器上訪問是正常的。2：linux下訪問提示需要驗證，以下是簡單的代碼
url = http://mp.weixin.qq.com/profile?src=3×tamp=1492738883&ver=1&signature=bSSQMK1LY77M4O22qTi37cbhjhwNV7C9V4aor9HLhAvbGc2ybWX*qg3WqxntZ7iq2xTLUTfxAMzK79UGvalY1A==response = urllib2.urlopen(url)print response.read()
訪問的結果如下：
補充說明下公眾號鏈接的獲取方式：1：先訪問鏈接：http://weixin.sogou.com/weixi...2：再獲取人民日報公眾號的鏈接進行跳轉。
問題解答
回答1：都不模擬header請求頭的，就能抓取嗎，建議先模擬request header再試一下
回答2：# coding: utf-8import requestsheaders = {}headers[’User-Agent’] = ’Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0’url = ’http://mp.weixin.qq.com/profile?src=3×tamp=1492739045&ver=1&signature=bSSQMK1LY77M4O22qTi37cbhjhwNV7C9V4aor9HLhAvbGc2ybWX*qg3WqxntZ7iq0kvYe87oPpcSJKFdmGMx5g==’r = requests.get(url, headers=headers)print r.text回答3：
現在在請求中加了header后，返回的錯誤是這樣的。請各位大神麻煩再支下招
回答4：用request可以,本地環(huán)境Mac OSX , python3.6.1import requestsheaders = {’user-agent’ : ’Mozilla/5.0’}respon = requests.get(’http://mp.weixin.qq.com/profile?src=3×tamp=1492831080&ver=1&signature=bSSQMK1LY77M4O22qTi37cbhjhwNV7C9V4aor9HLhAvbGc2ybWX*qg3WqxntZ7iqB7vsPUlOS3zhl-8n5FUODg==’, headers = headers)respon.encoding = ’utf-8’print(respon.text)內容在紅色框那一行
相關文章：
1. mysql - AttributeError: ’module’ object has no attribute ’MatchType’2. javascript - JS設置Video視頻對象的currentTime時出現了問題,IE,Edge,火狐,都可以設置,反而chrom卻...3. javascript - 圖片能在網站顯示，但控制臺仍舊報錯403 (Forbidden)4. MySQL客戶端吃掉了SQL注解？5. 網頁爬蟲 - python爬蟲翻頁問題，請問各位大神我這段代碼怎樣翻頁，還有價格要登陸后才能看到，應該怎么解決6. 數據庫 - MySQL 單表500W+數據，查詢超時，如何優(yōu)化呢？7. objective-c - iOS怎么實現像QQ或者微信的實時推送8. php自學從哪里開始？9. 求大神幫我看看是哪里寫錯了 感謝細心解答10. phpstady在win10上運行
網公網安備