国产成人精品亚洲777人妖,欧美日韩精品一区视频,最新亚洲国产,国产乱码精品一区二区亚洲

您的位置:首頁(yè)技術(shù)文章
文章詳情頁(yè)

node.js - nodejs代理IP發(fā)送HTTP請(qǐng)求

瀏覽:150日期:2024-07-25 10:48:04

問(wèn)題描述

問(wèn)題解答

回答1:

用request庫(kù)可以很方便這種任務(wù),下面是我寫(xiě)的一個(gè)獲取可用代理列表 + 用代理訪問(wèn)目標(biāo)網(wǎng)站的Demo

var request = require('request');var iconv = require(’iconv-lite’);var Promise = require('bluebird');function getProxyList() { var apiURL = ’http://www.66ip.cn/mo.php?sxb=&tqsl=100&port=&export=&ktip=&sxa=&submit=%CC%E1++%C8%A1&textarea=http%3A%2F%2Fwww.66ip.cn%2F%3Fsxb%3D%26tqsl%3D100%26ports%255B%255D2%3D%26ktip%3D%26sxa%3D%26radio%3Dradio%26submit%3D%25CC%25E1%2B%2B%25C8%25A1’; return new Promise((resolve, reject) => {var options = { method: ’GET’, url: apiURL, gzip: true, encoding: null, headers: {’Accept’: ’text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8’,’Accept-Encoding’: ’gzip, deflate’,’Accept-Language’: ’zh-CN,zh;q=0.8,en;q=0.6,zh-TW;q=0.4’,’User-Agent’: ’Mozilla/8.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36’,’referer’: ’http://www.66ip.cn/’ },};request(options, function (error, response, body) { try {if (error) throw error;if (/meta.*charset=gb2312/.test(body)) { body = iconv.decode(body, ’gbk’);}var ret = body.match(/d{1,3}.d{1,3}.d{1,3}.d{1,3}:d{1,4}/g);resolve(ret); } catch (e) {return reject(e); }}); })}getProxyList().then(function (proxyList) { var targetOptions = {method: ’GET’,url: ’http://ip.chinaz.com/getip.aspx’,timeout: 8000,encoding: null, }; //這里修改一下,變成你要訪問(wèn)的目標(biāo)網(wǎng)站 proxyList.forEach(function (proxyurl) {console.log(`testing ${proxyurl}`);targetOptions.proxy = ’http://’ + proxyurl;request(targetOptions, function (error, response, body) { try {if (error) throw error;body = body.toString();console.log(body);eval(`var ret = ${body}`);if (ret) { console.log(`驗(yàn)證成功==>> ${ret.address}`);} } catch (e) {// console.error(e); }}); });}).catch(e => { console.log(e);})

node.js - nodejs代理IP發(fā)送HTTP請(qǐng)求

回答2:

那你首先得找到一堆代理啊,據(jù)我所知這種動(dòng)態(tài)代理一般靠譜的都是收費(fèi)的。具體思路就是請(qǐng)求代理提供商的接口獲得代理服務(wù)器列表,然后每次請(qǐng)求都隨機(jī)選一個(gè)作為代理

相關(guān)文章:
主站蜘蛛池模板: 比如县| 兴安县| 五河县| 金寨县| 安岳县| 黔南| 虎林市| 东乡族自治县| 若羌县| 张家界市| 泰安市| 霸州市| 讷河市| 张家界市| 长岭县| 嫩江县| 海林市| 德惠市| 河曲县| 建昌县| 焦作市| 西藏| 泸水县| 麻栗坡县| 济源市| 囊谦县| 新闻| 文昌市| 葵青区| 沙洋县| 额尔古纳市| 绍兴县| 平泉县| 凤台县| 陵水| 武川县| 凤庆县| 清丰县| 阿城市| 措勤县| 林口县|