Python实现爬取可用代理IP，在实现爬虫时，动态设置代理IP可以有效防止反爬虫，但对于普通爬虫初学者需要在代理网站上测试可用代理IP。由于手动测试过程相对比较繁琐，且重复无用过程故编写代码以实现动态抓取可用的代理IP。动态代理IP保存在Json文件中，以供后续具体项目爬虫使用，但所爬取的代理IP是免费IP，所以可能出现当时爬取能用，过一段时间无法使用的情况。
![]()
1) 先从ip精灵网站上爬取前10页，速度较快的IP，保存到proxies数组中，其中proxy使用的是requests.get()可直接使用字典格式
'''
遇到不懂的问题？Python学习交流群：821460695满足你的需求，资料都已经上传群文件，可以自行下载！
'''
print("Start find proxy in xichi...")
headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/60.0.3112.101 Safari/537.36'
}
# 保存西刺代理的IP汇总数组
proxies = []
for num in range(1,10):
# 西刺代理网站
response = requests.get("http://www.xicidaili.com/nn/%d"%(num),headers=headers)
soup = BeautifulSoup(response.text,"lxml")
ipInfos = soup.select('#ip_list > tr')
for ipInfo in ipInfos[1:]:
ipInfo = ipInfo.select("td")
if ipInfo[6].select("div > div")[0].get("class")[1] == "fast":
# 处理网页代理信息数据
ip = ipInfo[1].get_text().strip()
port = ipInfo[2].get_text().strip()
prc = ipInfo[5].get_text().strip().lower()
# 组合成requests要求的代理参数格式，格式字典形式如下
# proxies = {'https':'https://112.114.93.50:8118'，'http':'https://122.72.18.34:80'}
# 协议：协议：//ip:端口
proxy = dict()
proxy[prc] = prc + "://" + ip + ":" + port
proxies.append(proxy)
time.sleep(random.randint(1, 5))
print("proxies counts is %d"%(len(proxies)))
使用proxies，模拟浏览器打开百度首页，如果返回status_code为200，就认为此代理可用，即可保存后续使用。
print("Starting test proxies...")
'''
遇到不懂的问题？Python学习交流群：821460695满足你的需求，资料都已经上传群文件，可以自行下载！
'''
# 记录当前已找到可用IP数目
okIpNum = 0
for proxy in proxies:
# 随机使用不同的userAgent
userList = userAgentList.userList
headers = {'User-Agent': userList[random.randint(0, len(userList)-1)]}
# request发送请求时使用不同的userAgent,同时带入测试IP代理
# 如出现异常则直接跳过，可能出现连接超市的异常等
try:
text_web = requests.get("https://www.baidu.com/",headers = headers, proxies = proxy)
except:
print(proxy," unuseable")
continue
if text_web.status_code == 200:
with open(filename, "a+") as f:
js = json.dumps(proxy)
f.write(js)
print(proxy, "useable")
okIpNum += 1
# 判断已经找到可食用的IP数目，从而退出程序
if okIpNum == needCount:
print("Already find %d useable proxies"%(okIpNum))
break
time.sleep(random.randint(1,3))
此爬取方法还是用动态设置UserAgent，以及爬取过程随机sleep,以避免被服务器禁用。
转播
