用urllib.request,opener模拟请求头;用requests模拟请求头

论坛 期权论坛 脚本     
匿名技术用户   2020-12-29 14:54   33   0

一、用urllib.request,opener模拟请求头

import urllib.request
#模拟请求头headers

url = "https://www.csdn.net/"
# 注意:此处的headers要写为一个元组类型才可以。写为字典类型的话会报错!
headers = ("user-agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")

#添加请求头
opener = urllib.request.build_opener()
opener.addheaders = [headers]

data = opener.open(url).read().decode("utf-8")
print(data)

二、用requests模拟请求头

import requests

url = "https://www.csdn.net/"
headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}
r = requests.get(url,headers=headers)
print(r.text)

感觉用requests处理更加通俗便捷。

分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:7942463
帖子:1588486
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP