一、Request的安装
在Python简介与环境配置中我们已经安装了PIP管理工具，如果你是2.x版本，也可以使用easy_install来安装Request库，他可以帮助我们很容易的安装三方库：
使用pip安装Request
pip3 install requests
二、Request的使用
在python中引入三方模块非常简单，只需要import引入即可：
import requests
req = requests.get("https://baidu.com")
print(req.text)
这样我们即可快速提取目标网页的代码，使用起来非常方便！
1、Request基本请求方式
你可以通过requests库发送所有的http请求：
requests.get("http://httpbin.org/get") #GET请求
requests.post("http://httpbin.org/post") #POST请求
requests.put("http://httpbin.org/put") #PUT请求
requests.delete("http://httpbin.org/delete") #DELETE请求
requests.head("http://httpbin.org/get") #HEAD请求
requests.options("http://httpbin.org/get") #OPTIONS请求
2、使用Request发送GET请求
想要使用爬虫获取某个目标网页，直接使用get方法即可发送HTTP GET请求：
req = requests.get("http://httpbin.org/get")
通常情况下我们不会只访问基础网页，特别是爬取动态网页时我们需要传递不同的参数获取不同的内容；GET传递参数有两种方法，可以直接在链接中添加参数或者利用params添加参数：
import requests
payload = {'key1': 'value1', 'key2': 'value2'}
req = requests.get("http://httpbin.org/get", params=payload)
# 方法二
# req = requests.get("http://httpbin.org/get?key2=value2&key1=value1")
print(req.url)
3、使用Request发送POST请求
其实发送POST请求与GET方式很相似，只是参数的传递我们需要定义在data中即可：
import requests
payload = {'key1': 'value1', 'key2': 'value2'}
req = requests.post("http://httpbin.org/post", data=payload)
print(req.text)
(1)、POST发送JSON数据
很多时候你想要发送的数据并非编码为表单形式的,发现特别在爬取很多java网址中出现这个问题。如果你传递一个string而不是一个 dict，那么数据会被直接发布出去。我们可以使用json.dumps()是将dict转化成str格式;此处除了可以自行对dict进行编码，你还可以使用json参数直接传递，然后它就会被自动编码。
import json
import requests
url = 'http://httpbin.org/post'
payload = {'some': 'data'}
req1 = requests.post(url, data=json.dumps(payload))
req2 = requests.post(url, json=payload)
print(req1.text)
print(req2.text)
(2)、POST文件上传
如果我们要使用爬虫上传文件，可以使用file参数：
url = 'http://httpbin.org/post'
files = {'file': open('test.xlsx', 'rb')}
req = requests.post(url, files=files)
req.text
如果有熟悉WEB开发的伙伴应该知道，如果你发送一个非常大的文件作为multipart/form-data请求，你可能希望将请求做成数据流。默认下requests不支持, 你可以使用requests-toolbelt三方库。
4、请求会话
在很多时候我们开发的爬虫需要登录，登录后我们需要记录登录状态，否则无法爬取登录后才能爬取的网页，在request中提供了requests.Session()这样的类:
import requests
s = requests.Session()
s.get('http://httpbin.org/get')
这样我们的request只要调用一次登录入口就会自动维护网站的Session记录我们的登录状态，以后我们可以直接使用request访问登录才能访问的页面。
5、Cookie获取
我们可以使用cookies来获取响应中的cookie: 如果某个响应中包含一些 cookie，你可以快速访问它们：
req = requests.get("https://ptorch.com")
print(req.cookies)
print(req.cookies['laravel_session'])
要想发送你的cookies到服务器，可以使用cookies参数：
cookies = dict(cookies_are='working Test')
req = requests.get("http://httpbin.org/cookies", cookies=cookies)
print(req.text)
# '{"cookies": {"cookies_are": "working Test"}}'
Cookie的返回对象为RequestsCookieJar，它的行为和字典类似，但界面更为完整，适合跨域名跨路径使用。你还可以把Cookie Jar传到Requests中：
jar = requests.cookies.RequestsCookieJar()
jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies')
jar.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere')
url = 'http://httpbin.org/cookies'
req = requests.get(url, cookies=jar)
print(req.text)
# '{"cookies": {"tasty_cookie": "yum"}}'
保存cookie方便下次访问,我们需要将CookieJar转为字典或者将字典转为CookieJar
#将CookieJar转为字典：
cookies = requests.utils.dict_from_cookiejar(r.cookies)
#将字典转为CookieJar：
cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True)
6、代理
很多情况下网址具有反爬虫机制，如果我们的访问量达到一定的数量会封掉我们的IP,比如很多朋友爬取微信文章常常需要使用代理，你可以通过proxies参数为任意请求来设置代理，我们可以百度免费代理来获取一些免费的代理，速度不是很快，但是练习足够了。
import requests
proxies = {
"https": "http://127.0.0.1:4433"
}
req = requests.post("http://httpbin.org/post", proxies=proxies)
print(req.text)
7、请求头设置
爬虫中我们需要定制请求头来修改我们的HTTP请求，特别是很多发爬虫工具禁止脚本访问，我们可以设置headers参数来模拟浏览器访问，同时我们还可以通过headers来传递cookie来保持我们的登录状态：
headers = {'user-agent': 'my-app/0.0.1'}
req = requests.get("https://api.github.com/some/endpoint", headers=headers)
三、获取Request响应
爬虫中我们发送了请求，我们可以使用如下方法获取Request响应用于分析和检测：
# 响应状态码
req.status_code
# 响应头
req.headers
# 获取请求链接
req.url
# 获取网页编码
req.encoding
# 获取cookie
req.cookies
# 获取网页代码
req.text
| 
转播
