python 一：requests基本用法

python requests库比urllib库使用起来简单，建议以后使用requests库，示例如下：

import requests
r = requests.get('https://www.baidu.com/')
print(type(r))
print(r.status_code)
print(type(r.text))
print(r.text)
print(r.cookies)

运行结果如下：

C:\Users\lc\AppData\Local\Programs\Python\Python37\python.exe C:/Users/lc/Desktop/python/helloword.py
<class 'requests.models.Response'>
200
<class 'str'>
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>°±é</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus=autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value= class="bg s_btn" autofocus></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>°é</a> <a href=https://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>°</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>è§é</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>è§</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb></a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb"></a>');
                </script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">¤§</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com></a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>¨è</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>è§é</a>&nbsp;ICPè030173·&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>

Process finished with exit code 0

requests的方法使用起来相当简单，上例即完成了一次网络爬取。

一、GET()

网络爬取必用的方法get().

一个最简单的示例，http://httpbin.org/get 是一个测试在线测试网站，它判断如果客户端发起的是get请求直接返回相应的请求信息：

import requests
r = requests.get('http://httpbin.org/get')
print(r.text)

运行结果：

C:\Users\lc\AppData\Local\Programs\Python\Python37\python.exe C:/Users/lc/Desktop/python/helloword.py
{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.20.1"
  }, 
  "origin": "124.133.52.190", 
  "url": "http://httpbin.org/get"
}

返回相应的结果，包括args、headers、origin、url。

这是一个最基本的get请求，但实际情况都会带参数，比如现在要增加name是germey，age是22，两个参数该怎么办呢？一种简单的非正规方法是是：

r = requests.get('http://httpbin.org/get?name=germey&age=22')

当然实际情况不会这么干，因为如果参数的是用户名和密码的话，就在浏览器的地址栏暴露了。

实际的做法也很简单，只需构造个字典存储参数信息，然后把他当做get()的第二个参数，如下：

import requests
data = {
    'name':'germey',
    'age':22
}
r = requests.get('http://httpbin.org/get', params=data)
print(r.text)

执行结果如下：

C:\Users\lc\AppData\Local\Programs\Python\Python37\python.exe C:/Users/lc/Desktop/python/helloword.py
{
  "args": {
    "age": "22", 
    "name": "germey"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.20.1"
  }, 
  "origin": "111.34.28.46", 
  "url": "http://httpbin.org/get?name=germey&age=22"
}

此时返回的args即使传递的参数信息，且url被置成“http://httpbin.org/get?name=germey&age=22”

观察一下返回的结果类型是str，但是json格式的，可以把json转化为字典，需要调用json方法，示例如下：

import requests
data = {
    'name':'germey',
    'age':22
}
r = requests.get('http://httpbin.org/get', params=data)
print(type(r.text))
print(r.json())
print(type(r.json()))

执行结果如下：

<class 'str'>
{'args': {'age': '22', 'name': 'germey'}, 'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Connection': 'close', 'Host': 'httpbin.org', 'User-Agent': 'python-requests/2.20.1'}, 'origin': '111.34.28.46', 'url': 'http://httpbin.org/get?name=germey&age=22'}
<class 'dict'>

如果我们用以上get的基本用法去抓取其他网站，发现基本抓取失败，比如抓取知乎，示例如下：

import requests
r = requests.get('https://www.zhihu.com/')
print(r.text)

执行结果：

<html>
<head><title>400 Bad Request</title></head>
<body bgcolor="white">
<center><h1>400 Bad Request</h1></center>
<hr><center>openresty</center>
</body>
</html>

返回400的相应码，是服务端直接拒绝了此链接，

原因是一些网站为防止爬虫，会检测报文头即headers中的User-Agent字段，默认此字段带“python”字样，所以在抓取前需要设置此字段，伪装成是浏览器在访问，方法如下：

import requests
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
}
r = requests.get('https://www.zhihu.com/',headers=headers)
print(r.text)

此处只需注意一下即可，每次访问前这样设置一下headers.

当然headers中不仅仅User-Agent需要设置，还有cookie等其他信息，比如要设置cookie，首先要获取cookie，可以用以下方法获取：

import requests
r = requests.get('https://www.baidu.com/')
print(r.cookies)

返回如下：

<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>

关于cookie等其他信息，我们后续介绍。

python 一 ：requests基本用法

python 一：requests基本用法