![]()
![]()
response.status_code是一个很常用的属性，在我们之后的爬虫代码中也将多次出现。![]()
response.content，它能把Response对象的内容以二进制数据的形式返回，适用于图片、音频、视频的下载
# 引用requests库
import requests
# 下载《三国演义》第一回，我们得到一个对象，它被命名为res
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/sanguo.md')
# 把Response对象的内容以字符串的形式返回
novel=res.text
# 现在，可以打印小说了，但考虑到整章太长，只输出800字看看就好。在关于列表的知识那里，你学过[:800]的用法。
print(novel[:800])
response.text，这个属性可以把Response对象的内容以字符串的形式返回，适用于文字、网页源代码的下载。
# 引用requests库
import requests
# 下载《三国演义》第一回，我们得到一个对象，它被命名为res
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/sanguo.md')
# 把Response对象的内容以字符串的形式返回
novel=res.text
# 现在，可以打印小说了，但考虑到整章太长，只输出800字看看就好。在关于列表的知识那里，你学过[:800]的用法。
print(novel[:800])
response.encoding，它能帮我们定义Response对象的编码。
# 引用requests库
import requests
# 下载《三国演义》第一回，我们得到一个对象，它被命名为res
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/sanguo.md')
# 定义Response对象的编码为gbk
res.encoding='gbk'
# 把Response对象的内容以字符串的形式返回
novel=res.text
# 打印小说的前800个字
print(novel[:800])
遇上文本的乱码问题，才考虑用res.encoding。![]()
爬虫伦理
服务器在通常情况下，对搜索引擎是欢迎的态度(刚刚讲过，谷歌和百度的核心技术之一就是爬虫)。当然，这是有条件的，通常这些条件会写在robots协议里。
robots协议是互联网爬虫的一项公认的道德规范，它的全称是“网络爬虫排除标准”(robots exclusion protocol)，这个协议用来告诉爬虫，哪些页面是可以抓取的，哪些不可以。
User-agent: Baiduspider # 百度爬虫
Allow: /article # 允许访问 article
Allow: /oshtml # 允许访问 oshtml
Allow: /ershou # 允许访问 ershou
Allow: /$ # 允许访问根目录，即淘宝主页
Disallow: /product/ # 禁止访问product文件夹下面的所有文件，但是product文件夹本身允许被访问
Disallow: / # 禁止访问除 Allow 规定页面之外的其他所有页面
User-Agent: Googlebot # 谷歌爬虫
Allow: /article
Allow: /oshtml
Allow: /product # 允许访问product文件夹及product文件夹下面的所有文件
Allow: /spu
Allow: /dianpu
Allow: /oversea
Allow: /list
Allow: /ershou
Allow: /$
Disallow: / # 禁止访问除 Allow 规定页面之外的其他所有页面
…… # 文件太长，省略了对其它爬虫的规定，想看全文的话，点击上面的链接
User-Agent: * # 其他爬虫
Disallow: / # 禁止访问所有页面
转播
