Python爬虫笔记【一】模拟用户访问之设置请求头 （1）

学习的课本为《python网络数据采集》，大部分代码来此此书。

　　网络爬虫爬取数据首先就是要有爬取的权限，没有爬取的权限再好的代码也不能运行。所以首先要伪装自己的爬虫，让爬虫不像爬虫而是像人一样访问网页。废话不多说开始伪装。

　　1.修改请求头

　　这里要用到python的requests的模块，首相介绍一下http请求头，它就是你每次在访问网页时，向服务器传输的一组属性和配置信息。下面有七个字段被大多数浏览器用来初始化网络请求。

属性	内容
Host	https://www.google.com/
Connection	keep-alive
Accept	text/html，application/xhtml+xml，application/xml;q=0.9，image/webp，*/*;q=0.8
User-Agent	Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36
Referrer	https://www.google.com/
Accept-Encoding	gzip，deflate，sdch
Accept-Language	en-US,en;q=0.8

这是用户在访问网页时所发出的host请求（图为书中作者的请求，打开F12可查看自己的host请求）。一下为不加请求头时python爬虫发出的请求。

Accept-Encoding	identity
User-Agent	Python- urllib/3.4

用requests模块可以对请求头自定义。我们用下面的程序来采集这个网站的信息，验证我们浏览器的cookie 设置：　　

 import requests
 from bs4 import BeautifulSoup
 session = requests.Session()  # 创建一个session对象
 headers = {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_5)
 　　　　　　AppleWebKit 537.36 (KHTML, like Gecko) Chrome",
 　　　　　　"Accept":"text/html,application/xhtml+xml,application/xml;
 　　　　　　q=0.9,image/webp,*/*;q=0.8"}
 url = "https://www.whatismybrowser.com/developers/what-http-headers-is-my-browser-sending"  #这个网站可以把请求头显示在页面上方便我们验证
 req = session.get(url, headers=headers)  #发起get请求
 bsObj = BeautifulSoup(req.text)
 print(bsObj.find("table",{"class":"table-striped"}).get_text)

输出结果中的请求头应该和程序中设置的headers 是一样的。这样就完成了模拟用户访问的第一步模拟请求头。