路飞学城Python-Day142

第2节：UA身份伪装

反爬机制

User-Agent：请求载体的身份标识

通过不同的手段的当前的请求载体是不一样的，请求信息也是不一样的，常见的请求信息都是以键和值的形式存在

浏览器的开发者工具

NetWork-抓包工具

ResponseHeaders-响应头信息

RequestHeaders-请求头信息

User-Agent(UA)：请求载体标识

网站会检查请求的UA，如果发现请求的UA是爬虫程序，则拒绝提供网站数据

反反爬机制：伪装爬虫程序的请求的UA

import urllib.request

url = 'http://www.baidu.com/'

# UA伪装

# 1.自制定一个请求对象

headers = {

#     存储任意的请求头信息

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '

                  'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',

}

# 该请求对象进行了成功的伪装

req = urllib.request.Request(url=url, headers=headers)

# 2.针对自制定的请求对象发起请求

res = urllib.request.urlopen(req)

print(res.read())

 

第2节：post请求

爬取百度翻译的结果

network里的xhr就是全部是基于ajax的请求

import urllib.request

import urllib.parse

# 1.制定url

url = 'https://fanyi.baidu.com/sug'

# post请求所携带的参数处理流程

# 1.将请求参数封装到字典中

data = {

    'kw': '西瓜',

}

# 2.使用parse中的url encode进行编码处理

data = urllib.parse.urlencode(data)

 

# 3.将步骤2的编码结果转换为byte类型

data = data.encode()

 

# 2.发起post请求

# urlopen中的data表示的就是经过处理之后的post的请求参数

req = urllib.request.urlopen(url=url, data=data)

# print(req.read())

with open('./百度翻译.txt', 'wb') as fp:

    fp.write(req.read())

---

urllib的高级操作简介

三.urllib模块的高级操作

    1.代理

      - 什么是代理：代理就是第三方代替本体处理相关事务。例如：生活中的代理：代购，中介，微商......

　　- 爬虫中为什么需要使用代理？

　　　  一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会会禁止这个IP的访问。所以我们需要设置一些代理IP，每隔一段时间换一个代理IP，就算IP被禁止，依然可以换个IP继续爬取。

　  - 代理的分类：

　　　　正向代理：代理客户端获取数据。正向代理是为了保护客户端防止被追究责任。

　　　　反向代理：代理服务器提供数据。反向代理是为了保护服务器或负责负载均衡。

import urllib.request

import urllib.parse

 

#1.创建处理器对象，在其内部封装代理ip和端口

handler=urllib.request.ProxyHandler(proxies={'http':'95.172.58.224:52608'})

#2.创建opener对象，然后使用该对象发起一个请求

opener=urllib.request.build_opener(handler)

 

url='http://www.baidu.com/s?ie=UTF-8&wd=ip'

 

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',

}

 

request = urllib.request.Request(url, headers=headers)

 

#使用opener对象发起请求，该请求对应的ip即为我们设置的代理ip

response = opener.open(request)

 

with open('./daili.html','wb') as fp:

fp.write(response.read())

    2.cookie

         引言：有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的，例如：

import urllib.request

import urllib.parse

#指定url

url = 'http://www.renren.com/289676607/profile'

#自定义请求头信息

headers={

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',

}

#自定义请求对象

request = urllib.request.Request(url=url,headers=headers)

#发起请求

response = urllib.request.urlopen(request)

 

with open('./renren.html','w') as fp:

fp.write(response.read().decode())

【注意】上述代码中，我们爬取到的是登录首页面，而不是张三的个人主页也面。why？首先我们来回顾下cookie的相关概念及作用

        - cookie概念：当用户通过浏览器首次访问一个域名时，访问的web服务器会给客户端发送数据，以保持web服务器与客户端之间的状态保持，这些数据就是cookie。

        - cookie作用：我们在浏览器中，经常涉及到数据的交换，比如你登录邮箱，登录一个页面。我们经常会在此时设置30天内记住我，或者自动登录选项。那么它们是怎么记录信息的呢，答案就是今天的主角cookie了，Cookie是由HTTP服务器设置的，保存在浏览器中，但HTTP协议是一种无状态协议，在数据交换完毕后，服务器端和客户端的链接就会关闭，每次交换数据都需要建立新的链接。就像我们去超市买东西，没有积分卡的情况下，我们买完东西之后，超市没有我们的任何消费信息，但我们办了积分卡之后，超市就有了我们的消费信息。cookie就像是积分卡，可以保存积分，商品就是我们的信息，超市的系统就像服务器后台，http协议就是交易的过程。 

        - 经过cookie的相关介绍，其实你已经知道了为什么上述案例中爬取到的不是张三个人信息页，而是登录页面。那应该如何抓取到张三的个人信息页呢？

　　思路：

　　　　1.我们需要使用爬虫程序对人人网的登录时的请求进行一次抓取，获取请求中的cookie数据

　　　　2.在使用个人信息页的url进行请求时，该请求需要携带 1 中的cookie，只有携带了cookie后，服务器才可识别这次请求的用户信息，方可响应回指定的用户信息页数据

cookiejar对象：

- 作用：自动保存请求中的cookie数据信息

- 注意：必须和handler和opener一起使用

cookiejar使用流程：

- 创建一个cookiejar对象

import http.cookiejar

cj = http.cookiejar.CookieJar()

- 通过cookiejar创建一个handler

handler = urllib.request.HTTPCookieProcessor(cj)

- 根据handler创建一个opener

opener = urllib.request.build_opener(handler)

- 使用opener.open方法去发送请求，且将响应中的cookie存储到openner对象中，后续的请求如果使用openner发起，则请求中就会携带了cookie

使用cookiejar实现爬取人人网个人主页页面数据：

#使用cookiejar实现人人网的登陆

import urllib.request

import urllib.parse

import http.cookiejar

cj = http.cookiejar.CookieJar() #请求中的cookie会自动存储到cj对象中

#创建处理器对象(携带cookiejar对象的)

handler=urllib.request.HTTPCookieProcessor(cj)

#创建opener对象 （携带cookiejar对象）

opener=urllib.request.build_opener(handler)

 

#要让cookiejar获取请求中的cookie数据值

url='http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=201873958471'

#自定义一个请求对象，让该对象作为opener的open函数中的参数

data={

"email":"www.zhangbowudi@qq.com",

"icode":"",

"origURL":"http://www.renren.com/home",

"domain":"renren.com",

"key_id":"1",

"captcha_type":"web_login",

"password":"40dc65b82edd06d064b54a0fc6d202d8a58c4cb3d2942062f0f7dd128511fb9b",

"rkey":"41b44b0d062d3ca23119bc8b58983104",

'f':"https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DpPKf2680yRLbbZMVdntJpyPGwrSk2BtpKlEaAuKFTsW%26wd%3D%26eqid%3Deee20f380002988c000000025b7cbb80"

}

data=urllib.parse.urlencode(data).encode()

request=urllib.request.Request(url,data=data)

opener.open(request)

 

#获取当前用户的二级子页面

s_url='http://www.renren.com/289676607/profile'

#该次请求中就携带了cookie

resonse=opener.open(s_url)

 

with open('./renren.html','wb') as fp:

fp.write(resonse.read())

 

---

request简介

1.什么是request模块

request是python原生的一个基于网络请求的模块，模拟浏览器发起请求

request模块功能更强大，开发效率高，掌握了request模块就是掌握了网络爬虫的半壁江山！

2.为什么要用request模块

urllib中有一些不便于操作的地方，使用urllib必须手动处理url的编码方式，比如quate()手动编码，有的url有很多组参数的，每一组都需要进行编码会很不方便

urllib还需要手动处理post请求的参数，url.encode()对字典进行处理，之后还要进行doceode操作

urllib处理cookie和代理的时候比较繁琐

    -创建一个cookie对象，

    -创建一个handler对象

    -创建一个opener对象，通过opener发起请求，这时才会携带cookie

处理代理操作的流程

    -创建一个handler对象，见代理ip和端口封装到该对象中

    -基于handler对象再去创建opener对象，

request模块会自动处理编码问题，简化了更多的cookie和代理的操作

3.request如何被使用

-安装request模块

-1.指定url

-2.使用request模块发起请求

-3.获取响应数据

-4.进行持久化存储

4.通过5个基于request模块的爬虫项目对该模块进行系统学习和巩固

-1.request发起get请求

-2.request发起post请求

-3.request发起ajax请求

-4.request发起ajax的post请求

-5.综合项目，所有基础知识点练习

---

requsts-get请求1

 

 

# 爬取搜狗首页的数据

import requests

# 1.指定url

url = 'https://www.sogou.com/'

# 2.发起get请求

res = requests.get(url=url)

# 3.获取响应中的数据值

# text获取相应页面中的字符串形式

page_data = res.text

# print(page_data)

# 4.持久化操作

with open('./sougou.html', 'w', encoding='utf-8') as fp:

    fp.write(page_data)

---

requests（response常用属性）

 

# 爬取搜狗首页的数据

import requests

# 1.指定url

url = 'https://www.sogou.com/'

# 2.发起get请求

res = requests.get(url=url)

# 3.获取响应中的数据值

# content获取的是response对象中的byte类型的页面数据

# print(res.content)

# status_code表示网页的响应状态码，返回响应状态码，查属性的结果，响应成功或失败

# print(res.status_code)

# 获取响应头信息(字典的形式)

# print(res.headers)

# 获取的是响应对象中的url，获取请求的url，返回的是请求中指定的url

# print(res.url)

---

requests模块带参get请求方式1

# 获取搜狗搜索结果对应页面数据

import requests

url = 'https://www.sogou.com/web?query=周杰伦&ie=utf-8'

 

res = requests.get(url=url)

 

# print(res.text)

 

with open('./Jay.html', 'w', encoding='utf-8') as fp:

    fp.write(res.text)

 

---

 

 

requests模块带参get请求方式2

# 获取搜狗搜索结果对应页面数据

import requests

 

url = 'https://www.sogou.com/web'

# 将参数封装到字典中

params = {

    'query': '周杰伦',

    'ie': 'utf-8',

}

res = requests.get(url=url, params=params)

 

# print(res.text)

 

with open('./Jay2.html', 'w', encoding='utf-8') as fp:

    fp.write(res.text)

---

requests模块get请求自定义请求头信息

 

 

 

 

 

 

import requests

# 自定义请求头信息

headers = {

        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '

                  'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',

}

 

 

url = 'https://www.sogou.com/web'

# 将参数封装到字典中

params = {

    'query': '周杰伦',

    'ie': 'utf-8',

}

res = requests.get(url=url, params=params, headers=headers)

 

# print(res.text)

 

with open('./Jay3.html', 'w', encoding='utf-8') as fp:

    fp.write(res.text)

 

---

request模块的post请求

 

 

# 登录豆瓣网，获取登陆成功后的页面数据

import requests

# 指定url

url = 'https://accounts.douban.com/login'

# 封装post请求的参数

data = {

'source': 'movie',

'redir': 'https://movie.douban.com/',

'form_email': 'a873245193@sina.com',

'form_password': 'dota2009',

'login': '登录'

}

headers = {

#     存储任意的请求头信息

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '

                  'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',

}

# 发起post请求

req = requests.post(url=url, data=data, headers=headers)

# 3.获取响应对象中的页面数据

page_text = req.text

# 4.持久化操作

with open('./douban.html', 'w', encoding='utf-8') as fp:

    fp.write(page_text)

 

 

requests模块ajax的get请求

 

 

import requests

 

url = 'https://movie.douban.com/j/chart/top_list?'

# 封装ajax中get请求携带的参数

params = {

    'type': '13',

    'interval_id': '100:90',

    'action': '',

    'start': '0',

    'limit': '2000',

}

headers = {

    #     存储任意的请求头信息

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '

                  'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',

}

req = requests.get(url=url, params=params, headers=headers)

print(req.text)

 

 

requests模块处理ajax的post请求

 

# 爬取肯德基餐厅的位置数据

import requests

 

# 1.指定url

post_url = r'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'

# 2.处理post请求的参数

data = {

    'cname': '',

    'pid': '',

    'keyword': '江苏',

    'pageIndex': '1',

    'pageSize': '10',

}

headers = {

    #     存储任意的请求头信息

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '

                  'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',

}

req = requests.post(url=post_url, data=data, headers=headers)

print(req.text)

 

request模块综合练习

 

 

import requests

# 爬取搜狗、知乎某一个词条对应的一定范围表示的页面数据

# 获取前3页页面数据

# 1.指定url

url = 'https://zhihu.sogou.com/zhihu'

params = {

    'query': '人工智能',

    'page':'6',

    'ie':'utf8',

}

headers = {

    #     存储任意的请求头信息

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '

                  'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',

}

req = requests.get(url=url, params=params, headers=headers)

# print(req.text)

with open('./人工智能.html', 'w', encoding='utf-8') as fp:

    fp.write(req.text)

 

request模块的cookie操作

 

# cookie

# 基于用户的数据

# 爬取豆瓣网的个人主页页面数据

# cookie作用，服务端使用cookie来记录客户端的状态信息

# 1.执行登录操作

# 2.发起个人请求主页请求时，需要将cookie携带到该请求中

# session也可以使用来发起请求，该cookie对象会自动存储在session中

import requests

 

session = requests.session()

login_url = 'https://www.douban.com/accounts/login'

data = {

    'source': 'movie',

    'redir': 'https://movie.douban.com/',

    'form_email': 'a873245193@sina.com',

    'form_password': 'dota2009',

    'login': '登录',

}

headers = {

    #     存储任意的请求头信息

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '

                  'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',

}

res = session.post(url=login_url, data=data, headers=headers)

print(res.text)

with open('./dou.html', 'w', encoding='utf-8') as fp:

    fp.write(res.text)

 

 

 

requests模块的代理操作

 

 

# -代理操作，使用第三方代替本体去操作事务

# -为什么要使用代理？

# 反爬操作有关联

# 设置代理ip防止门户网站封禁ip，使用代理是一种反反爬的手段

# 代理分类

# -正向代理 代替客户端获取数据

# -反向代理 代替服务器端提供数据

# 4.免费代理ip的网站提供商

# -www.goubanjia.com

# -快代理

# -西祠代理