python day1-requests

一、什么是requests

Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库。

相对于urllib库(自带，无需手动安装)而言，requests库的使用显得简单便捷(本质就是封装了urllib3)。

官方文档：http://cn.python-requests.org/zh_CN/latest/

二、requests的安装

1.电脑运行ctrl+R输入cmd(命令提示符)

2.运行pip install requests安装 

三、requests库的使用

在requests库中，我们常用的是requests.get()和requests.post()

post请求与get请求区别：

1.在客户端，Get方式在通过URL提交数据，数据在URL中可以看到；POST方式，数据放置在HTML HEADER内提交。

2.GET方式提交的数据最多只能有1024 Byte，而POST则没有此限制。

3.安全性问题。正如在（1）中提到，使用Get的时候，参数会显示在地址栏上，而Post不会。所以，如果这些数据是中文数据而且是非敏感数据，那么使用get；如果用户输入的数据不是中文字符而且包含敏感数据，那么还是使用post为好。

requests.get()

import requests

response = requests.get('http://www.baidu.com')   #获取百度的源码
response.encoding = response.apparent_encoding   #程序分析源码采用的编码格式
print(response.text)  #打印源码

其实，我们在使用过程中经常需要传递一些参数，如百度搜索python，这时我们就可以通过拼接构造URL的方式实现，那么数据会以键/值对的形式置于 URL 中，跟在一个问号的后面。

例如：http://www.baidu.com/s?wd=python中Requests 允许你使用 params 关键字参数，以一个字典来提供这些参数。

import requests

url = 'http://www.baidu.com/s'
params = {
    'wd':'python'
}
response = requests.get(url,params=params)  #传入参数
response.encoding = response.apparent_encoding
print(response.url)   #返回http://www.baidu.com/s?wd=python

当然，你也可以使用最简单的拼接

url = 'http://www.baidu.com/s?wd=' + 'python'
response = requests.get(url)
print(response.url)     #返回http://www.baidu.com/s?wd=python

拓展知识：

你还可以将一个列表作为值传入：

import requests
params = {'key1': 'value1', 'key2': ['value2', 'value3']}
r = requests.get('http://httpbin.org/get', params=params)
print(r.url)
# 打印的结果是
#http://httpbin.org/get?key1=value1&key2=value2&key2=value3

requests.post()

import requests

data = {
    "name":"zhaofan",
    "age":23
}
response = requests.post("http://httpbin.org/post",data=data)
print(response.text)
'''
返回
{
  "args": {},
  "data": "",
  "files": {},
  "form": {
    "age": "23",
    "name": "zhaofan"
  },
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Content-Length": "19",
    "Content-Type": "application/x-www-form-urlencoded",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.20.0"
  },
  "json": null,
  "origin":,
  "url": "https://httpbin.org/post"
}

'''

其他HTTP请求类型：PUT，DELETE，HEAD 以及 OPTIONS其实都是差不多的用法

r = requests.put('http://httpbin.org/put', data = {'key':'value'})
r = requests.delete('http://httpbin.org/delete')
r = requests.head('http://httpbin.org/get')
r = requests.options('http://httpbin.org/get')

四、定制请求头

网站建立的最终目的是让人来访问的，其实几乎每个网站都是拒绝爬虫的，因此引出各种各样的反爬手段，那么网站是靠什么来判定我们是爬虫的？

方法有很多，其中最普遍的是通过请求头来判断。

在发送HTTP请求的时候浏览器都会带上请求头信息等，如果我们的程序没有带上，或者带上的请求头信息是错误的，也就是不被服务器认可的，那么就会遭到服务器的拒绝！

import requests

url = 'http://www.baidu.com/s'
params = {
    'wd':'python'
}
#请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36',
}
response = requests.get(url,params=params,headers=headers)

此外，我们也可以通过fake_useragent来随机生成一个请求头

from fake_useragent import UserAgent

us = UserAgent()
print(us.random)  #打印随机生成的请求头

注意：我们只是加上了User-Agent信息就可以正常访问了，但是浏览器是发送了比我们更多的信息的。如果遇到加上请求头User-Agent信息也不成功的网站，可以尝试添加其他请求头信息。

五、响应状态码

import requests

url = 'http://www.baidu.com/'
response = requests.get(url)
print(response.status_code)    #返回200

相关的响应状态码请访问网友的博客：https://www.cnblogs.com/dekui/p/7801289.html

六、cookie

现在的网站中有这样的一种网站类型，也就是需要用户注册以后，并且登陆才能访问的网站，或者说在不登录的情况下不能访问自己的私有数据，例如微博，微信等。

网站记录用户信息的方式就是通过客户端的Cookie值。例如：当我们在浏览器中保存账号和密码的同时，浏览器在我们的电脑上保存了我们的用户信息，并且在下次访问这个页面的时候就会自动的为我们加载Cookie信息。

在需要登陆的网站中，浏览器将Cookie中的信息发送出去，服务器验证Cookie信息，确认登录。既然浏览器在发送请求的时候带有Cookie信息，那么我们的程序同样也要携带Cookie信息。

Cookie是当你访问某个站点或者特定页面的时候，留存在电脑里的一段文本，它用于跟踪记录网站访问者的相关数据信息，比如：搜索偏好、行为点击，账号，密码等内容。

通常Cookie值信息可以在浏览器中复制过来，放到headers中：

headers = {
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    'Accept-Encoding': 'gzip, deflate, br',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Connection': 'keep-alive',
    'Content-Length': '',
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'Cookie': 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx', # 浏览器中复制
    'Host': 'www.lagou.com',
    'Origin': 'https://www.lagou.com',
    'Referer': 'https://www.lagou.com/jobs/list_Python?labelWords=&fromSearch=true&suginput=',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36',
    'X-Anit-Forge-Code': '',
    'X-Anit-Forge-Token': 'None',
    'X-Requested-With': 'XMLHttpRequest',
}