Requests库使用总结

概述

Requests是python中一个很Pythonic的HTTP库，用于构建HTTP请求与解析响应

Requests开发哲学

• Beautiful is better than ugly.(美丽优于丑陋)
• Explicit is better than implicit.(直白优于含蓄)
• Simple is better than complex.(简单优于复杂)
• Complex is better than complicated.(复杂优于繁琐)
• Readability counts.(可读性很重要)

安装

直接安装

pip install requests

简单上手

导入模块

import requests

发送请求

#get
r = requests.get('http://httpbin.org/get')

#post
r = requests.post('http://httpbin.org/post', data = {'key':'value'})

通过requests.get或post方法实际发出一个http请求，返回一个response对象，http://httpbin.org是一个可以测试http请求的网站

处理响应

r.text  #返回响应内容主体，Requests 会自动解码来自服务器的内容

r.content  #返回二进制的响应内容主体

r.json() #处理json的响应内容，返回解码后的dict

构造请求

Requests中requests.get或post这些方法实际都是通过requests.request(method, url, **kwargs)实现的，主要返回response对象，下面主要介绍这个方法的参数

method -- Request对象的请求方法.
url -- 请求的URL.
params -- (可选) 请求的URL查询字符串中要发送的字典或字节.
data -- (可选) 字典或者元组列表[(key, value)] (form-encoded), 字节, 或者文件对象包含在请求主体中发生，主要是post put使用.
json -- (可选) 包含请求主体中的json数据.
headers -- (可选) HTTP首部(请求/通用/实体首部)，字典形式.
cookies -- (可选) Dict 或者 CookieJar对象包含在首部cookie字段发送.
files -- (可选) “名称”：类文件对象（或{“名称：file-tuple}”）的字典，用于分段编码上传。 file-tuple可以是2元组（“ filename”，fileobj），3元组（“ filename”，fileobj，“ content_type”）或4元组（“ filename”，fileobj，“ content_type”，custom_headers）， 其中，“ content-type”是一个字符串，用于定义给定文件的内容类型，而custom_headers是一个类似dict的对象，其中包含要为该文件添加的其他标题。
auth -- (可选)  用于Basic/Digest/Custom HTTP 认证，元组类型.
timeout (float or tuple) -- (可选)超时时间，在放弃请求之前，等待服务器发送数据的秒数，以浮点数或（连接超时，读取超时）元组为单位.
allow_redirects (bool) -- (可选)布尔值。 启用/禁用GET / OPTIONS / POST / PUT / PATCH / DELETE / HEAD重定向。 默认为True。
proxies -- (可选)字典，代理设置
verify -- (可选)布尔值（在这种情况下，它控制我们是否验证服务器的TLS证书）或字符串（在这种情况下，它必须是要使用的CA捆绑包的路径）。 默认为True。
stream -- (可选) 如果为False，则将立即下载响应内容。
cert -- (可选) 如果为String，则为ssl客户端证书文件（.pem）的路径。 如果是元组，则（“证书”，“密钥”）配对。

GET请求

requests.get(url, params=None, **kwargs)等价于requests.request('get', url, params=None,**kwargs)，**kwargs即上面支持的可选参数

payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://httpbin.org/get", params=payload)

#即向http://httpbin.org/get?key2=value2&key1=value1请求

POST请求

requests.post(url, data=None, json=None, **kwargs)等价于requests.request('post', url, data=None, json=None, **kwargs)，**kwargs即上面支持的可选参数

POST提交请求，数据一般是放在HTTP报文主体中，数据编码主要有以下三种方式并在请求首部Content-Type 中指定

• application/x-www-form-urlencoded ：最常见post提交数据的方式，以form表单形式提交数据。
• application/json ：以json串提交数据。
• multipart/form-data ：一般使用来上传文件。

#application/x-www-form-urlencoded，一般form提交

payload = {'key1': 'value1', 'key2': 'value2'}

r = requests.post("http://httpbin.org/post", data=payload)

#application/json，如果使用 json 参数直接传递dict，就会被自动编码等同于json.dumps(payload)。如果使用data参数传递json.dumps(payload)，与json参数不同在于前者有Content-Type，后者无

payload = {'key1': 'value1', 'key2': 'value2'}

r = requests.post("http://httpbin.org/post", json=payload)

#multipart/form-data 传文件

url = 'http://httpbin.org/post'

files = {'file': open('report.xls', 'rb')}

r = requests.post(url, files=files)

定制请求头

如果想为请求添加 HTTP 头部，只要简单地传递一个 dict 给 headers 参数就可以了

headers = {'user-agent': 'my-app/0.0.1'}

r = requests.get('http://httpbin.org/get', headers=headers)

注意的是如果headers中包含Cookie会覆盖使用cookies参数时传入的dict

传入Cookie

直接将字典类型的cookies传入到cookies参数即可

cookies = dict(cookies_are='working')

r = requests.get('http://httpbin.org/get',cookies=cookies)

处理响应

requests方法返回一个response对象

响应内容主体

r = requests.get('http://httpbin.org/get')

r.text  #返回响应内容主体，Requests 会自动解码来自服务器的内容

r.content  #返回二进制的响应内容主体

r.json() #处理json的响应内容，返回解码后的dict

注意：有的中文网站使用r.text时，返回的内容为乱码，实际是自动解码错误了，解决办法主要有

#先返回二进制内容，再根据实际的编码解码

r.content.decode("utf-8")

#不知道具体编码形式时，可以使用下面方法自动解码

r.encoding = r.apparent_encoding

r.text

获取响应头部

1.响应头部信息

r.headers

2.获取此响应的原始请求的头部

r.request.headers

响应状态

1.返回状态码

r.status_code

2.响应是400或500类就抛出HTTPError异常

r.raise_for_status()

3返回状态原因

r.reason

响应内容编码

r.encoding     #从HTTP报文header中猜测的响应内容的编码方式

r.apparent_encoding  #从内容中分析响应内容的编码方式(备选编码方式，一般从html<meta>标签中属性charset获取)

需要注意的是

• r.encoding:如果header中不存在charset,则认为编码是ISO-8859-1
• r.text根据r.encoding显示网页内容
• r.apparent_encoding:根据网页内容分析处的编码方式可以看做是r.encoding的备选

其它方法与属性

response对象其它的方法与属性参考，具体可以查看官网地址http://cn.python-requests.org/zh_CN/latest/api.html#requests.Response

• apparent_encoding：由html chardet属性表示的编码
• close()：关闭连接，一般不用
• content：二进制内容主体
• cookies：返回CookieJar对象
• elapsed：从发送请求到响应到达之间经过的时间
• encoding：决定.text的编码，从头部获取
• headers：响应的头部信息，以字典形式
• history：是一个 Response 对象的列表，为了完成请求而创建了这些对象。这个对象列表按照从最老到最近的请求进行排序。主要用在重定向中
• is_permanent_redirect：如果此响应是重定向的永久版本之一，则为True。
• is_redirect：如果此响应是自动处理后格式正确的HTTP重定向，则为true
• links：返回响应的已解析头链接（如果有）。
• ok：如果status_code小于400，则返回True。
• request：这个响应的原始request对象
• url：响应的最终URL

会话对象

有时候可能需要多个请求才能完成任务的情况，比如模拟登录后的请求操作，如果单独用requests去请求的话，就需要将最初的请求响应的cookie或header保存下来并且在后面的请求中都加入，这样比较麻烦。

所以requests提供了个Session对象，用来让你能够跨请求保持某些参数，它也会在同一个 Session 实例发出的所有请求之间保持 cookie，并且向同一主机发送多个请求，底层的 TCP 连接将会被重用，从而带来显著的性能提升。

1.跨请求保持一些 cookie

s = requests.Session()

s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
r = s.get("http://httpbin.org/cookies")

print(r.text)
# '{"cookies": {"sessioncookie": "123456789"}}'

2.属性的合并

s = requests.Session()
s.auth = ('user', 'pass')
s.headers.update({'x-test': 'true'})

# both 'x-test' and 'x-test2' are sent
s.get('http://httpbin.org/headers', headers={'x-test2': 'true'})

注意的是，只有对象属性才能合并，方法层的参数覆盖则会覆盖

s = requests.Session()

r = s.get('http://httpbin.org/cookies', cookies={'from-my': 'browser'})
print(r.text)
# '{"cookies": {"from-my": "browser"}}'

r = s.get('http://httpbin.org/cookies')
print(r.text)
# '{"cookies": {}}'

3.前后文管理器

with requests.Session() as s:
    s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')

这样就能确保with区块退出后会话能被关闭，即使发生了异常也一样

参考:http://cn.python-requests.org/zh_CN/latest/