python学习之-requests模块基础

安装版本：2.18

模块导入：import requests

l 发送请求

发送GET请求：

获取GITHUB的公共时间线

r = requests.get(url='https://api.github.com/events')

现在r为response对象，从这个对象可以获取想要的信息

发送POST请求

r = requests.post(url='http://httpbin.org/post', data={'key':'value'})

发送put请求

r = requests.put(url='http://httpbin.org/put', data={'key':'value'})

发送delete请求

r = requests.delete(url='http://httpbin.org/delete’)

发送head请求

r = requests.head(url='http://httpbin.org/get')

发送options请求

r = requests.optinos(url='http://httpbin.org/get')

以上为request的基本用法。

l 传递URL参数

Requests允许使用params关键字参数，以一个字符串字典来提供，比如：传递 key1=value1 和 key2=value2 到 httpbin.org/get，代码如下：

Pload = {'key1':'value1','key2':'value2'}

r = requests.get('http://httpbin.org/get', params=Pload)

输入新的url：print(r.url)

http://httpbin.org/get?key1=value1&key2=value2

注意：以上字典里如果出现值为None，那么健不会被添加到URL的查询字符串里

将一个列表作为值传入

Pload = {'key1':'value1','key2':['value2','value3']}

r = requests.get('http://httpbin.org/get', params=Pload)

输入新的url：print(r.url)

http://httpbin.org/get?key1=value1&key2=value2&key2=value3

l 响应内容

读取服务器响应的内容，以GITHUB时间线为例

import requests

r = requests.get(url='https://api.github.com/events')

print(r.text)

[{"id":"7610277004","type":"IssuesEvent","actor":{"id":1049678,"login":"tkurki","display_login":"tkurki","gravatar_id":"","url":"https://api.github.com/users/tkurki","avatar_url":"https://avatars.githubusercontent.com/u/1049678?"},"repo":{"id":58462216,"name":"vazco/uniforms","url":"https://api.github.com/repos/vazco/uniforms"},"payload":{"action":"opened",…………

Requests会自动解码来自服务器的内容，大多数unicode字符集都能被无缝的解码。

请求发出后，requests会基于HTTP头部对响应的编码作出有根据的推测，当你访问r.text之时，request会基于其推断的文本进行编码，你可以找出request使用了什么编码，并且能够使用r.encoding属性修改它

r = requests.get(url='https://api.github.com/events')

print(r.encoding)

输出默认编码：utf-8

r.encoding='ISO-8859-1'

print(r.encoding)

输出修改后使用的编码：ISO-8859-1

当修改编码后，每当使用r.text，requests都将使用r.encoding的新值。

比如：HTTP,XML自身可以指定编码，这样的话，可以通过r.content来找到编码，然后设置 r.encoding 为相应的编码，这样就能使用正确的编码解析r.text

r = requests.get(url='http://www.etongbao.com.cn')

r.content

b'<!DOCTYPE html>\n<html lang="zh-CN">\n <head>\n <meta charset="utf-8">\n …..

以BYTES类型打印页面所有内容

l 二进制响应内容

r.content

b'<!DOCTYPE html>\n<html lang="zh-CN">\n <head>\n <meta charset="utf-8">\n …..

Requests会自动为你解码gzip和deflate传输编码的响应数据。

例如：以请求返回的二进制数据创建一张图片，可以使用如下：

from PIL import Image

from io import BytesIO

i = Image.open(BytesIO(r.content))

l JSON响应内容

Requests中有一个内置的JSON解码器，可阻你处理json数据。

import requests

r = requests.get(url='https://api.github.com/events')

print(type(r.json()))

print(r.json())

输出：

{'message': "API rate limit exceede

如果r.jsnon解析失败，r.json会抛出一个异常，如：ValueError: No JSON object could be decoded 异常，但是，有个服务器在失败的响应中也包含一个json对象，这种json会被解码返回，要检查请求是否成功，请使用：

r.raise_for_status() 或者检查r.status_code 是否和期望值相同。

l 原始响应内容

获取来自服务器的原始套接字响应，需要在初始请求中设置：stream=True

import requests

r = requests.get(url='https://api.github.com/events', stream = True)

print(r.raw)

返回：<urllib3.response.HTTPResponse object at 0x023C12F0> 对象

print(r.raw.read(10))

返回：b'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03' 返回原始10字节内容

一般情况，以下面方式保存文本流

import requests

r = requests.get(url='https://api.github.com/events', stream = True)

with open('test', 'wb') as fb:

    for chunk in r.iter_content(chunk_size):

        fb.write(chunk)

使用r.iter_content将会处理大量你直接使用r.raw不得不处理的内容。

l 定制请求头

为请求添加HTTP头部，通过传递一个dict给headers参数即可。

url = 'https://api.github.com/events'

headers = {'user-agent':'my-app/1.0.0'}

r = requests.get(url, headers=headers)

注意：定制header的优先级低于某些特定的信息源。例如：

l 如果在.netrc中设置了用户认证信息，使用headers=设置的授权就不会生效。而如果设置了auth=参数，’’.netrc’’的设置就无效了

l 如果被重定向到别的主机，授权header就会被删除

l 代理授权header会被URL中提供的代理身份覆盖掉

l 在我们能判断内容长度的情况下，header的content-length会被改写

更进一步将，requests不会基于定制header的具体情况改变自己的行为，只不过在最后的请求中，所有的header信息都会被传递进去。

注意：所有的header值必须是string,bytestring或者unicode。尽管传递unicode header也是运行的，但不建议这样做。

l 更加复杂的POST请求

发送编码为表单形式的数据，只需将一个字典传递给data参数，数据字典在发送请求时会自动编码为表单形式：

import requests

payload = {'key1':'value1','key2':'value2'}

r = requests.post(url='http://httpbin.org/post', data=payload)

print(r.text)

输出：

"form": {

"key1": "value1",

"key2": "value2"

可以为data参数传入一个元祖参数，在表单中多个元素使用同一个key的时候，方式如下：

import requests

payload = (('key1', 'value1'),('key1','value2'))

r = requests.post(url='http://httpbin.org/post', data=payload)

print(r.text)

输出：

"form": {

"key1": [

"value1",

"value2"

]

如果传递的是字符串，非dict，那么数据会被直接发送出去。

例如：github api v3接受编码为json的POST/PATCH数据

import requests,json

url = 'https://api.github.com/some/endpoint'

payload = {'sone':'data'}

r = requests.post(url, data=json.dumps(payload))

使用json参数直接传递，然后它就会被自动编码，这是2.4.2版新加功能

import requests,json

url = 'https://api.github.com/some/endpoint'

payload = {'sone':'data'}

r = requests.post(url, json=payload)

这里payload会被自动转化为json格式，

data=json.dumps(payload) == json=payload 这2个是相同的结果

l POST一个多部分编码(Multipart-Encoded)的文件

Requests使上传多部分编码文件变得简单

import requests,json

url = 'http://httpbin.org/post'

files = {'file':open('t1','rb')}

r = requests.post(url, files=files)

print(r.text)

输出：

{ "files": {

"file": "zhaoyong\r\nzhaoyong\r\nzhaoyong"

}

显示设置文件名，文件类型和请求头

import requests,json

url = 'http://httpbin.org/post'

files = {'file':('t1', open('t1','rb'), 'application/vnd.ms-excel', {'Expires': '0'})}

r = requests.post(url, files=files)

print(r.text)

也可以发送作为文件来接收的字符串

import requests,json

url = 'http://httpbin.org/post'

files = {'file':('t2','zhaoyong,zhoayong,zhaoyong')}

r = requests.post(url, files=files)

print(r.text)

输出：

"files": {

"file": "zhaoyong,zhoayong,zhaoyong"

如果发送非常大的文件作为 multipart/form-data请求，默认情况requests不支持做成数据流，有个第三方包：requests-toolbelt支持，参阅：toolbelt文档，http://toolbelt.readthedocs.io/en/latest/

一个请求发送多文件参考：http://docs.python-requests.org/zh_CN/latest/user/advanced.html#advanced

警告：一定要用二进制模式打开文件，因为requests可能会试图为你提供Content-Length header，这个值会被设为文件的字节数，如果用文本模式打开，可能会发生错误。

l 响应状态码

检测响应状态码：

import requests,json

r = requests.get(url='http://httpbin.org/get')

print(r.status_code)

输出：200

一个错误请求，使用raise_for_status()来抛出异常，无异常输出为None

import requests,json

bad_r = requests.get('http://httpbin.org/status/404')

bad_r.status_code

输出：404

bad_r.raise_for_status()

输出：

Traceback (most recent call last):

File "D:/AutoCobbler/dellIdrac/idrac_api.py", line 35, in <module>

bad_r.raise_for_status()

File "C:\Python36-32\lib\site-packages\requests\models.py", line 935, in raise_for_status

raise HTTPError(http_error_msg, response=self)

requests.exceptions.HTTPError: 404 Client Error: NOT FOUND for url: http://httpbin.org/status/404

l 响应头

r.headers : 会以python字典形式展示服务器的响应头

    'content-encoding': 'gzip',

    'transfer-encoding': 'chunked',

    'connection': 'close',

    'server': 'nginx/1.0.4',

    'x-runtime': '148ms',

    'etag': '"e1ca502697e5c9317743dc078f67693f"',

    'content-type': 'application/json'

注：HTTP头部大小写不敏感

因此，可以使用任意大写形式访问这些响应头字段

url = 'http://httpbin.org/post'

files = {'file':('t2','zhaoyong,zhoayong,zhaoyong')}

r = requests.post(url, files=files)

print(r.headers['content-type'])  # 以字典形式打印

print(r.headers.get('content-type'))　　# 通过get获取数据

特殊点，服务器可以多次接受同一header，每次都使用不同的值，但requests会将它们合并，这样他们就可以用一个映射来表示出来。

l   Cookie

获取cookie

import requests

url = 'http://example.com/some/cookie/setting/url'

r = requests.get(url)

r.cookies['example_cookie_name']

发送cookeis到服务器

import requests

url = 'http://httpbin.org/cookies'

cookies = dict(cookies_are = 'working')

r = requests.get(url, cookies = cookies)

print(r.text)

输出：

  "cookies": {

    "cookies_are": "working"

Cookies的返回对象为RequestsCookieJar,它和字典类似，适合跨域名跨路劲使用，可以把cookiejar传到requests中。

import requests

jar = requests.cookies.RequestsCookieJar()

jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies')

jar.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere')

url = 'http://httpbin.org/cookies'

r = requests.get(url, cookies=jar)

print(r.text)

输出：

  "cookies": {

    "tasty_cookie": "yum"

l   重定向与请求历史

除了使用head, requests自动处理重定向，还可用history来追踪重定向。

Response.history是一个response对象的列表，为了完成请求而创建了这些对象，这个对象的列表按照从最老到最近的请求进行排序。

import requests

r = requests.get(url='http://github.com')

print(r.url)

print(r.status_code)

print(r.history)

输出：

https://github.com/

[<Response [301]>]

如果使用的是：GET,POST,OPTIONS,PUT,PATCH或者DELETE，可以通过allow_redirects参数禁用重定向处理。

import requests

r = requests.get(url='http://github.com', allow_redirects=False)

print(r.url)

print(r.history)

输出：

http://github.com/

[]

如果使用HEAD，也可以启动重定向

import requests

r = requests.head(url='http://github.com', allow_redirects=True)

print(r.url)

print(r.history)

输出：

https://github.com/

[<Response [301]>]

l   超时

Requests以timeout参数设定的秒数时间之后停止等待响应，如果不设定，程序有可能永远失去响应。

import requests

r = requests.head(url='http://github.com', timeout=0.001)

输出：

requests.exceptions.ConnectTimeout: HTTPConnectionPool(host='github.com', port=80): Max retries exceeded with url:......................

注意：timeout只对连接过程有效，与响应体的下载无关，timeout并不是整个下载响应的时间限制，而是如果服务器在timeout秒内没有应答，将会引发一个异常（精确的说，在timeout秒内没有从基础套接字上接收到任何字节的数据时）

l   错误与异常

如遇网络问题（DNS查询失败，拒绝连接等）时，requests会抛出一个ConnectionError异常。

如果HTTP请求返回了不成功的状态码，response.raise_for_status()会抛出一个HTTPError异常。

若请求超时，则抛出一个timeout异常。

若请求超过了设定的最大重定向次数，则会抛出一个TooManyRedirects异常。

所有requests显示抛出的异常都继承自requests.exceptions.RequestException

python学习之-requests模块基础的更多相关文章

孤荷凌寒自学python第六十七天初步了解Python爬虫初识requests模块
孤荷凌寒自学python第六十七天初步了解Python爬虫初识requests模块 (完整学习过程屏幕记录视频地址在文末) 从今天起开始正式学习Python的爬虫. 今天已经初步了解了两个主要的模块: ...
python学习之路-day2-pyth基础2
一. 模块初识 Python的强大之处在于他有非常丰富和强大的标准库和第三方库,第三方库存放位置:site-packages sys模块简介导入模块 import sys 3 sys模 ...
03爬虫-requests模块基础(1)
requests模块基础什么是requests模块 requests模块是python中原生基于网络模拟浏览器发送请求模块.功能强大,用法简洁高效. 为什么要是用requests模块用以前的url ...
Python爬虫练习(requests模块)
Python爬虫练习(requests模块) 关注公众号"轻松学编程"了解更多. 一.使用正则表达式解析页面和提取数据 1.爬取动态数据(js格式) 爬取http://fund.e ...
Python学习一：序列基础详解
作者:NiceCui 本文谢绝转载,如需转载需征得作者本人同意,谢谢. 本文链接:http://www.cnblogs.com/NiceCui/p/7858473.html 邮箱:moyi@moyib ...
Python学习二：词典基础详解
作者:NiceCui 本文谢绝转载,如需转载需征得作者本人同意,谢谢. 本文链接:http://www.cnblogs.com/NiceCui/p/7862377.html 邮箱:moyi@moyib ...
Python学习 Part4：模块
Python学习 Part4:模块 1. 模块是将定义保存在一个文件中的方法,然后在脚本中或解释器的交互实例中使用.模块中的定义可以被导入到其他模块或者main模块. 模块就是一个包含Python定义 ...
python学习之argparse模块
python学习之argparse模块一.简介: argparse是python用于解析命令行参数和选项的标准模块,用于代替已经过时的optparse模块.argparse模块的作用是用于解析命令行 ...
Python学习day19-常用模块之re模块
figure:last-child { margin-bottom: 0.5rem; } #write ol, #write ul { position: relative; } img { max- ...

随机推荐

WINDOWS-API：API函数大全
操作系统除了协调应用程序的执行.内存分配.系统资源管理外,同时也是一个很大的服务中心,调用这个服务中心的各种服务(每一种服务是一个函数),可以帮肋应用程序达到开启视窗.描绘图形.使用周边设备的目的,由 ...
WebStorm换主题（护眼）
一.下载喜欢颜色的主题 http://www.phpstorm-themes.com/ 我用的豆沙绿护眼 <scheme name="Solarized Light My" ...
Ukulele 天空之城
更新portage之后安装 certbot
运行的时候一直报如下的错误: sudo certbot 错误结果: Traceback (most recent call last): File "/usr/lib/python-exec ...
hihoCoder第一周---最长回文子串（1032）
其实这就是mancher算法的板子题,贴个代码好了. 思想请见我的另一篇博客: https://blog.csdn.net/qq_41090676/article/details/86768361 # ...
perl学习之：read
perl read()函数例子,read()函数实例代码 - 读取,或试图读取,长度LENGTH 与文件句柄FILEHANDLE 相关联的文件到缓冲区BUFFER中的字节数. 语法 read FILE ...
verilog behavioral modeling --loop statement
1.forever 2.repeat 3.while 4.for The for statement accomplishes the same results as the following ps ...
SQLite Database Browser 2.0使用方法
在网上找一个SQLITE查看器这个查看器叫做:www.jb51.net/database/118822.html 这个查看器可以新建SQLITE文件数据库,可以建立表索引,写SQL语句,编辑表数据 ...
saltstack管理八之常用执行模块
所有执行模块: http://docs.saltstack.cn/zh_CN/latest/ref/states/all/index.html 常用模块:cmd, cron, file, mount, ...
luogu3629 [APIO2010]巡逻
创造一个环出来,可以让环上的边都只访问一次. 对于 \(k=1\),答案就是树的直径两边连起来. 倘若 \(k=2\),那就先按照 \(k=1\) 的求一遍,然后我们发现,如果第二条加的边构成的环和第 ...

python学习之-requests模块基础

python学习之-requests模块基础的更多相关文章

随机推荐

热门专题