【转】Python 第三方 http 库-Requests 学习
Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的,所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 哦!
- Beautiful is better than ugly.(美丽优于丑陋)
- Explicit is better than implicit.(清楚优于含糊)
- Simple is better than complex.(简单优于复杂)
- Complex is better than complicated.(复杂优于繁琐)
- Readability counts.(重要的是可读性)
一、安装 Requests
通过pip安装
1
|
$ pip install requests |
或者,下载代码后安装:
1
2
3
|
$ git clone git: //github .com /kennethreitz/requests .git $ cd requests $ python setup.py install |
再懒一点,通过IDE安装吧,如pycharm!
二、发送请求与传递参数
先来一个简单的例子吧!让你了解下其威力:
1
2
3
4
5
6
7
|
import requests r = requests.get(url = 'http://www.itwhy.org' ) # 最基本的GET请求 print (r.status_code) # 获取返回状态 r = requests.get(url = 'http://dict.baidu.com/s' , params = { 'wd' : 'python' }) #带参数的GET请求 print (r.url) print (r.text) #打印解码后的返回数据 |
很简单吧!不但GET方法简单,其他方法都是统一的接口样式哦!
requests.get(‘https://github.com/timeline.json’) #GET请求
requests.post(“http://httpbin.org/post”) #POST请求
requests.put(“http://httpbin.org/put”) #PUT请求
requests.delete(“http://httpbin.org/delete”) #DELETE请求
requests.head(“http://httpbin.org/get”) #HEAD请求
requests.options(“http://httpbin.org/get”) #OPTIONS请求
PS:以上的HTTP方法,对于WEB系统一般只支持 GET 和 POST,有一些还支持 HEAD 方法。
带参数的请求实例:
1
2
3
|
import requests requests.get( 'http://www.dict.baidu.com/s' , params = { 'wd' : 'python' }) #GET参数实例 requests.post( 'http://www.itwhy.org/wp-comments-post.php' , data = { 'comment' : '测试POST' }) #POST参数实例 |
POST发送JSON数据:
1
2
3
4
5
|
import requests import json r = requests.post( 'https://api.github.com/some/endpoint' , data = json.dumps({ 'some' : 'data' })) print (r.json()) |
定制header:
1
2
3
4
5
6
7
8
9
|
import requests import json data = { 'some' : 'data' } headers = { 'content-type' : 'application/json' , 'User-Agent' : 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0' } r = requests.post( 'https://api.github.com/some/endpoint' , data = data, headers = headers) print (r.text) |
三、Response对象
使用requests方法后,会返回一个response对象,其存储了服务器响应的内容,如上实例中已经提到的 r.text、r.status_code……
获取文本方式的响应体实例:当你访问 r.text 之时,会使用其响应的文本编码进行解码,并且你可以修改其编码让 r.text 使用自定义的编码进行解码。
1
2
3
4
|
r = requests.get( 'http://www.itwhy.org' ) print (r.text, '\n{}\n' . format ( '*' * 79 ), r.encoding) r.encoding = 'GBK' print (r.text, '\n{}\n' . format ( '*' * 79 ), r.encoding) |
其他响应:
r.status_code #响应状态码
r.raw #返回原始响应体,也就是 urllib 的 response 对象,使用 r.raw.read() 读取
r.content #字节方式的响应体,会自动为你解码 gzip 和 deflate 压缩
r.text #字符串方式的响应体,会自动根据响应头部的字符编码进行解码
r.headers #以字典对象存储服务器响应头,但是这个字典比较特殊,字典键不区分大小写,若键不存在则返回None
#*特殊方法*#
r.json() #Requests中内置的JSON解码器
r.raise_for_status() #失败请求(非200响应)抛出异常
案例之一:
1
2
3
4
5
6
7
8
9
10
11
|
import requests URL = 'http://ip.taobao.com/service/getIpInfo.php' # 淘宝IP地址库API try : r = requests.get(URL, params = { 'ip' : '8.8.8.8' }, timeout = 1 ) r.raise_for_status() # 如果响应状态码不是 200,就主动抛出异常 except requests.RequestException as e: print (e) else : result = r.json() print ( type (result), result, sep = '\n' ) |
四、上传文件
使用 Requests 模块,上传文件也是如此简单的,文件的类型会自动进行处理:
1
2
3
4
5
6
7
8
|
import requests url = 'http://127.0.0.1:5000/upload' files = { 'file' : open ( '/home/lyb/sjzl.mpg' , 'rb' )} #files = {'file': ('report.jpg', open('/home/lyb/sjzl.mpg', 'rb'))} #显式的设置文件名 r = requests.post(url, files = files) print (r.text) |
更加方便的是,你可以把字符串当着文件进行上传:
1
2
3
4
5
6
7
|
import requests url = 'http://127.0.0.1:5000/upload' files = { 'file' : ( 'test.txt' , b 'Hello Requests.' )} #必需显式的设置文件名 r = requests.post(url, files = files) print (r.text) |
五、身份验证
基本身份认证(HTTP Basic Auth):
1
2
3
4
5
6
|
import requests from requests.auth import HTTPBasicAuth r = requests.get( 'https://httpbin.org/hidden-basic-auth/user/passwd' , auth = HTTPBasicAuth( 'user' , 'passwd' )) # r = requests.get('https://httpbin.org/hidden-basic-auth/user/passwd', auth=('user', 'passwd')) # 简写 print (r.json()) |
另一种非常流行的HTTP身份认证形式是摘要式身份认证,Requests对它的支持也是开箱即可用的:
1
|
requests.get(URL, auth = HTTPDigestAuth( 'user' , 'pass' )) |
六、Cookies与会话对象
如果某个响应中包含一些Cookie,你可以快速访问它们:
1
2
3
4
5
|
import requests r = requests.get( 'http://www.google.com.hk/' ) print (r.cookies[ 'NID' ]) print ( tuple (r.cookies)) |
要想发送你的cookies到服务器,可以使用 cookies 参数:
1
2
3
4
5
6
7
|
import requests url = 'http://httpbin.org/cookies' cookies = { 'testCookies_1' : 'Hello_Python3' , 'testCookies_2' : 'Hello_Requests' } # 在Cookie Version 0中规定空格、方括号、圆括号、等于号、逗号、双引号、斜杠、问号、@,冒号,分号等特殊符号都不能作为Cookie的内容。 r = requests.get(url, cookies = cookies) print (r.json()) |
会话对象让你能够跨请求保持某些参数,最方便的是在同一个Session实例发出的所有请求之间保持cookies,且这些都是自动处理的,甚是方便。
下面就来一个真正的实例,如下是快盘签到脚本:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
import requests headers = { 'Accept' : 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' , 'Accept-Encoding' : 'gzip, deflate, compress' , 'Accept-Language' : 'en-us;q=0.5,en;q=0.3' , 'Cache-Control' : 'max-age=0' , 'Connection' : 'keep-alive' , 'User-Agent' : 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0' } s = requests.Session() s.headers.update(headers) # s.auth = ('superuser', '123') s.get( 'https://www.kuaipan.cn/account_login.htm' ) _URL = 'http://www.kuaipan.cn/index.php' s.post(_URL, params = { 'ac' : 'account' , 'op' : 'login' }, data = { 'username' : '****@foxmail.com' , 'userpwd' : '********' , 'isajax' : 'yes' }) r = s.get(_URL, params = { 'ac' : 'zone' , 'op' : 'taskdetail' }) print (r.json()) s.get(_URL, params = { 'ac' : 'common' , 'op' : 'usersign' }) |
七、超时与异常
timeout 仅对连接过程有效,与响应体的下载无关。
1
2
3
4
|
>>> requests.get( 'http://github.com' , timeout = 0.001 ) Traceback (most recent call last): File "<stdin>" , line 1 , in <module> requests.exceptions.Timeout: HTTPConnectionPool(host = 'github.com' , port = 80 ): Request timed out. (timeout = 0.001 ) |
所有Requests显式抛出的异常都继承自 requests.exceptions.RequestException:ConnectionError、HTTPError、Timeout、TooManyRedirects。
更多高级功能请访问官方网站手册:http://cn.python-requests.org/en/latest/
【转】Python 第三方 http 库-Requests 学习的更多相关文章
- Python 第三方 http 库-Requests 学习
Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库.它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTT ...
- Python关于PIL库的学习总结与成果展示
一.关于PIL库的学习总结 PIL(Python Image Library)库是Python语言的第三方库,需要通过pip工具安装.安装PIL库的方法如下,需要注意,安装库的名字是pillow. : ...
- python 协程库gevent学习--gevent数据结构及实战(三)
gevent学习系列第三章,前面两章分析了大量常用几个函数的源码以及实现原理.这一章重点偏向实战了,按照官方给出的gevent学习指南,我将依次分析官方给出的7个数据结构.以及给出几个相应使用他们的例 ...
- 新手学习Python第三方包库pip安装失败总结
这篇文章纯原创,是之前自己学习使用pyhton时遇到的问题,故在此记录一下. 问题与需求:用python下载第三方库或包的时候出错怎么办? 方法有一下三种,可以解决大部分的问题. 1.在cmd命令控制 ...
- python第三方扩展库及不同类型的测试需安装相对应的第三方库总结
如何安装第三方库 1.通过python的第三方仓库pypi中查找想要的第三方库 pypi地址:https://pypi.python.org/pypi pip是一个安装和管理Python包的工具,通过 ...
- python 协程库gevent学习--gevent数据结构及实战(四)
一不留神已经到第四部分了,这一部分继续总结数据结构和常用的gevent类,废话不多说继续. 1.Timeout错误类 晚上在调试调用第三方接口的时候,发现有些接口耗时非常多,觉得应该有个超时接口来限制 ...
- python calendar标准库基础学习
# -*- coding: utf-8 -*-# 作者:新手__author__ = 'Administrator'#标准库:日期时间基础学习:calendar:处理日期#例1import calen ...
- python 第三方扩展库的安装
主要就是采用 easy_install 和pip安装,一定要把这两个东西安装好.http://peak.telecommunity.com/DevCenter/EasyInstall下载ez_setu ...
- 【人工智能系列】python的Quepy库的学习
第一篇 了解 什么是Quepy quepy是一个Python框架改造自然语言问题在数据库查询语言查询.它可以很容易地定制不同类型的问题,在自然语言和数据库查询.因此,用很少的代码,你可以建立自己的系统 ...
随机推荐
- 矩阵LU分解分块算法实现
本文主要描述实现LU分解算法过程中遇到的问题及解决方案,并给出了全部源代码. 1. 什么是LU分解? 矩阵的LU分解源于线性方程组的高斯消元过程.对于一个含有N个变量的N个线性方程组,总可以用高斯消去 ...
- MYSQL存储过程及事件
关于mysql下的存储过程以及事件的创建 以下这个存储过程主要实现的功能就是查询表里面半年前的数据,假设有就存到文件.然后将数据删除. CREATE DEFINER = `root`@`localho ...
- arcgis的mxd数据源检查,和自动保存为相对路径
arcgis的mxd数据源(含矢量和影像)检查,和,检查是否为相对路径,自动保存为相对路径 ArcGIS10.0和ArcGIS10.2.2测试通过 下载地址:http://files.cnblogs. ...
- 基于Thrift的跨语言、高可用、高性能、轻量级的RPC框架
功能介绍 跨语言通信 方便的使Java.Python.C++三种程序可以相互通信 负载均衡和容灾处理 方便的实现任务的分布式处理 支持服务的水平扩展,自动发现新的服务节点 能够兼容各种异常情况,如节点 ...
- .Net Framework 之 框架图
.Net Framework框架图,如下图: 它表明了这么一种编写软件的方式或者说表明了.Net平台下开发软件的思想和规范. .Net Framework框架实际只包含两部分: 1.公共语言运行时( ...
- cookie、localStorage和sessionStorage区别
三者区别见下表: 说明: cookie的处理过程为: 服务器向客户端发送cookie 浏览器将cookie保存 之后每次http请求浏览器都会将cookie发送给服务器端 对于 cookie,我们还需 ...
- [Mybatis - 1A] - Cause: java.sql.SQLException: Column count doesn't match value count at row 1
严重: Servlet.service() for servlet [springMVC] in context with path [/ExceptionManageSystem] threw ex ...
- CPU利用率与Load Average的区别?
CPU利用率,是对一个时间段内CPU使用状况的统计,通过这个指标可以看出在某一个时间段内CPU被占用的情况,如果CPU被占用时间很高,那么就需要考虑CPU是否已经处于超负荷运作,长期超负荷运作对于机器 ...
- MySQL-sqlmap常用参数的中文解释
#HiRoot's BlogOptions(选项):--version 显示程序的版本号并退出-h, --help 显示此帮助消息并退出-v VERBOSE 详细级别:0-6(默认为1) Target ...
- css盒子模型及属性介绍(margin,padding)
每个HTML元素都可以看作装了东西的盒子 盒子具有宽度(width)和高度(height) 盒子里面的内容到盒子的边框之间的距离即填充(margin) 盒子本身有边框(border) 而盒子边框外和其 ...