【转】Python 第三方 http 库-Requests 学习
Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的,所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 哦!
- Beautiful is better than ugly.(美丽优于丑陋)
- Explicit is better than implicit.(清楚优于含糊)
- Simple is better than complex.(简单优于复杂)
- Complex is better than complicated.(复杂优于繁琐)
- Readability counts.(重要的是可读性)
一、安装 Requests
通过pip安装
1
|
$ pip install requests |
或者,下载代码后安装:
1
2
3
|
$ git clone git: //github .com /kennethreitz/requests .git $ cd requests $ python setup.py install |
再懒一点,通过IDE安装吧,如pycharm!
二、发送请求与传递参数
先来一个简单的例子吧!让你了解下其威力:
1
2
3
4
5
6
7
|
import requests r = requests.get(url = 'http://www.itwhy.org' ) # 最基本的GET请求 print (r.status_code) # 获取返回状态 r = requests.get(url = 'http://dict.baidu.com/s' , params = { 'wd' : 'python' }) #带参数的GET请求 print (r.url) print (r.text) #打印解码后的返回数据 |
很简单吧!不但GET方法简单,其他方法都是统一的接口样式哦!
requests.get(‘https://github.com/timeline.json’) #GET请求
requests.post(“http://httpbin.org/post”) #POST请求
requests.put(“http://httpbin.org/put”) #PUT请求
requests.delete(“http://httpbin.org/delete”) #DELETE请求
requests.head(“http://httpbin.org/get”) #HEAD请求
requests.options(“http://httpbin.org/get”) #OPTIONS请求
PS:以上的HTTP方法,对于WEB系统一般只支持 GET 和 POST,有一些还支持 HEAD 方法。
带参数的请求实例:
1
2
3
|
import requests requests.get( 'http://www.dict.baidu.com/s' , params = { 'wd' : 'python' }) #GET参数实例 requests.post( 'http://www.itwhy.org/wp-comments-post.php' , data = { 'comment' : '测试POST' }) #POST参数实例 |
POST发送JSON数据:
1
2
3
4
5
|
import requests import json r = requests.post( 'https://api.github.com/some/endpoint' , data = json.dumps({ 'some' : 'data' })) print (r.json()) |
定制header:
1
2
3
4
5
6
7
8
9
|
import requests import json data = { 'some' : 'data' } headers = { 'content-type' : 'application/json' , 'User-Agent' : 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0' } r = requests.post( 'https://api.github.com/some/endpoint' , data = data, headers = headers) print (r.text) |
三、Response对象
使用requests方法后,会返回一个response对象,其存储了服务器响应的内容,如上实例中已经提到的 r.text、r.status_code……
获取文本方式的响应体实例:当你访问 r.text 之时,会使用其响应的文本编码进行解码,并且你可以修改其编码让 r.text 使用自定义的编码进行解码。
1
2
3
4
|
r = requests.get( 'http://www.itwhy.org' ) print (r.text, '\n{}\n' . format ( '*' * 79 ), r.encoding) r.encoding = 'GBK' print (r.text, '\n{}\n' . format ( '*' * 79 ), r.encoding) |
其他响应:
r.status_code #响应状态码
r.raw #返回原始响应体,也就是 urllib 的 response 对象,使用 r.raw.read() 读取
r.content #字节方式的响应体,会自动为你解码 gzip 和 deflate 压缩
r.text #字符串方式的响应体,会自动根据响应头部的字符编码进行解码
r.headers #以字典对象存储服务器响应头,但是这个字典比较特殊,字典键不区分大小写,若键不存在则返回None
#*特殊方法*#
r.json() #Requests中内置的JSON解码器
r.raise_for_status() #失败请求(非200响应)抛出异常
案例之一:
1
2
3
4
5
6
7
8
9
10
11
|
import requests URL = 'http://ip.taobao.com/service/getIpInfo.php' # 淘宝IP地址库API try : r = requests.get(URL, params = { 'ip' : '8.8.8.8' }, timeout = 1 ) r.raise_for_status() # 如果响应状态码不是 200,就主动抛出异常 except requests.RequestException as e: print (e) else : result = r.json() print ( type (result), result, sep = '\n' ) |
四、上传文件
使用 Requests 模块,上传文件也是如此简单的,文件的类型会自动进行处理:
1
2
3
4
5
6
7
8
|
import requests url = 'http://127.0.0.1:5000/upload' files = { 'file' : open ( '/home/lyb/sjzl.mpg' , 'rb' )} #files = {'file': ('report.jpg', open('/home/lyb/sjzl.mpg', 'rb'))} #显式的设置文件名 r = requests.post(url, files = files) print (r.text) |
更加方便的是,你可以把字符串当着文件进行上传:
1
2
3
4
5
6
7
|
import requests url = 'http://127.0.0.1:5000/upload' files = { 'file' : ( 'test.txt' , b 'Hello Requests.' )} #必需显式的设置文件名 r = requests.post(url, files = files) print (r.text) |
五、身份验证
基本身份认证(HTTP Basic Auth):
1
2
3
4
5
6
|
import requests from requests.auth import HTTPBasicAuth r = requests.get( 'https://httpbin.org/hidden-basic-auth/user/passwd' , auth = HTTPBasicAuth( 'user' , 'passwd' )) # r = requests.get('https://httpbin.org/hidden-basic-auth/user/passwd', auth=('user', 'passwd')) # 简写 print (r.json()) |
另一种非常流行的HTTP身份认证形式是摘要式身份认证,Requests对它的支持也是开箱即可用的:
1
|
requests.get(URL, auth = HTTPDigestAuth( 'user' , 'pass' )) |
六、Cookies与会话对象
如果某个响应中包含一些Cookie,你可以快速访问它们:
1
2
3
4
5
|
import requests r = requests.get( 'http://www.google.com.hk/' ) print (r.cookies[ 'NID' ]) print ( tuple (r.cookies)) |
要想发送你的cookies到服务器,可以使用 cookies 参数:
1
2
3
4
5
6
7
|
import requests url = 'http://httpbin.org/cookies' cookies = { 'testCookies_1' : 'Hello_Python3' , 'testCookies_2' : 'Hello_Requests' } # 在Cookie Version 0中规定空格、方括号、圆括号、等于号、逗号、双引号、斜杠、问号、@,冒号,分号等特殊符号都不能作为Cookie的内容。 r = requests.get(url, cookies = cookies) print (r.json()) |
会话对象让你能够跨请求保持某些参数,最方便的是在同一个Session实例发出的所有请求之间保持cookies,且这些都是自动处理的,甚是方便。
下面就来一个真正的实例,如下是快盘签到脚本:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
import requests headers = { 'Accept' : 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' , 'Accept-Encoding' : 'gzip, deflate, compress' , 'Accept-Language' : 'en-us;q=0.5,en;q=0.3' , 'Cache-Control' : 'max-age=0' , 'Connection' : 'keep-alive' , 'User-Agent' : 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0' } s = requests.Session() s.headers.update(headers) # s.auth = ('superuser', '123') s.get( 'https://www.kuaipan.cn/account_login.htm' ) _URL = 'http://www.kuaipan.cn/index.php' s.post(_URL, params = { 'ac' : 'account' , 'op' : 'login' }, data = { 'username' : '****@foxmail.com' , 'userpwd' : '********' , 'isajax' : 'yes' }) r = s.get(_URL, params = { 'ac' : 'zone' , 'op' : 'taskdetail' }) print (r.json()) s.get(_URL, params = { 'ac' : 'common' , 'op' : 'usersign' }) |
七、超时与异常
timeout 仅对连接过程有效,与响应体的下载无关。
1
2
3
4
|
>>> requests.get( 'http://github.com' , timeout = 0.001 ) Traceback (most recent call last): File "<stdin>" , line 1 , in <module> requests.exceptions.Timeout: HTTPConnectionPool(host = 'github.com' , port = 80 ): Request timed out. (timeout = 0.001 ) |
所有Requests显式抛出的异常都继承自 requests.exceptions.RequestException:ConnectionError、HTTPError、Timeout、TooManyRedirects。
更多高级功能请访问官方网站手册:http://cn.python-requests.org/en/latest/
【转】Python 第三方 http 库-Requests 学习的更多相关文章
- Python 第三方 http 库-Requests 学习
Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库.它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTT ...
- Python关于PIL库的学习总结与成果展示
一.关于PIL库的学习总结 PIL(Python Image Library)库是Python语言的第三方库,需要通过pip工具安装.安装PIL库的方法如下,需要注意,安装库的名字是pillow. : ...
- python 协程库gevent学习--gevent数据结构及实战(三)
gevent学习系列第三章,前面两章分析了大量常用几个函数的源码以及实现原理.这一章重点偏向实战了,按照官方给出的gevent学习指南,我将依次分析官方给出的7个数据结构.以及给出几个相应使用他们的例 ...
- 新手学习Python第三方包库pip安装失败总结
这篇文章纯原创,是之前自己学习使用pyhton时遇到的问题,故在此记录一下. 问题与需求:用python下载第三方库或包的时候出错怎么办? 方法有一下三种,可以解决大部分的问题. 1.在cmd命令控制 ...
- python第三方扩展库及不同类型的测试需安装相对应的第三方库总结
如何安装第三方库 1.通过python的第三方仓库pypi中查找想要的第三方库 pypi地址:https://pypi.python.org/pypi pip是一个安装和管理Python包的工具,通过 ...
- python 协程库gevent学习--gevent数据结构及实战(四)
一不留神已经到第四部分了,这一部分继续总结数据结构和常用的gevent类,废话不多说继续. 1.Timeout错误类 晚上在调试调用第三方接口的时候,发现有些接口耗时非常多,觉得应该有个超时接口来限制 ...
- python calendar标准库基础学习
# -*- coding: utf-8 -*-# 作者:新手__author__ = 'Administrator'#标准库:日期时间基础学习:calendar:处理日期#例1import calen ...
- python 第三方扩展库的安装
主要就是采用 easy_install 和pip安装,一定要把这两个东西安装好.http://peak.telecommunity.com/DevCenter/EasyInstall下载ez_setu ...
- 【人工智能系列】python的Quepy库的学习
第一篇 了解 什么是Quepy quepy是一个Python框架改造自然语言问题在数据库查询语言查询.它可以很容易地定制不同类型的问题,在自然语言和数据库查询.因此,用很少的代码,你可以建立自己的系统 ...
随机推荐
- 使用Sublime经验分享
Sublime轻量级.可是绝对是神一样的编辑器. 1.代码清晰美观 2.能够选择文件夹作为文件结构文件夹显示在左側 3.以tab的形式打开多个页面在同一个窗体内 设置方法例如以下: Preferenc ...
- java中compareTo和compare方法之比较,集合中对象的比较
前言 转自:http://www.cnblogs.com/yueliming/archive/2013/05/22/3092576.html (这里做了一些小改动) 一直一来对集合中对象的比较方案,有 ...
- PHP上传文件类 代码练习
类文件: <?php class upload{ protected $fileName; protected $uploadPath; protected $maxSize; protecte ...
- C#秘密武器之多线程——基础
多线程概述 什么是进程? 当一个程序开始运行时,它就是一个进程,进程包括运行中的程序和程序所使用到的内存和系统资源.而一个进程又是由多个线程所组成的. 什么是线程? 线程是程序中的一个执行流,每个线程 ...
- Tomcat性能调整完整教程
Tomcat性能调整完整教程 发表于:2007-07-13来源:作者:点击数:526 标签: 一. 引言 性能测试与分析是软件 开发 过程中介于架构和调整的一个广泛并比较不容易理解的领域,更是一项较为 ...
- Spring-1 之入门
(一)简单对象Spring XML配置说明 使用Spring (Spring 3.0) 实现最简单的类映射以及引用,属性赋值: 1.1.新建类UserModel: 1 2 3 4 5 6 7 8 9 ...
- vs2005下面编译自己的luars232.dll
vc6在win7下用不了,大家建议使用vs2005...所以就装了,但是还是提示有不兼容,不过是可以用的.先凑合用,装了个2012,庞然大物!而且折腾了半天不知所云.先这样吧. 简单记录操作过程,参考 ...
- Android Exception 11(baidumapsdk(15405): Authentication Error errorcode: 102 uid)
08-12 16:06:12.622: E/baidumapsdk(15405): Authentication Error errorcode: 102 uid: null appid -1 msg ...
- C/C++中float和double的存储结构(转)
在C/C++中float是32位的,double是64位的,两者在内存中的存储方式和能够表示的精度均不同,目前C/C++编译器标准都遵照IEEE制定的浮点数表示法来进行float,double运算. ...
- 单例模式的Oracle 数据库连接应用
新建一个类来实现单例模式的Oracle 数据库连接应用 组织架构如下: 类的具体代码如下: package com.zse.dba; import java.sql.*; //设计模式1:单例模式.保 ...