Requests:Python HTTP Module学习笔记(一)

在学习用python写爬虫的时候用到了Requests这个Http网络库,这个库简单好用并且功能强大,完全可以代替python的标准库urllib2。在学习的同时把我的学习笔记记录下来,资料基本上都是从Requests官网翻译过来的,欢迎指出有错误或者有表述的不准确的地方。

1.介绍
Requests: HTTP for Humans
一句话:为地球人准备的网络库

python的标准库urllib2已经提供了大部分你所需要的HTTP功能了,为什么还需要Requests库来提供相同的功能呢?因为urllib2的API比较零散,它们编写的时间和网络环境都不一样,利用它(urllib2)完成简单的任务需要做大量的工作。

2.安装
安装也很简单,用easy_install命令: 
easy_install requests

用pip命令:
pip install requests

源代码在这里github

3.例子
使用Requests:

>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))
>>> r.status_code
200
>>> r.headers['content-type']
'application/json; charset=utf8'
>>> r.encoding
'utf-8'
>>> r.text
u'{"type":"User"...'
>>> r.json()
{u'private_gists': 419, u'total_private_repos': 77, ...}'

使用urllib2:

#!/usr/bin/env python
# -*- coding: utf-8 -*- import urllib2 gh_url = 'https://api.github.com'
req = urllib2.Request(gh_url) password_manager = urllib2.HTTPPasswordMgrWithDefaultRealm()
password_manager.add_password(None, gh_url, 'user', 'pass') auth_manager = urllib2.HTTPBasicAuthHandler(password_manager)
opener = urllib2.build_opener(auth_manager)
urllib2.install_opener(opener) handler = urllib2.urlopen(req)
print handler.getcode()
print handler.headers.getheader('content-type')' # ------
# 200
# 'application/json'

爬虫的入门可以参考42区的一个小爬虫 。

4.功能介绍

Requests支持所有的Http请求类型,例如:

>>> r = requests.post("http://httpbin.org/post")
>>> r = requests.put("http://httpbin.org/put")
>>> r = requests.delete("http://httpbin.org/delete")
>>> r = requests.head("http://httpbin.org/get")
>>> r = requests.options("http://httpbin.org/get")

在URL中传递参数(Passing Parameters In URLs)

想在请求URL中带参数,例如这样httpbin.org/get?key=val,Requests允许你提供一个字典作为这些参数:

>>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.get("http://httpbin.org/get", params=payload)

你可以看到输出的URL已经经过正确的编码:

>>> print r.url
u'http://httpbin.org/get?key2=value2&key1=value1'

响应内容(Response Content)

请求发送后,我们可以读取服务器返回的内容,看刚刚的例子:

>>> import requests
>>> r = requests.get('https://github.com/timeline.json')
>>> r.text
'[{"repository":{"open_issues":0,"url":"https://github.com/...

Requests会自动decode服务器返回的内容,大部分unicode的字符都可以顺利的decode。

当访问r.text时,Requests会根据response的Http标头信息使用相应的文本编码输出信息,可以查看Requests使用的是什么类型的编码并改变它:

>>> r.encoding
'utf-8'
>>> r.encoding = 'ISO-8859-1'

如果改变了编码类型,当调用r.text的时候,Requests会使用你设置的编码类型输出信息。

二进制的相应内容(Binary Response Content)

对于非文本的请求,也可以把返回的响应内容作为字节类型输出:

>>> r.content
b'[{"repository":{"open_issues":0,"url":"https://github.com/...

gzip和deflate编码会为你自动解码,
例如想把一个请求返回的二进制数据装换成图像,可以这样写:

>>> from PIL import Image
>>> from StringIO import StringIO
>>> i = Image.open(StringIO(r.content))

以json格式返回响应内容(JSON Response Content)

Requests还提供了一个json的decoder,可以方便的处理json格式的数据

>>> import requests
>>> r = requests.get('https://github.com/timeline.json')
>>> r.json()
[{u'repository': {u'open_issues': 0, u'url': 'https://github.com/...

调用r.json()方法时,如果请求的内容不是json格式,会导致json解码失败,抛出异常。

原始的响应内容(Raw Response Content)

如过想从服务器返回的响应中获取原始的套接字响应,可以调用r.raw方法,在调用前需要在请求中设置stream=True,例如:

>>> r = requests.get('https:/github.com/timeline.json', stream=True)
>>> r.raw
<requests.packages.urllib3.response.HTTPResponse object at 0x101194810>
>>> r.raw.read(10)
'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03'

自定义头文件(Custom Headers)

如果想在请求时添加一个Http标头,可以在请求时添加一个字典类型的参数,例如:

>>> import json
>>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'}
>>> headers = {'content-type': 'application/json'}
>>> r = requests.post(url, data=json.dumps(payload), headers=headers)

更复杂的post请求(More complicated POST requests)

通常,如果想要发送一些表单类型的数据(像Html表单这样的数据),在这里,只需要把Html的表单数据构造成一个字典类型的参数附带在请求中即可。

>>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.post("http://httpbin.org/post", data=payload)
>>> print r.text
{
...
"form": {
"key2": "value2",
"key1": "value1"
},
...
}

很多时候我们发送的数据并不是表单类型的数据,就像我们想传递一个字符串类型而不是字典类型的数据时,数据会被直接的发送出去:

>>> import json
>>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'}
>>> r = requests.post(url, data=json.dumps(payload))

上传Multipart-Encoded的文件(POST a Multipart-Encoded File)

Requests提供简单的方式去发送Multipart-Encoded文件:

>>> url = 'http://httpbin.org/post'
>>> files = {'file': open('report.xls', 'rb')} >>> r = requests.post(url, files=files)
>>> r.text
{
...
"files": {
"file": "<censored...binary...data>"
},
...
}

还可以设定文件名:

>>> url = 'http://httpbin.org/post'
>>> files = {'file': ('report.xls', open('report.xls', 'rb'))} >>> r = requests.post(url, files=files)
>>> r.text
{
...
"files": {
"file": "<censored...binary...data>"
},
...
}

如果你想,你还可以发送字符串作为接受的文件:

>>> url = 'http://httpbin.org/post'
>>> files = {'file': ('report.csv', 'some,data,to,send\nanother,row,to,send\n')}
>>> r = requests.post(url, files=files)
>>> r.text
{
...
"files": {
"file": "some,data,to,send\\nanother,row,to,send\\n"
},
...
}

响应的状态代码(Response Status Codes)

我们可以查看响应的状态码

>>> r = requests.get('http://httpbin.org/get')
>>> r.status_code
200

为了方便参考,Requests还配备了一个内置的状态码对象

>>> r.status_code == requests.codes.ok
True

如果我们的请求是一个失败的请求(非200的status code),我们可以调用Response.raise_for_status()方法将异常抛出:

>>> bad_r = requests.get('http://httpbin.org/status/404')
>>> bad_r.status_code
404 >>> bad_r.raise_for_status()
Traceback (most recent call last):
File "requests/models.py", line 832, in raise_for_status
raise http_error
requests.exceptions.HTTPError: 404 Client Error

但是,如果我们的Response的status_code是200,当我们调用raise_for_status()时:

>>> r.raise_for_status()
None

返回的就是None,All is well.

响应报头(Response Headers)

我们可以以python字典类型的格式查看服务器返回的响应报头

>>> r.headers
{
'status': '200 OK',
'content-encoding': 'gzip',
'transfer-encoding': 'chunked',
'connection': 'close',
'server': 'nginx/1.0.4',
'x-runtime': '148ms',
'etag': '"e1ca502697e5c9317743dc078f67693f"',
'content-type': 'application/json; charset=utf-8'
}

我们知道dictionary的key值是大小写敏感的,但这里的dictionary有点特殊,它只是用来保存Http的标头信息,根据RFC 2616,HTTP标头是不区分大小写的。
所以我们可以使用任意大小写获取标头属性的值:

>>> r.headers['Content-Type']
'application/json; charset=utf-8' >>> r.headers.get('content-type')
'application/json; charset=utf-8'

如果访问头文件不存在的属性,默认返回一个None:

>>> r.headers['X-Random']
None

Cookies

如果一个response包含Cookies信息,你可以很快速的访问它们:

>>> url = 'http://httpbin.org/cookies/set/requests-is/awesome'
>>> r = requests.get(url) >>> r.cookies['requests-is']
'awesome'

你可以设置自己的cookies利用cookies这个参数发送到服务器:

>>> url = 'http://httpbin.org/cookies'
>>> cookies = dict(cookies_are='working') >>> r = requests.get(url, cookies=cookies)
>>> r.text
'{"cookies": {"cookies_are": "working"}}'

重定向和历史(Redirection and History)

当使用GET和OPTIONS请求类型时,Requests会帮你自动重定向。
GitHub会重定向所有HTTP请求到HTTPS,我们可以调用response的history方法跟踪重定向:

>>> r = requests.get('http://github.com')
>>> r.url
'https://github.com/'
>>> r.status_code
200
>>> r.history
[<Response [301]>]

调用response.history返回的列表包含了一系列为了完成请求而创建的对象,这个列表按照从最开始的请求到最后的请求进行排序。
如果使用GET和OPTION请求类型,可以设置allow_redirects这个参数来关闭自动重定向:

>>> r = requests.get('http://github.com', allow_redirects=False)
>>> r.status_code
301
>>> r.history
[]

如果使用的是POST, PUT, PATCH, DELETE或者HEAD,你也可以打开重定向功能:

>>> r = requests.post('http://github.com', allow_redirects=True)
>>> r.url
'https://github.com/'
>>> r.history
[<Response [301]>]

超时(Timeouts)

你可以设置timeout参数的值,让请求在到达指定的时间后停止等待服务器的响应。

>>> requests.get('http://github.com', timeout=0.001)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
requests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)

注意:timeout的设置只是影响请求的连接过程,不影响下载的response body。

错误和异常(Errors and Exceptions)

  • 在发生网络问题时(如DNS失败、拒绝连接,等等)Requests会抛出一个ConnectionError的异常。

  • 接收到Http无效的响应时,Requests会抛出一个HTTPError的异常。

  • 如果请求超时了,会抛出一个请求超时的异常。

  • 如果一个请求超过了配置的重定向次数,会抛出TooManyRedirects异常。

  • 所有Requests的异常都显示的继承自requests.exceptions.RequestException.

对Requests库的入门介绍先到这样,在下一篇日志,我会继续介绍它的一些高级特性。

(完)

Requests:Python HTTP Module学习笔记(一)(转)的更多相关文章

  1. Requests:Python HTTP Module学习笔记(二)(转)

    在上一篇日志中对Requests做了一个整体的介绍,接来下再介绍一些高级的用法,主要资料还是翻译自官网的文档,如有错漏,欢迎指正. 参考资料:http://docs.python-requests.o ...

  2. python网络爬虫学习笔记

    python网络爬虫学习笔记 By 钟桓 9月 4 2014 更新日期:9月 4 2014 文章文件夹 1. 介绍: 2. 从简单语句中開始: 3. 传送数据给server 4. HTTP头-描写叙述 ...

  3. Python Built-in Function 学习笔记

    Python Built-in Function 学习笔记 1. 匿名函数 1.1 什么是匿名函数 python允许使用lambda来创建一个匿名函数,匿名是因为他不需要以标准的方式来声明,比如def ...

  4. python数据分析入门学习笔记

    学习利用python进行数据分析的笔记&下星期二内部交流会要讲的内容,一并分享给大家.博主粗心大意,有什么不对的地方欢迎指正~还有许多尚待完善的地方,待我一边学习一边完善~ 前言:各种和数据分 ...

  5. python网络爬虫学习笔记(一)Request库

    一.Requests库的基本说明 引入Rquests库的代码如下 import requests 库中支持REQUEST, GET, HEAD, POST, PUT, PATCH, DELETE共7个 ...

  6. python数据分析入门学习笔记儿

    学习利用python进行数据分析的笔记儿&下星期二内部交流会要讲的内容,一并分享给大家.博主粗心大意,有什么不对的地方欢迎指正~还有许多尚待完善的地方,待我一边学习一边完善~ 前言:各种和数据 ...

  7. Python快速入门学习笔记(二)

    注:本学习笔记参考了廖雪峰老师的Python学习教程,教程地址为:http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb49318210 ...

  8. python网络爬虫学习笔记(二)BeautifulSoup库

    Beautiful Soup库也称为beautiful4库.bs4库,它可用于解析HTML/XML,并将所有文件.字符串转换为'utf-8'编码.HTML/XML文档是与“标签树一一对应的.具体地说, ...

  9. Python之xml学习笔记

    XML处理模块 xml是实现不同语言或程序之间进行数据交换的协议,跟json差不多,但json使用起来更简单,至今很多传统公司如金融行业的很多系统的接口还主要是xml. xml的格式如下,就是通过&l ...

随机推荐

  1. 使用django表单,使网页添加上传文件,并分析文件。

    开发环境是: apache + python + django+ eclipse(开发环境) 欲达到目的: 在网页上,添加上传文件控件.然后读取csv文件,并分析csv文件. 操作步骤: django ...

  2. NSString用法

    1 创造字符串 NSString *str1 = @"hello"; NSString *str2 = [NSString string]; NSString *str3 = [N ...

  3. 在Windows程序中启用console输出-2016.01.04

    在某些时候,我们可能需要在Win32窗口应用程序中打开控制台窗口,打印一些消息,或者作为当前程序的另外一个人机交互界面,或者为了帮助调试程序.为了达到这种效果,需要了解函数AllocConsole和C ...

  4. Elsevier期刊网上投稿指南

    一.ELSEVIER期刊介绍:ELSEVIER出版集团创建于1580年,是世界上著名学术期刊出版公司,也是全球最大的科学文献出版发行商.它由Academic Press.Bailliere Tinda ...

  5. 前端开发中的SEO

    什么是SEO SEO由英文Search Engine Optimization缩写而来,中文意译为"搜索引擎优化".SEO是指从自然搜索结果获得网站流量的技术和过程,是在了解搜索引 ...

  6. std::cout彩色输出

    Mac OS效果 Windows 效果 想写这个东西其实是因为最近要写个命令行的工具,但是有个问题是什么呢?就是传统的那个黑漆漆的窗口看起来很蛋疼.并且完全看不到重点,于是就想起 来这么一个东西.相对 ...

  7. 模仿QQ空间 网页设计

    目的:1.通过模仿QQ空间,全自主写代码,熟悉网页设计的流程 2.熟练的掌握HTML.CSS.JS的应用 3.将在此过程中遇到的问题及其解决方法记录在此,以便取用. 开始: 一.登陆界面(index. ...

  8. CSS 居中效果完整指南

    本文翻译自:<Centering in CSS: A Complete Guide> 使用 CSS 实现效果困难吗?显然不是.实际上有许多方法可以实现居中效果,但在具体情况中,我们往往无法 ...

  9. SAP物料价格评估与成本计算体系

    物料评估目的 核算物料领用与消耗的价值,使生产成本与产品销售成本有统一计价标准. 核算企业库存价值. 物料价格方法 移动平均价,标准价,实际价,计划价. @移动平均价: 每次物料移动后重新计算平均价, ...

  10. wpf依赖属性、绑定实现原理、附加属性学习

    依赖属性和普通属性相比节省内存的原因:对于普通属性,每个对象有需要存储一个普通属性的值,即便是默认值.而依赖属性的默认值是静态的存储在类中的,所有对象都使用同一默认值,所以对于拥有大量属性的控件来说这 ...