查看一下是否安装requests库

什么是Requests

Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库
如果你看过上篇文章关于urllib库的使用，你会发现，其实urllib还是非常不方便的，而Requests它会比urllib更加方便，可以节约我们大量的工作。（用了requests之后，你基本都不愿意用urllib了）一句话，requests是python实现的最简单易用的HTTP库，建议爬虫使用requests库。

默认安装好python之后，是没有安装requests模块的，需要单独通过pip安装

equests功能详解

总体功能的一个演示

  1. import requests
  2.  
  3. response  = requests.get("https://www.baidu.com")
  4. print(type(response))
  5. print(response.status_code)
  6. print(type(response.text))
  7. print(response.text)
  8. print(response.cookies)
  9. print(response.content)
  10. print(response.content.decode("utf-8"))

结果：

我们可以看出response使用起来确实非常方便，这里有个问题需要注意一下：
很多情况下的网站如果直接response.text会出现乱码的问题，所以这个使用response.content
这样返回的数据格式其实是二进制格式，然后通过decode()转换为utf-8，这样就解决了通过response.text直接返回显示乱码的问题.

请求发出后，Requests 会基于 HTTP 头部对响应的编码作出有根据的推测。当你访问 response.text 之时，Requests 会使用其推测的文本编码。你可以找出 Requests 使用了什么编码，并且能够使用 response.encoding 属性来改变它.如：

  1. response =requests.get("http://www.baidu.com")
  2. response.encoding="utf-8"
  3. print(response.text)

不管是通过response.content.decode("utf-8)的方式还是通过response.encoding="utf-8"的方式都可以避免乱码的问题发生

各种请求方式

requests里提供个各种请求方式

  1. import requests
  2. requests.post("http://httpbin.org/post")
  3. requests.put("http://httpbin.org/put")
  4. requests.delete("http://httpbin.org/delete")
  5. requests.head("http://httpbin.org/get")
  6. requests.options("http://httpbin.org/get")

请求

基本GET请求

  1. import requests
  2.  
  3. response = requests.get('http://httpbin.org/get')
  4. print(response.text)

带参数的GET请求，例子1

  1. import requests
  2.  
  3. response = requests.get("http://httpbin.org/get?name=zhaofan&age=23")
  4. print(response.text)

如果我们想要在URL查询字符串传递数据，通常我们会通过httpbin.org/get?key=val方式传递。Requests模块允许使用params关键字传递参数，以一个字典来传递这些参数，例子如下：

  1. import requests
  2. data = {
  3.     "name":"zhaofan",
  4.     "age":22
  5. }
  6. response = requests.get("http://httpbin.org/get",params=data)
  7. print(response.url)
  8. print(response.text)

上述两种的结果是相同的，通过params参数传递一个字典内容，从而直接构造url
注意：第二种方式通过字典的方式的时候，如果字典中的参数为None则不会添加到url上

解析json

  1. import requests
  2. response = requests.get("http://httpbin.org/get")
  3. print(type(response.text))
  4. print(response.json())print(type(response.json()))
  1. import requests
  2. import json
  3.  
  4. response = requests.get("http://httpbin.org/get")
  5. print(type(response.text))
  6. print(response.json())
  7. print(json.loads(response.text))
  8. print(type(response.json()))

从结果可以看出requests里面集成的json其实就是执行了json.loads()方法，两者的结果是一样的

获取二进制数据

在上面提到了response.content，这样获取的数据是二进制数据，同样的这个方法也可以用于下载图片以及
视频资源

  1. import requests
  2.  
  3. response = requests.get("https://github.com/favicon.ico")
  4. print(type(response.text), type(response.content))
  5. print(response.content)
  1. import requests
  2.  
  3. response = requests.get("http://github.com/favicon.ico")
  4. with open('favicon.ioc', 'wb') as f:
  5.     f.write(response.content)
  6.     f.close()

将二进制代码写入文件：

添加headers
和前面我们将urllib模块的时候一样，我们同样可以定制headers的信息，如当我们直接通过requests请求知乎网站的时候，默认是无法访问的

  1. import requests
  2. response =requests.get("https://www.zhihu.com")
  3. print(response.text)

这样会得到如下的错误

因为访问知乎需要头部信息，这个时候我们在谷歌浏览器里输入chrome://version,就可以看到用户代理，将用户代理添加到头部信息

  1. import requests
  2. headers = {
  3.  
  4.     "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36"
    }
  1. response =requests.get("https://www.zhihu.com",headers=headers)
  2.  
  3. print(response.text)

这样就可以正常的访问知乎了

基本POST请求

通过在发送post请求时添加一个data参数，这个data参数可以通过字典构造成，这样
对于发送post请求就非常方便

  1. import requests
  2.  
  3. data = {
  4.     "name":"zhaofan",
  5.     "age":23
  6. }
  7. response = requests.post("http://httpbin.org/post",data=data)
  8. print(response.text)

  1. import requests
  2.  
  3. data = {
  4.     "name":"zhaofan",
  5.     "age":23
  6. }
  7. headers = {
  8.  
  9.     "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36"
  10. }
  11. response = requests.post("http://httpbin.org/post",data=data, headers=headers)
  12. print(response.json())

同样的在发送post请求的时候也可以和发送get请求一样通过headers参数传递一个字典类型的数据

响应

我们可以通过response获得很多属性，例子如下

  1. import requests
  2.  
  3. response = requests.get("http://www.baidu.com")
  4. print(type(response.status_code),response.status_code)
  5. print(type(response.headers),response.headers)
  6. print(type(response.cookies),response.cookies)
  7. print(type(response.url),response.url)
  8. print(type(response.history),response.history)

结果如下：

状态码判断

  1. import requests
  2.  
  3. response= requests.get("http://www.baidu.com")
  4. exit() if not response.status_code == requests.codes.ok else print("Request Successfully")
  1. import requests
  2.  
  3. response= requests.get("http://www.baidu.com")
  4. exit() if not response.status_code == 200 else print("Request Successfully")

Requests还附带了一个内置的状态码查询对象
主要有如下内容：

  1. 100: ('continue',),
  2. 101: ('switching_protocols',),
  3. 102: ('processing',),
  4. 103: ('checkpoint',),
  5. 122: ('uri_too_long', 'request_uri_too_long'),
  6. 200: ('ok', 'okay', 'all_ok', 'all_okay', 'all_good', '\o/', '✓'),
  7. 201: ('created',),
  8. 202: ('accepted',),
  9. 203: ('non_authoritative_info', 'non_authoritative_information'),
  10. 204: ('no_content',),
  11. 205: ('reset_content', 'reset'),
  12. 206: ('partial_content', 'partial'),
  13. 207: ('multi_status', 'multiple_status', 'multi_stati', 'multiple_stati'),
  14. 208: ('already_reported',),
  15. 226: ('im_used',),
  16.  
  17. ## Redirection.
  18. 300: ('multiple_choices',),
  19. 301: ('moved_permanently', 'moved', '\o-'),
  20. 302: ('found',),
  21. 303: ('see_other', 'other'),
  22. 304: ('not_modified',),
  23. 305: ('use_proxy',),
  24. 306: ('switch_proxy',),
  25. 307: ('temporary_redirect', 'temporary_moved', 'temporary'),
  26. 308: ('permanent_redirect',
  27. 'resume_incomplete', 'resume',), # These 2 to be removed in 3.0
  28.  
  29. ## Client Error.
  30. 400: ('bad_request', 'bad'),
  31. 401: ('unauthorized',),
  32. 402: ('payment_required', 'payment'),
  33. 403: ('forbidden',),
  34. 404: ('not_found', '-o-'),
  35. 405: ('method_not_allowed', 'not_allowed'),
  36. 406: ('not_acceptable',),
  37. 407: ('proxy_authentication_required', 'proxy_auth', 'proxy_authentication'),
  38. 408: ('request_timeout', 'timeout'),
  39. 409: ('conflict',),
  40. 410: ('gone',),
  41. 411: ('length_required',),
  42. 412: ('precondition_failed', 'precondition'),
  43. 413: ('request_entity_too_large',),
  44. 414: ('request_uri_too_large',),
  45. 415: ('unsupported_media_type', 'unsupported_media', 'media_type'),
  46. 416: ('requested_range_not_satisfiable', 'requested_range', 'range_not_satisfiable'),
  47. 417: ('expectation_failed',),
  48. 418: ('im_a_teapot', 'teapot', 'i_am_a_teapot'),
  49. 421: ('misdirected_request',),
  50. 422: ('unprocessable_entity', 'unprocessable'),
  51. 423: ('locked',),
  52. 424: ('failed_dependency', 'dependency'),
  53. 425: ('unordered_collection', 'unordered'),
  54. 426: ('upgrade_required', 'upgrade'),
  55. 428: ('precondition_required', 'precondition'),
  56. 429: ('too_many_requests', 'too_many'),
  57. 431: ('header_fields_too_large', 'fields_too_large'),
  58. 444: ('no_response', 'none'),
  59. 449: ('retry_with', 'retry'),
  60. 450: ('blocked_by_windows_parental_controls', 'parental_controls'),
  61. 451: ('unavailable_for_legal_reasons', 'legal_reasons'),
  62. 499: ('client_closed_request',),
  63.  
  64. ## Server Error.
  65. 500: ('internal_server_error', 'server_error', '/o\', '✗'),
  66. 501: ('not_implemented',),
  67. 502: ('bad_gateway',),
  68. 503: ('service_unavailable', 'unavailable'),
  69. 504: ('gateway_timeout',),
  70. 505: ('http_version_not_supported', 'http_version'),
  71. 506: ('variant_also_negotiates',),
  72. 507: ('insufficient_storage',),
  73. 509: ('bandwidth_limit_exceeded', 'bandwidth'),
  74. 510: ('not_extended',),
  75. 511: ('network_authentication_required', 'network_auth', 'network_authentication'),
  76.  
  1. 通过下面例子测试：（不过通常还是通过状态码判断更方便）
  1. import requests
  2.  
  3. response= requests.get("http://www.baidu.com")
  4. if response.status_code == requests.codes.ok:
  5.     print("访问成功")
  1. import requests
  2.  
  3. response= requests.get("http://www.baidu.com/hello.html")
  4. exit() if not response.status_code == 404 else print("404 Not Found")
  1. import requests
  2.  
  3. response= requests.get("http://www.baidu.com/hello.html")
  4. exit() if not response.status_code == requests.codes.not_found else print("404 Not Found")

requests高级用法

文件上传

实现方法和其他参数类似，也是构造一个字典然后通过files参数传递

  1. import requests
  2. files= {"files":open("favicon.ioc","rb")}
  3. response = requests.post("http://httpbin.org/post",files=files)
  4. print(response.text)

结果如下：

获取cookie

  1. import requests
  2.  
  3. response = requests.get("http://www.baidu.com")
  4. print(response.cookies)
  5.  
  6. for key,value in response.cookies.items():
  7.     print(key+"="+value)

会话维持

cookie的一个作用就是可以用于模拟登陆，做会话维持

  1. import requests
  2. s = requests.Session()
  3. s.get("http://httpbin.org/cookies/set/number/123456")
  4. response = s.get("http://httpbin.org/cookies")
  5. print(response.text)

这是正确的写法，而下面的写法则是错误的

  1. import requests
  2.  
  3. requests.get("http://httpbin.org/cookies/set/number/123456")
  4. response = requests.get("http://httpbin.org/cookies")
  5. print(response.text)

因为这种方式是两次requests请求之间是独立的，而第一次则是通过创建一个session对象，两次请求都通过这个对象访问

证书验证

现在的很多网站都是https的方式访问，所以这个时候就涉及到证书的问题

  1. import requests
  2.  
  3. response = requests.get("https://www.12306.cn")
  4. print(response.status_code)

以前的12306网站的证书是不合法的，这样就会提示如下错误

#现在第合法的

为了避免这种情况的发生可以通过verify=False
但是这样是可以访问到页面，但是会提示：

InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings InsecureRequestWarning)

解决方法为：

  1. import requests
  2. from requests.packages import urllib3
  3. urllib3.disable_warnings() #消除警告的方法
  4. response = requests.get("https://www.12306.cn",verify=False)
  5. print(response.status_code)

这样就不会提示警告信息，当然也可以通过cert参数放入证书路径

  1. import requests
  2.  
  3. response = requests.get("https://www.12306.cn", cert=('/path/server.crt','/path/key'))
  4. print(response.status_code)

代理设置

  1. import requests
  2.  
  3. proxies= {
  4.     "http":"http://127.0.0.1:9999",
  5.     "https":"http://127.0.0.1:8888"
  6. }
  7. response  = requests.get("https://www.baidu.com",proxies=proxies)
  8. print(response.text)

如果代理需要设置账户名和密码,只需要将字典更改为如下：

  1. import requests
  2.  
  3. proxies = {
  4. "http":"http://user:password@127.0.0.1:9999"
  5. }
  6. response  = requests.get("https://www.baidu.com",proxies=proxies)
  7. print(response.text)

如果你的代理是通过sokces这种方式则需要

  1. pip install "requests[socks]"
  1. import requests
  2.  
  3. proxies= {
  4. "http":"socks5://127.0.0.1:9999",
  5. "https":"sockes5://127.0.0.1:8888"
  6. }
  7. response  = requests.get("https://www.baidu.com",proxies=proxies)
  8. print(response.text)

超时设置

通过timeout参数可以设置超时的时间

  1. import requests
  2.  
  3. response  = requests.get("https://www.baidu.com",timeout = 1)
  4. print(response.status_code)

捕获异常：

  1. import requests
  2. from requests.exceptions import ReadTimeout
  3.  
  4. try:
  5.     response  = requests.get("https://www.baidu.com",timeout = 0.01)
  6.     print(response.status_code)
  7. except ReadTimeout:
  8.     print('Timeout')

认证设置

如果碰到需要认证的网站可以通过requests.auth模块实现

  1. import requests
  2.  
  3. from requests.auth import HTTPBasicAuth
  4.  
  5. response = requests.get("http://120.27.34.24:9001/",auth=HTTPBasicAuth("user",""))
  6. print(response.status_code)

当然这里还有一种方式

  1. import requests
  2.  
  3. response = requests.get("http://120.27.34.24:9001/",auth=("user",""))
  4. print(response.status_code)

异常处理

关于reqeusts的异常在这里可以看到详细内容：
http://www.python-requests.org/en/master/api/#exceptions
所有的异常都是在requests.excepitons中

从源码我们可以看出RequestException继承IOError,
HTTPError，ConnectionError,Timeout继承RequestionException
ProxyError，SSLError继承ConnectionError
ReadTimeout继承Timeout异常
这里列举了一些常用的异常继承关系，详细的可以看：
http://cn.python-requests.org/zh_CN/latest/_modules/requests/exceptions.html#RequestException

通过下面的例子进行简单的演示

  1. import requests
  2.  
  3. from requests.exceptions import ReadTimeout,ConnectionError,RequestException
  4.  
  5. try:
  6.     response = requests.get("http://httpbin.org/get",timeout=0.1)
  7.     print(response.status_code)
  8. except ReadTimeout:
  9.     print("timeout")
  10. except ConnectionError:
  11.     print("connection Error")
  12. except RequestException:
  13.     print("error")

其实最后测试可以发现，首先被捕捉的异常是timeout,当把网络断掉的haul就会捕捉到ConnectionError，如果前面异常都没有捕捉到，最后也可以通过RequestExctption捕捉到

原文：https://www.cnblogs.com/zhaof/p/6915127.html

Python-Requests库详解的更多相关文章

  1. Python turtle库详解

    Python turtle库详解 Turtle库是Python语言中一个很流行的绘制图像的函数库,想象一个小乌龟,在一个横轴为x.纵轴为y的坐标系原点,(0,0)位置开始,它根据一组函数指令的控制,在 ...

  2. python WEB接口自动化测试之requests库详解

    由于web接口自动化测试需要用到python的第三方库--requests库,运用requests库可以模拟发送http请求,再结合unittest测试框架,就能完成web接口自动化测试. 所以笔者今 ...

  3. Python爬虫：requests 库详解，cookie操作与实战

    原文 第三方库 requests是基于urllib编写的.比urllib库强大,非常适合爬虫的编写. 安装: pip install requests 简单的爬百度首页的例子: response.te ...

  4. python接口自动化测试之requests库详解

    前言 说到python发送HTTP请求进行接口自动化测试,脑子里第一个闪过的可能就是requests库了,当然python有很多模块可以发送HTTP请求,包括原生的模块http.client,urll ...

  5. Python爬虫学习==>第八章：Requests库详解

    学习目的: request库比urllib库使用更加简洁,且更方便. 正式步骤 Step1:什么是requests requests是用Python语言编写,基于urllib,采用Apache2 Li ...

  6. 爬虫学习--Requests库详解 Day2

    什么是Requests Requests是用python语言编写,基于urllib,采用Apache2 licensed开源协议的HTTP库,它比urllib更加方便,可以节约我们大量的工作,完全满足 ...

  7. requests库详解 --Python3

    本文介绍了requests库的基本使用,希望对大家有所帮助. requests库官方文档:https://2.python-requests.org/en/master/ 一.请求: 1.GET请求 ...

  8. python的requests库详解

    快速上手 迫不及待了吗?本页内容为如何入门 Requests 提供了很好的指引.其假设你已经安装了 Requests.如果还没有,去安装一节看看吧. 首先,确认一下: Requests 已安装 Req ...

  9. Python爬虫系列-Requests库详解

    Requests基于urllib,比urllib更加方便,可以节约我们大量的工作,完全满足HTTP测试需求. 实例引入 import requests response = requests.get( ...

  10. Python之Unittest和Requests库详解

    1.按类来执行 import unittest class f1(unittest.TestCase): def setUp(self): pass def tearDown(self): pass ...

随机推荐

  1. int,int32_t,int64_t

    一.数据类型特别是int相关的类型在不同位数机器的平台下长度不同.C99标准并不规定具体数据类型的长度大小,只规定级别.作下比较: 16位平台 char         1个字节8位short     ...

  2. [20190226]删除tab$记录的恢复6.txt

    [20190226]删除tab$记录的恢复6.txt --//春节前几天做了删除tan$记录的测试,链接:http://blog.itpub.net/267265/viewspace-2565245/ ...

  3. 自动化测试基础篇--Selenium弹出框alert

    摘自https://www.cnblogs.com/sanzangTst/p/7685304.html   不是所有的弹出框都叫alert,在使用alert方法前,先要识别出到底是不是alert.先认 ...

  4. 简单易懂的程序语言入门小册子（4）：基于文本替换的解释器，递归，如何构造递归函数，Y组合子

    递归.哦,递归. 递归在计算机科学中的重要性不言而喻. 递归就像女人,即令人烦恼,又无法抛弃. 先上个例子,这个例子里的函数double输入一个非负整数$n$,输出$2n$. \[ {double} ...

  5. Windows Server 2016-Active Directory复制概念(二)

    本章继续补充有关Active Directory复制概念,具体内容如下: 连接对象: 连接对象是一个Active Directory对象,表示从源域控制器到目标域控制器的复制连接.域控制器是单个站点的 ...

  6. spring的基于XML方式的属性注入

    1.掌握spring的属性注入的方法: 1.1构造方法注入普通值---------<constructor-arg>标签的使用 首先新建一个类 package spring.day1.de ...

  7. 【夯实PHP基础】PHPUnit -- PHP测试框架

    本文地址 分享提纲: 1.概述 2.安装 3.编写第一个测试用例 4.PHPUnit高级 5.参考 1.概述 1)[测试框架] 它是一款轻量级的PHP测试框架,是一个xUnit的体系结构的单元测试框架 ...

  8. Windows10反安装报错error code 2502 2503

    先找系统TEMP目录,一般为C:\windows\temp,打开这个目录的权限,为这个目录中的User用户添加权限为完全控制,现在再反安装就不会报错了. 注:原因就是因为系统运行时需要用到临时文件的目 ...

  9. 02.Python网络爬虫第二弹《http和https协议》

    一.HTTP协议 1.官方概念: HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写,是用于从万维网(WWW:World Wide Web )服务器传输超文 ...

  10. Java学习笔记（四）——好记性不如烂键盘（答答租车）

    根据所学知识,编写一个控制台版的租车系统. 功能: 1. 展示所有可租车辆 2. 选择车型.租车辆 3. 展示租车清单,包含:总金额.总载货量及其车型.总载人量及其车型 代码参考imooc中Java课 ...