Python模块-requests模块使用
写在前面
这篇文章是我照着廖雪峰python网站学习的,大致内容差不多,多了我一丢丢的自己的想法。如果发现有什么不对的话请及时联系我。qq:472668561
参考链接:https://www.liaoxuefeng.com/wiki/1016959663602400/1183249464292448
介绍
这个模块是python的‘必用’模块,用来处理HTTP请求的请求和响应。在这里只介绍一些基本的。
通过pip install requests
来安装。
使用版本
我学习时使用的python版本是3.7.4
,requests版本2.22.0
,算是比较新的版本了,可能不同版本会有差异。
开始
>url = "http://www.baidu.com"
>r = requests.get(url)
>r.status_code
200
status_code
用来显示服务器响应状态码,对状态码感兴趣的可以自行百度。
>r.text
'<!DOCTYPE html>\r\n~~~~~~</html>\r\n'
>r.content
b'<!DOCTYPE html>\r\n~~~~~~</html>\r\n'
text
显示网页返回内容;content
是以二进制的方式读取的,查看的内容是以b
开头,说明以二进制的方式读取,则文件io操作的时候也要以二进制方式进行。
> with open('./test.txt','w') as f:
> f.write(r.content)
Traceback (most recent call last):
File "<stdin>", line 2, in <module>
TypeError: write() argument must be str, not bytes
>with open('./test.txt','wb') as f:
> f.write(r.content)
2381
params
参数,适用于带参数的url。
>r = requests.get(url,params={'wd':'requests','tn':'monline_4_dg','ie':'utf-8'})
>r.url
'http://www.baidu.com/?wd=requests&tn=monline_4_dg&ie=utf-8'
url
属性用来显示该次请求的url。
reuqests可以对特定类型响应,例如JSON;注意,返回的如果不是JSON格式会报错。
>r.json()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
···
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
可以将url修改为返回格式是json格式的链接,如Github的API,https://api.github.com/search/repositories?q=language:python&sort=stars
需要传入HTTP Header时,需要传入一个字典作为headers参数,但时一行写难免不直观,多数都是给定headers
变量。请求时使用headers=headers。
>headers = {'User-Agent':'test'}
>r = requests.get(url,headers=headers)
要使用POST方式请求,把get()改为post(),然后传入data
参数作为POST请求的数据。
data跟headers参数用法差不多。
>data = {'test':'test'}
> r = requests.post(url,data=data)
requests模块默认使用application/x-www-form-urlencoded
对POST数据编码,如果传递JSON数据,可以直接写入JSON
参数。内部自动序列化为JSON。
>params = {'key':'value'}
>r = requests.post(url,json=params)
如果上传的文件是其他的文件类型,比如excel表格,requests可以把它简化成files
参数,注意是files不是file。
>upload_file = {'file':open('./read.txt','rb')}
>r = requests.post(url,files=upload_file)
注意:读取时务必使用'rb'即二进制读取模式,这样获取的bytes长度才是文件的长度。
可以把post()修改为其他的HTTP请求方式,delete(),put(),head()等。
通过使用headers
属性,获取HTTP响应头内容。
>r.headers
{'Connection': 'Keep-Alive', 'Content-Length': '17931', 'Content-Type': 'text/html', 'Date': 'Wed, 27 Nov 2019 09:42:22 GMT', 'Etag': '"54d97487-460b"', 'Server': 'bfe/1.0.8.18'}
r.cookies,requests对cookie做了特殊处理,使我们不必解析cookie就可以轻松获取指定的cookie。
>r.cookies
<RequestsCookieJar[]>#中括号里显示cookie内容
<RequestsCookieJar[Cookie(version=0,name='BDORZ', value='27315',~~~~~~rest={}, rfc2109=False)]>
要传入cookie参数时,使用字典作为一个cookies
参数。
>r = requests.post(url,cookies=data)
要指定超时时间时,传入以秒为单位的timeout
参数
>r = requests.post(url,timeout=1)
requests
['ConnectTimeout', 'ConnectionError', 'DependencyWarning', 'FileModeWarning', 'HTTPError', 'NullHandler', 'PreparedRequest', 'ReadTimeout', 'Request', 'RequestException', 'RequestsDependencyWarning', 'Response', 'Session', 'Timeout', 'TooManyRedirects', 'URLRequired', '__author__', '__author_email__', '__build__', '__builtins__', '__cached__', '__cake__', '__copyright__', '__description__', '__doc__', '__file__', '__license__', '__loader__', '__name__', '__package__', '__path__', '__spec__', '__title__', '__url__', '__version__', '_check_cryptography', '_internal_utils', 'adapters', 'api', 'auth', 'certs', 'chardet', 'check_compatibility', 'codes', 'compat', 'cookies', 'delete', 'exceptions', 'get', 'head', 'hooks', 'logging', 'models', 'options', 'packages', 'patch', 'post', 'put', 'request', 'session', 'sessions', 'status_codes', 'structures', 'urllib3', 'utils', 'warnings']
Python模块-requests模块使用的更多相关文章
- Python爬虫之使用Fiddler+Postman+Python的requests模块爬取各国国旗
介绍 本篇博客将会介绍一个Python爬虫,用来爬取各个国家的国旗,主要的目标是为了展示如何在Python的requests模块中使用POST方法来爬取网页内容. 为了知道POST方法所需要传 ...
- Python之requests模块-hook
requests提供了hook机制,让我们能够在请求得到响应之后去做一些自定义的操作,比如打印某些信息.修改响应内容等.具体用法见下面的例子: import requests # 钩子函数1 def ...
- Python之requests模块-cookie
cookie并不陌生,与session一样,能够让http请求前后保持状态.与session不同之处,在于cookie数据仅保存于客户端.requests也提供了相应到方法去处理cookie. 在py ...
- Python之requests模块-session
http协议本身是无状态的,为了让请求之间保持状态,有了session和cookie机制.requests也提供了相应的方法去操纵它们. requests中的session对象能够让我们跨http请求 ...
- Python之requests模块-request api
requests所有功能都能通过"requests/api.py"中的方法访问.它们分别是: requests.request(method, url, **kwargs) req ...
- Python使用requests模块访问HTTPS网站报错`certificate verify failed`
使用requests模块访问HTTPS网站报错: SNIMissingWarning: An HTTPS request has been made, but the SNI (Subject Nam ...
- 使用Python的requests模块编写请求脚本
requests模块可用来编写请求脚本. 比如,使用requests的post函数可以模拟post请求: resp = requests.post(url, data = content) url即为 ...
- python基础-requests模块、异常处理、Django部署、内置函数、网络编程
网络编程 urllib的request模块可以非常方便地抓取URL内容,也就是发送一个GET请求到指定的页面,然后返回HTTP的响应. 校验返回值,进行接口测试: 编码:把一个Python对象编码转 ...
- 关于解决Python中requests模块在PyCharm工具中导入问题
问题引入: 今天在学习Python网络请求的时候,导入requests模块时一直报红色波浪线,如图: 反复折腾,一直以为自己没有安装requests模块,反复安装反复卸载: 安装方法: 首先 cd 进 ...
- python的requests模块
使用python进行接口测试得时候可以使用requests模块,是基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库 安装requests是模块 pip instal ...
随机推荐
- 阶段3 2.Spring_06.Spring的新注解_5 spring的新注解-PropertySource
数据库的链接 次数是写死的 新建配置文件 定义成员变量 value注解实现 与配置文件的key对应 PropertySource 要想让spring去读取这个配置文件 resource编译后都跑到了. ...
- 阶段3 2.Spring_03.Spring的 IOC 和 DI_6 spring中bean的细节之三种创建Bean对象的方式
目前这里能调用是因为,在service的实现类里面,new了一个dao的对象 正常情况下 这里不应该是new一个对象,应该等于null或为空 设置为空侯再运行就会报错 出错的原因是这里为null 需要 ...
- Python基础语法之文件操作
1 读文件 1.1 简单读文件 f = open('text', 'r') # f是文件句柄 data = f.read() # read方法可以加整型参数,是几就读几个字符 print(data) ...
- 13.56Mhz/NFC读写器天线阻抗匹配调试步骤-20191128
相关原文: https://blog.csdn.net/wwt18811707971/article/details/80641432 http://www.52rd.com/Blog/Detail_ ...
- 普通帐号起redis
wget http://download.redis.io/releases/redis-4.0.11.tar.gz $ tar xzf redis-4.0.11.tar.gzmv redis-4.0 ...
- etcd集群添加节点
查看当前集群节点信息 # etcdctl member list --write-out=table +------------------+---------+------------------- ...
- 什么是SQL注入以及mybatis中#{}为什么能防止SQL注入而${}为什么不能防止SQL注入
1.什么是SQL注入 答:SQL注入是通过把SQL命令插入到web表单提交或通过页面请求的查询字符串,最终达到欺骗服务器执行恶意的SQL指令. 注入攻击的本质是把用户输入的数据当做代码执行. 举例如: ...
- 洛谷 P1484 种树 题解
题面 这是一道标准的带反悔贪心: 利用大根堆来维护最大值: 当选择了num[i]后,反悔了,反之选择选了num[i-1]和num[i+1]时获利便增加了num[i-1]+num[i+1]-num[i] ...
- Anaconda折腾记(1)
Anaconda折腾记 谨此记录小白的我在Anaconda里面的摸爬滚打 更换更新源 可以不使用命令,直接进入C盘,进入user文件夹,进入当前的用户文件夹下,记得显示隐藏文件. 找到.condarc ...
- Linux 中将用户添加到指定组
添加组 usermod -a -G root dev 修改组 usermod -g root dec 删除组 gpasswd -d dev root gpasswd -a dev root //将用户 ...