用python的Requests库模拟http请求
一、先了解几个重要的http请求头或响应头信息
Request Headers:
Host:
描述请求将被发送的目的地,包括,且仅仅包括域名和端口号。
Origin:
说明请求从哪里发起的,包括,且仅仅包括协议和域名,并没有包含涉及到用户隐私的URL路径和请求内容。可以防止CSRF的攻击。origin只用于Post请求。
Referer:
告知服务器请求的原始资源的URI,包括:协议+域名+查询参数(注意,不包含锚点信息)。其用于所有类型的请求。
因为原始的URI中的查询参数可能包含ID或密码等敏感信息,如果写入referer,则可能导致信息泄露。
Reponse Headers:
Location: 重定向之后要跳转的地址
二、用requests库,模拟http请求:
1.导入 requests 模块:
注:如果没有安装,先要通过 pip install requests 安装requests模块
import requests
2.发送get请求
res = requests.get('https://www.baidu.com')
3.发送带参数的get请求
payload = {'key1': 'value1', 'key2': 'value2'}
res = requests.get("http://www.baidu.com", params=payload)
通过打印输出该 URL,你能看到 URL 已被正确编码:
print(res.url)
http://www.baidu.com?key2=value2&key1=value1
你还可以将一个列表作为值传入:
payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
res = requests.get('http://www.baidu.com', params=payload)
print(res.url)
http://www.baidu.com?key1=value1&key2=value2&key2=value
4.发送post请求
res = requests.post('http://httpbin.org/post', data = {'key':'value'})
(1)通常,你想要发送一些编码为表单形式的数据——非常像一个 HTML 表单,
对应Content-Type:application/x-www-form-urlencoded或multipart/form-data,默认是前者,multipart/form-data一般是文件上传时使用。
要实现这个,只需简单地传递一个字典(名称/值对的形式)给 data 参数。你的数据字典在发出请求时会自动编码为表单形式:
payload = {'key1': 'value1', 'key2': 'value2'}
res = requests.post("http://httpbin.org/post", data=payload)
print(res.text)
结果:
{
...
"form": {
"key2": "value2",
"key1": "value1"
},
...
}
(2)很多时候你想要发送的数据并非编码为表单形式的,而是json格式的(本质就是字符串),对应Content-Type:application/json。有两种方法:
方法一:
import json
url = 'https://api.github.com/some/endpoint'
payload = {'some': 'data'}
res = requests.post(url, data=json.dumps(payload))
方法二:
url = 'https://api.github.com/some/endpoint'
payload = {'some': 'data'}
res = requests.post(url, json=payload)
三、http请求的响应
任何时候进行了类似 requests.get() 的调用,你都在做两件主要的事情。
其一,你在构建一个 Request 对象, 该对象将被发送到某个服务器请求或查询一些资源。
其二,一旦 requests 得到一个从服务器返回的响应就会产生一个 Response 对象。该响应对象包含服务器返回的所有信息,也包含你原来创建的 Request 对象。
res.headers --> 服务器返回给我们的响应头部信息
res.request.headers --> 发送到服务器的请求的头部信息
res.status_code --> 响应状态码
res.text --> 以文本的方式访问请求响应体
res.content --> 以字节(二进制)的方式访问请求响应体
res.url --> 服务器接收到的请求URL
res.cookies --> 响应返回的cookies,返回对象为<RequestsCookieJar[xxxx]>
res.history --> 响应对象的 history 方法来追踪重定向
res.history[0].headers.get('Set-Cookie')
用python的Requests库模拟http请求的更多相关文章
- python利用requests库模拟post请求时json的使用
我们都见识过requests库在静态网页的爬取上展现的威力,我们日常见得最多的为get和post请求,他们最大的区别在于安全性上: 1.GET是通过URL方式请求,可以直接看到,明文传输. 2.POS ...
- 使用Python的requests库作接口测试——请求对象与响应对象
任何时候调用requests.*()操作接口时,我们都在做两件事情: 1.构建一个Request对象,该对象被发送到服务器去请求或查询一些资源: 2.一旦requests得到一个从服务器返回的响应,就 ...
- 『居善地』接口测试 — 5、使用Requests库发送POST请求
目录 1.请求正文是application/x-www-form-urlencoded 2.请求正文是raw (1)json格式文本(application/json) (2)xml格式文本(text ...
- 【python爬虫】用requests库模拟登陆人人网
说明:以前是selenium登陆取cookie的方法比较复杂,改用这个 """ 用requests库模拟登陆人人网 """ import r ...
- python中requests库使用方法详解
目录 python中requests库使用方法详解 官方文档 什么是Requests 安装Requests库 基本的GET请求 带参数的GET请求 解析json 添加headers 基本POST请求 ...
- requests库的post请求
requests库的post请求 #coding:utf-8 import requests import json class Trans(object): def __init__(self, w ...
- 【转】使用Python的Requests库进行web接口测试
原文地址:使用Python的Requests库进行web接口测试 1.Requests简介 Requests 是使用 Apache2 Licensed 许可证的 HTTP 库.用 Python 编写, ...
- Python爬虫—requests库get和post方法使用
目录 Python爬虫-requests库get和post方法使用 1. 安装requests库 2.requests.get()方法使用 3.requests.post()方法使用-构造formda ...
- 『居善地』接口测试 — 4、Requests库发送GET请求
目录 1.使用Requests库发送带参数的GET请求 2.查看GET请求的内容 3.带请求头.参数的Get请求 Requests库GET请求是使用HTTP协议中的GET请求方式对目标网站发起请求. ...
随机推荐
- python 合集set,交集,并集,差集,对称差集别搞混
有集合 x与y x = {1,2,3,4,5}y = {4,5,6,7,8} x和y的交集为 {4,5} x和y的对称差集{1, 2, 3, 6, 7, 8} x和y的并集{1, 2, 3, 4, 5 ...
- Mybatis 未设置主键映射报错;Cause: java.sql.SQLSyntaxErrorException: Unknown column 'system_id' in 'field list'
使用MyBatis的时候,主键的字段建议绑定在Bean的属性上面, import javax.persistence.*; public class User { @Id @Column(name = ...
- CentOS服务器下安装配置SSL
https是一个安全的访问方式,数据在传输过程中是加密的,https基于SSL. 一.安装apache和ssl模块 1.安装apache #yum install httpd 2.安装ssl模块 #y ...
- Win10各个版本免费激活密钥
专业版:W269N-WFGWX-YVC9B-4J6C9-T83GX 企业版:NPPR9-FWDCX-D2C8J-H872K-2YT43 家庭版:TX9XD-98N7V-6WMQ6-BX7FG-H8 ...
- NowCoder数列
题目:https://www.nowcoder.com/questionTerminal/0984adf1f55a4ba18dade28f1ab15003 #include <iostream& ...
- smtplib报警模块
#!/usr/bin/env python # coding:utf-8 import time import subprocess import smtplib from email.mime.te ...
- URAL 1890 . Money out of Thin Air (dfs序hash + 线段树)
题目链接: URAL 1890 . Money out of Thin Air 题目描述: 给出一个公司里面上司和下级的附属关系,还有每一个人的工资,然后有两种询问: 1:employee x y z ...
- J2sdk中的主要的包介绍
- servlet基础概念
一.servlet是什么? 运行在Web服务器上(如:tomcat),作为浏览器请求与数据库或其他应用程序之间的中间层 二.servlet主要任务: 1.读取浏览器发送的显式数据(如:html表单)隐 ...
- Linux常用命令——tac、bc
1.从文件尾到文件头一页一页的显示内容 tac xxx.log |more //tac命令与cat命令相反,从文件尾开始读文件 2.shell下科学计算工具bc echo "scale=5; ...