前言 requests虽好,但有个遗憾,它无法加载JavaScript,当访问一个url地址的时候,不能像selenium一样渲染整个html页面出来. requests-html终于可以支持JavaScript了,这就相当于是一个真正意义上的无界面浏览器了. 中文文档地址:https://cncert.github.io/requests-html-doc-cn/#/ JavaScript支持 当第一次使用render() 渲染页面的时候,会自动下载chromium,但只会下载这一次,后面就不…
前言 requests虽好,但有个遗憾,它无法加载JavaScript,当访问一个url地址的时候,不能像selenium一样渲染整个html页面出来.requests-html终于可以支持JavaScript了,这就相当于是一个真正意义上的无界面浏览器了.中文文档地址:https://cncert.github.io/requests-html-doc-cn/#/ JavaScript支持 当第一次使用render() 渲染页面的时候,会自动下载chromium,但只会下载这一次,后面就不会下…
前言 说到python发送HTTP请求进行接口自动化测试,脑子里第一个闪过的可能就是requests库了,当然python有很多模块可以发送HTTP请求,包括原生的模块http.client,urllib2等,但由于原生的模块过于复杂,使用繁琐,那么requests库就诞生了,它也是现阶段比较流行的接口自动化测试工具之一 requests是个第三方库,封装了HTTP请求的所有方法,使用方便简单,只需要根据不同的请求方式调用相对应的方法就可以完成发送网络请求的整个过程,那么今天我们就来说说requ…
首先说一下使用python模拟登录或注册时,对于带token的页面怎么登录注册模拟的思路: 1.对于带token的页面,需要先从最开始的页面获取合法token 2.然后使用获取到的合法token进行后续操作 3.token一般存储的地方有两个: [一种是携带在cookie中] [一种是在respose(页面返回)的隐藏表单中],获取思路类似 释:header是针对服务端有各种限制或特定需求时使用的,一般服务器会进行类似如:X-Requested-With.Content-Length.User-…
该框架分为四个包:xc_datas.xc_driven.xc_report.xc_tools. xc_datas:存放数据,xc_driven:存放执行程序,xc_report:存放生成的报告,xc_tools:存放一些工具 实现代码如下: #无token情况下,只支持get.post请求 import unittest from HTMLTestRunner import HTMLTestRunner from ddt import ddt,data from xctest_api.xc_to…
前言 requests库的好,只有用过的人才知道,最近这个库的作者又出了一个好用的爬虫框架requests-html.之前解析html页面用过了lxml和bs4, requests-html集成了一些常用爬虫库的优点,依然是为人类服务:HTML Parsing for Humans. 目前只支持python3.6 环境准备 requests-html的GitHub地址https://github.com/kennethreitz/requests-html,使用pip就能直接安装了. pip i…
简介 post请求我在python接口自动化(八)--发送post请求的接口(详解)已经讲过一部分了,主要是发送一些较长的数据,还有就是数据比较安全等.我们要知道post请求四种传送正文方式首先需要先了解一下常见的四种编码方式: HTTP 协议规定 POST 提交的数据必须放在消息主体(entity-body)中,但协议并没有规定数据必须使用什么编码方式. 浏览器行为:Form表单提交 1.form表单常用属性 action:url 地址,服务器接收表单数据的地址 method:提交服务器的ht…
前言 有些post的请求参数是json格式的,这个前面第二篇post请求里面提到过,需要导入json模块处理. 一般常见的接口返回数据也是json格式的,我们在做判断时候,往往只需要提取其中几个关键的参数就行,这时候就需要json来解析返回的数据了. 一.json模块简介 1.Json简介:Json,全名 JavaScript Object Notation,是一种轻量级的数据交换格式,常用于http请求中 2.可以用help(json),查看对应的源码注释内容 Encoding basic P…
前言 登录网站的时候,经常会遇到传token参数,token关联并不难,难的是找出服务器第一次返回token的值所在的位置,取出来后就可以动态关联了 登录拉勾网 1.先找到登录首页https://passport.lagou.com/login/login.html,输入账号和密码登录,抓包看详情 2.再重新登录一次抓包看的时候,头部有两个参数是动态的,token和code值每次都会不一样,只能用一次 X-Anit-Forge-Token: 45aa69d8-4afa-4235-8957-9dd…
前言 本来最新的requests库V2.13.0是支持https请求的,但是一般写脚本时候,我们会用抓包工具fiddler,这时候会报:requests.exceptions.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:590) 小编环境: python:2.7.12 requests:2.13.0 fiddler:v4.6.2.0 一.SSL问题 1.不启用fiddler,直接发htt…