今天要简单讲一下Modify Headers这个Firefox插件,记录一下我是怎么使用它的. Modify Headers: https://addons.mozilla.org/zh-CN/firefox/addon/modify-headers/ 简单的说,这个插件的主要作用是对Firefox的HTTP request headers进行添加.修改和过滤等操作.当我们访问网站的时候,某些网站服务器会对访问网站的浏览器Header信息进行判断,然后决定用什么方式把网站内容呈现给浏览器.服务器…
scrapy 抓取网页并存入 mongodb的完整示例: https://github.com/rmax/scrapy-redis https://github.com/geekan/scrapy-examples                                        # Multifarious(多样的) Scrapy examples. https://github.com/DormyMo/scrappy                                …
批处理批量打开网页 其实用java就可以搞定,但是这么一个轻巧的测试,js或者bat批处理去一次性打开几百个网页测试一下页面没必要上java 两者的区别,js的话,只能打开多个浏览器实例,不方便查看效果.bat的话,是一个浏览器里面N个标签页,比较爽一些. js版:test.html < html > <head > <title > 测试 < /title> <script> function iopen(){ for(var i=0;i<…
Selenium 真是个强大的网页测试工具,设置Firefox user agent, 就可以轻松模拟手机端浏览器进行网页测试. Demo Code # -*- coding:utf8 -*- import unittest from selenium import webdriver class MobileTestDemo(unittest.TestCase): def setUp(self): fp = webdriver.FirefoxProfile() fp.set_preferenc…
Loadrunner模拟JSON接口请求进行测试     一.loadrunner脚本创建 1.Insert - New step -选择Custom Request -  web_custom_request 2.填入相应参数 3.生成脚本,并修改如下(参数中的引号"前需要加斜杠\转译) Action() { web_custom_request("web_custom_request", "URL=http://urlhead/CpcService.ashx?M…
最近弄爬虫,遇到的一个问题就是如何使用post方法模拟登陆爬取网页.下面是极简版的代码: import java.io.BufferedReader; import java.io.InputStreamReader; import java.io.OutputStreamWriter; import java.io.PrintWriter; import java.net.HttpURLConnection; import java.net.URL; import java.util.Hash…
一.火狐浏览器插件安装 这里以火狐浏览器的Modify Headers插件安装为例,展示火狐插件的安装: 1.打开火狐浏览器,右上角选择“附加组件” 2.搜索Modify Headers插件 3.安装Modify Headers插件 4.接着点击“立即重启” 5.在扩展中就可以看到刚才安装的插件了 6.在选项中对插件进行一些设置 . 7.在浏览器工具栏开启插件 8.操作完成后要重启浏览器,然后插件就生效了 二.插件安装目录 安装好的插件如果想知道安装目录的话怎么办呢? 1.直接在火狐浏览器地址栏…
click  在网页测试手机模式下无效,不能执行. 调成非手机模式即可…
Modity headers是firefox浏览器的一个插件,作用是改变http请求的IP地址 (一)在firefox中添加该插件 步骤一:打开firefox浏览器,打开地址: https://addons.mozilla.org/en-US/firefox/addon/modify-headers/ 步骤二:如下图,点击“Add to Firefox”,然后根据提示重启浏览器即可 步骤三:如下图,添加好插件后,按照如下图,即可启动插件 (二)该插件的使用 步骤一:如下图,在下拉框中选择“Add…
使用Post方法模拟登陆爬取网页   最近弄爬虫,遇到的一个问题就是如何使用post方法模拟登陆爬取网页.下面是极简版的代码: import java.io.BufferedReader; import java.io.InputStreamReader; import java.io.OutputStreamWriter; import java.io.PrintWriter; import java.net.HttpURLConnection; import java.net.URL; im…