有不少朋友在开发爬虫的过程中喜欢使用Selenium + Chromedriver,以为这样就能做到不被网站的反爬虫机制发现. 先不说淘宝这种基于用户行为的反爬虫策略,仅仅是一个普通的小网站,使用一行Javascript代码,就能轻轻松松识别你是否使用了Selenium + Chromedriver模拟浏览器. 我们来看一个例子. 使用下面这一段代码启动Chrome窗口: from selenium.webdriver import Chrome driver = Chrome() 现在,在这个

目录 1.目标 2.Selenium webdriver说明 2.1 为什么使用webdriver 2.2 webdriver支持浏览器 2.3 配置与使用说明 3.采集 3.1 分析网站 3.2 遍历省份 3.3 遍历高校 3.4 采集专业数据 3.5 写入mysql 4.源码 1.目标 目标:按地区.高校 采集2020年拟在山东招生的所有专业信息 采集地址:http://xkkm.sdzk.cn/zy-manager-web/gxxx/selectAllDq# 2.Selenium webd

Python3 Selenium WebDriver网页的前进.后退.刷新.最大化.获取窗口位置.设置窗口大小.获取页面title.获取网页源码.获取Url等基本操作 通过selenium webdriver操作网页前进.后退.刷新.最大化.获取窗口位置.设置窗口大小.获取页面title.获取网页源码.获取Url等基本操作: from selenium import webdriver #打开浏览器 driver = webdriver.Ie(executable_path = "e:\\IED

Selenium Webdriver 学习: http://jarvi.iteye.com/category/203994 https://github.com/easonhan007/webdriver_guide Selenium WebDriver经验杂记:http://blog.csdn.net/ant_yan/article/details/8185899http://blog.csdn.net/aerchi/article/category/936247 1. Selenium We

1 JDK.Python环境变量配置  下载JDK http://www.oracle.com/technetwork/java/javase/downloads/index.html,直接双击安装,建议直接点“下一步”,选择默认路径安装.安装好JDK之后,就配置JDK的环境变量. 右击”我的电脑”>>属性>>高级>>环境变量 新增系统变量:变量JAVA_HOME      值C:\Program Files\Java\jdk1.6.0_24,你要根据你自己的安装路径来

转自:http://www.myext.cn/webkf/a_11878.html 1. 下载必要工具及安装包 1.1 [Python开发环境] 下载并安装Python 2.7.x版本 下载地址:https://www.python.org/downloads/ 1.2 [python 的安装包管理工具]Pip pip 是python 软件包的安装和管理工具,有了这个工具,我们只需要一个命令就可以轻松的python的任意类库. 下载地址:https://pypi.python.org/pypi/

最近公司在给我们培训,主要是网页自动化测试的,现在的工作每天都是测APP,刚刚入门,不过,当我看了别人写的bug之后,就觉得不会觉得能够发现bug多么多么的厉害了. 前两周的时间一直在搭建自动化测试的环境,由于白天上班没有时间做练习,只能下班之后才有时间自己学习一下,苦逼啊.每天都是9点多才从公司回宿舍,但说实在的,这样的日子确实过得很充实,不管怎样,这么好的一个工作环境一定要好好珍惜,学多点东西,挣多点钱回家孝敬一下老爸,他自己一个人扛起我们整个家庭,也确实不容易的.好了,废话不多说了,直接进

自动化测试中,等待时间的运用占据了举足轻重的地位,平常我们需要处理很多和时间息息相关的场景,例如: 打开新页面,只要特定元素出现而不用等待页面全部加载完成就对其进行操作 设置等待某元素出现的时间,超时则抛出异常 设置页面加载的时间 ..... webdriver类中有三个和时间相关的方法: 1.pageLoadTimeout 2.setScriptTimeout 3.implicitlyWait 我们就从这里开始,慢慢揭开他神秘的面纱. pageLoadTimeout pageLoadTimeo

页面对象的相关操作可以通过接口文件org.openqa.selenium.WebElement查看,本文只是对象接口的使用方式,具体的实现方式在org.openqa.selenium.remote.RemoteWebElement中,有兴趣的同学可以研究下,接口方法如下图 即将用到的网页 sendKeys 当我们想向输入框中输入内容时采用sendKeys方法 import java.util.Set; import org.openqa.selenium.By; import org.openq

webdriver的元素定位很灵活,提供了多种定位方式: Id LinkText PartialLinkText Name TagName Xpath ClassName CssSelector 这些方法可以在org.openqa.selenium.By中找到,下面一一道来 假如有这样的需求:登录安居客网站,搜索陆家嘴附近的二手房源,网页是这样的 这个需求涉及到一个输入框和一个提交按钮,先查看网页源码 在输入框中输入“陆家嘴”然后点击“二手房”按钮,如果能跳转到陆家嘴相关页面就完成了这个需求,我

selenium java环境的安装可以分为三个部分:jdk.eclipse和selenium. jdk jdk(java development kit)是sun公司针对java开发人员的产品,是整个java的核心,包含了java的运行环境.工具和基础类库. 1.下载新版jdk,目前是jdk8,双击安装即可,选择安装在D:\Program Files\Java\jdk1.8.0. 2.配置环境变量 3.运行cmd查看jdk版本 eclipse eclipse无需多解释,windows傻瓜式安装

Selenium WebDriver + Grid2 + RSpec之旅(一)             ----准备篇 前言 在Web 2.0 应用中,在浏览器种类盛行的时代,我们在测试过程中不仅要模仿不同的用户行为,还要包括不同的系统,不同的浏览器中的操作.在这种情况下,我们需要新的方法与工具来解决我们遇到的难题.用Selenium WebDriver + Grid2来实现多种浏览器功能自动化测试和并发性测试.将测试人员从繁杂的手动测试中解放出来,专注于结果分析和问题解决.(同志们!你们解脱啦

常用操作 click 点击某个元素 driver.find_element_by_id(“su”).click()   clear driver.find_element_by_id(“kw”).clear()   send_keys 模拟键盘输入 driver.find_element_by_id(“kw”).send_keys(“hello”) from selenium.webdriver.common.keys import Keys driver.find_element_by_id(

AJAX,即“Asynchronous Javascript And  XML”.可以实现网页的异步更新.也就是在不重新加载整个网页的情况下,对网页的某部分进行更新. 现在大多数网站都使用AJAX技术,这使得网页加载完成之后有些元素还没有出现.为了解决这个问题,保证脚本运行的稳定性,selenium使用了等待功能. Selenium的等待分为两种:显示等待.隐式等待. 添加休眠   import time time.sleep(0.3) 隐式等待   设置一次即可,作用于WebDriver的整个

最早接触的selenium是 selenium IDE,当时是为了准备论文.为了用IDE还下载了Firefox浏览器.后来接触过两个项目都需要selenium,一个采用selenium webdirver+junit4 +java,另外一个是采用 robot+selenium2library .总体感觉就是开源.简单.使用范围广.是网页测试必备单品. 关于selenium的好的学习资料: 官方User Guide:  http://seleniumhq.org/docs/ 官方API:  htt

Selenium webdriver 截图 太长截不全的问题 1.环境 selenium webdriver.net 2.46.0.0 + firefox 37.0.1 + win 8.1 2.问题 网页截图--如果网页很长,无法截取全部.如 http://sports.sina.com.cn 3.原因分析 1)因为webdriver2.0 是将命令经RemoteWebDriver服务,将浏览器(实现相应的协议)内部命令发送到远程(也可以是本地)浏览器,执行后返回执行数据! 所以就想 是不是 有

1,引言 本文讲解怎样用Python驱动Firefox浏览器写一个简易的网页数据采集器.开源Python即时网络爬虫项目将与Scrapy(基于twisted的异步网络框架)集成,所以本例将使用Scrapy采集淘宝这种含有大量ajax代码的网页数据,但是要注意本例一个严重缺陷:用Selenium加载网页的过程发生在Spider中,破坏了Scrapy的架构原则.所以,本例只是为了测试Firefox驱动和ajax网页数据采集这两个技术点,用于正式运行环境中必须予以修改,后续的文章将专门讲解修正后的实现

关闭  selenium webdriver缺陷 除了http://573301735.com/?p=5126讲 的,昨天又发现一个让我1个小时生不如死的问题,就是使用两个不同的配置文件来初始化driver,findelement方法获取到的坐标居然不一样, 使用其中一个配置文件初始化的driver因为获取的坐标是错误的导致click后没任何反应.搜遍引擎没有发现任何答案.看到一个方法,虽然不能解决我 目前的问题,难保以后用不上,记录一下: 最近在使用Selenium Webdriver(Sel

阅在线 AIP 文档:http://selenium.googlecode.com/git/docs/api/py/index.html目录一.selenium+python 环境搭建................................................................................................61.1 selenium 介绍..............................................

webdriver的简介 硒2.0的主要新功能是集成的webdriver的API.webdriver的设计除了解决一些seleniumr-RC API的一些限制,与webdriver 的整合,将提供一个更简单,更简洁的编程接口.selenium webdriver会更好地支持动态的网页,页面本身被重新加载页面元素可能更改.webdriver的目标是提供一个设计良好的面向对象的API,提供了更好的支持现代先进的web-app测试. WebDriver与Selenium-RC相比,是如何来驱动浏览器

有不少朋友在开发爬虫的过程中喜欢使用Selenium + Chromedriver,以为这样就能做到不被网站的反爬虫机制发现. 先不说淘宝这种基于用户行为的反爬虫策略,仅仅是一个普通的小网站,使用一行Javascript代码,就能轻轻松松识别你是否使用了Selenium + Chromedriver模拟浏览器. 我们来看一个例子. 使用下面这一段代码启动Chrome窗口: from selenium.webdriver import Chrome driver = Chrome() 现在,在这个