支持HtmlUnitDriver无头浏览器自动化   定位元素的方式:是可嵌套的 WebElement cheese = driver.findElement(By.id("cheese")); WebElement cheddar = cheese.findElement(By.id("cheddar"));   * WebDriver 代表浏览器 * WebElement 表示特定的DOM节点(控件,例如链接或输入字段等)   为了稍微提高性能,我们应该尝试使用…

如果你还想从头学起Selenium,可以看看这个系列的文章哦! https://www.cnblogs.com/poloyy/category/1680176.html 其次,如果你不懂前端基础知识,需要自己去补充哦,博主暂时没有总结(虽然我也会,所以我学selenium就不用复习前端了哈哈哈...) 如何通过selenium控制浏览器滚动条呢? selenium没有提供原生的滚动页面方法,所以我们得通过最原始的JS来控制 原理:通过  driver.execute_script() 执行js代…

Selenium 是一款强大的基于浏览器的开源自动化测试工具,最初由 Jason Huggins 于 2004 年在 ThoughtWorks 发起,它提供了一套简单易用的 API,模拟浏览器的各种操作,方便各种 Web 应用的自动化测试.它的取名很有意思,因为当时最流行的一款自动化测试工具叫做QTP,是由 Mercury 公司开发的商业应用.Mercury 是化学元素汞,而 Selenium 是化学元素硒,汞有剧毒,而硒可以解汞毒,它对汞有拮抗作用. Selenium 的核心组件叫做 Sele…

1    控制浏览器 Selenium 主要提供的是操作页面上各种元素的方法,但它也提供了操作浏览器本身的方法,比如浏览器的大小以及浏览器后退.前进按钮等. 1.1  控制浏览器窗口大小 在不同的浏览器大小下访问测试站点,对测试页面截图并保存,然后观察或使用图像比对工具对被测页面的前端样式进行评测.比如可以将浏览器设置成移动端大小(480x800),然后访问移动站点,对其样式进行评估:WebDriver 提供了set_window_size() 方法来设置浏览器的大小.例子:#coding=ut…

区别于上篇动态网页抓取,这里介绍另一种方法,即使用浏览器渲染引擎.直接用浏览器在显示网页时解析 HTML.应用 CSS 样式并执行 JavaScript 的语句. 这个方法在爬虫过程中会打开一个浏览器加载该网页,自动操作浏览器浏览各个网页,顺便把数据抓下来.用一句简单而通俗的话说,就是使用浏览器渲染方法将爬取动态网页变成爬取静态网页. 我们可以用 Python 的 Selenium 库模拟浏览器完成抓取.Selenium 是一个用于Web 应用程序测试的工具.Selenium 测试直接运行在浏览…

1.selenium的定位方式 selenium有18种定位方式,8种单数,8种复数,2种父类 2.8种单数定位方式 from selenium import webdriverimport timedriver=webdriver.Chrome()driver.get('http://ui.imdsx.cn/uitester/')# 最大化浏览器driver.maximize_window()# 定位到页面顶部js='window.scrollTo(0,0)'driver.execute_sc…

ylbtech-杂项-自动化测试工具:Selenium(浏览器自动化测试框架) Selenium 是一个用于Web 应用程序测试的工具.Selenium 测试直接运行在浏览器中,就像真正的用户在操作一样.支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等.这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上.测试系统功能——创建回归测试检验软件功能…

使用Selenium通过浏览器对网站进行自动化测试 自动化测试概念: 一般是指软件测试的自动化,软件测试就是在预设条件下运行系统或应用程序,评估运行结果,预先条件应包括正常条件和异常条件. 广义上来讲,自动化包括一切通过工具或者运行程序的方式来代替或辅助手工测试的行为都可以看做自动化,包括性能测试工具(loadrunner.jmeter),或自己所写的一段程序,用于生成测试数据.狭义上来讲,通工具记录或编写脚本的方式模拟手工测试的过程,通过回放或运行脚本来执行测试用例,从而代替人工对系统的功能进…

在自动化测试过程中,通过selenium启动浏览器时,可能需要加载插件(如测试用的firebug.或产品中要求必须添加某插件等).读取用户数据(自己浏览器的配置文件/别人直接给的浏览器配置文件).设置浏览器(不加载图片等). 由于我们通过selenium启动的浏览器页面,是完全干净的页面,如果想要让该页面带上我们需要的信息,则需要自己设置. 下面讲一下Firefox和Chrome浏览器的各种启动方式: 一:Firefox 1.启动浏览器,使用浏览器上保存的所有用户数据. 用户数据是从Firefo…

Selenium +Chrome浏览器如何模拟手机操作 进入手机模式 打开谷歌浏览器,按F12,进入开发者模式,点击Toggle device toolbar,进入手机模式 设置Chrome的手机模式 deviceName可更改成Chrome浏览器中支持的设备型号 设置成手机模式之后,使用click事件,进行搜索,无响应,我们可以使用TouchActions中tap方式去处理 TouchActions具体可参看源码 示例代码: # -*- coding:utf-8 -*- from seleni…

Selenium Chrome浏览器的启动以及proxy设置   虽然WebDriver对Firefox的支持最好,之前写的脚本也都在Firefox浏览器运行,但最近项目做了整合,发现新整合的功能不太支持Firefox,而近期也没有计划做浏览器兼容性方面的改进,所以我的自动化脚本要重新修改,运行在都有良好支持的Chrome浏览器上.说了这么多背景,我们就进入正题吧. 1. 首先需要下载chromeDriver. http://chromedriver.storage.googleapis.com…

Java数据库连接(JDBC)由一组用 Java 编程语言编写的类和接口组成.JDBC 为工具/数据库开发人员提供了一个标准的 API,使他们能够用纯Java API 来编写数据库应用程序.然而各个开发商的接口并不完全相同,所以开发环境的变化会带来一定的配置变化.本文主要集合了不同数据库的连接方式. 下面罗列了各种数据库使用JDBC连接的方式,可以作为一个手册使用. Oracle8/8i/9i数据库(thin模式) Class.forName("oracle.jdbc.driver.Oracle…

当我们在使用Selenium运行自动化测试时,偶尔需要用到下载功能,但浏览器的下载可能会弹出下载窗口,或者下载路径不是我们想要保存的位置,所以在通过Selenium启动浏览器时需要做相关的设置,将使这些设置在启动的浏览器中生效果. 下图为Firefox的下载弹窗: Firefox 设置浏览器下载 import org.openqa.selenium.WebDriver; import org.openqa.selenium.firefox.FirefoxDriver; import org.op…

前几天有位微信读者问我一个爬虫的问题,就是在爬去百度贴吧首页的热门动态下面的图片的时候,爬取的图片总是爬取不完整,比首页看到的少.原因他也大概分析了下,就是后面的图片是动态加载的.他的问题就是这部分动态加载的图片该怎么爬取到. 分析 他的代码比较简单,主要有以下的步骤:使用BeautifulSoup库,打开百度贴吧的首页地址,再解析得到id为new_list标签底下的img标签,最后将img标签的图片保存下来. headers = { 'User-Agent':'Mozilla/5.0 (Win…

在上一篇博客中使用redis所维护的代理池抓取微信文章,开始运行良好,之后运行时总是会报501错误,我用浏览器打开网页又能正常打开,调试了好多次都还是会出错,既然这种方法出错,那就用selenium模拟浏览器获取搜狗微信文章的详情页面信息,把这个详情页面信息获取后,仍然用pyquery库进行解析,之后就可以正常的获得微信文章的url,然后就可以通过这个url,获得微信文章的信息 代码如下: from selenium import webdriver from selenium.webdrive…

这个专题主要说的是Python在爬虫方面的应用,包括爬取和处理部分 [Python爬虫]使用Python爬取动态网页-腾讯动漫(Selenium) [Python爬虫]使用Python爬取静态网页-斗鱼直播 [Python爬虫]使用Python爬取动态网页-豆瓣电影(JSON) [Python爬虫]使用Selenium操作浏览器订购火车票 上节我们说了如何使用selenium打开网页做些简单操作 这节内容为操作浏览器自动订购12306火车票 开发环境 操作系统:windows 10 Python…

每次用 selenium 操作浏览器都还原了 (比如没有浏览器历史记录)…

使用浏览器渲染引擎.直接用浏览器在显示网页时解析HTML,应用CSS样式并执行JavaScript的语句. 这方法在爬虫过程中会打开一个浏览器,加载该网页,自动操作浏览器浏览各个网页,顺便把数据抓下来.用一句简单而通俗的话说,使用浏览器渲染方法,爬取动态网页变成了爬取静态网页. 我们可以用Python的selenium库模拟浏览器完成抓取.Selenium是一个用于Web应用程序测试的工具.Selenium测试直接运行在浏览器中,浏览器自动按照脚本代码做出点击,输入,打开,验证等操作,就像真正的…

淘宝由于含有很多请求参数和加密参数,如果直接分析ajax会非常繁琐,selenium自动化测试工具可以驱动浏览器自动完成一些操作,如模拟点击.输入.下拉等,这样我们只需要关心操作而不需要关心后台发生了怎样的请求.PhantomJS是一个无界面的浏览器. 爬取淘宝搜索关键词下的宝贝内容,爬取到MONGODB,使用的解析库是pyquery. 步骤: 搜索关键字:利用Selenium驱动浏览器搜索关键字,得到查询后的商品列表. 分析页码并翻页:得到商品页码数,模拟翻页,得到后续页面的商品列表. 分析提…

前言: 无意中在网上发现了静觅大神(崔老师),又无意中发现自己硬盘里有静觅大神录制的视频,于是乎看了其中一个,可以说是非常牛逼了,让我这个用urllib,requests用了那么久的小白,体会到selenium的神奇之处,关键是虽然对小白来说信息量很大,但是讲得特别清楚,不亚于培训班哈哈哈哈.接下来言归正传. 使用Selenium模拟浏览器抓取淘宝美食信息并保存到MongoDB数据库,流程如下: 1.利用Selenium驱动浏览器搜索关键字,得到查询后的商品列表. 2.得到商品页码数,模拟翻页,…

目的:通过selenium控制浏览器滚动条 原理:通过 driver.execute_script()执行js代码,达到目的 driver.execute_script("window.scrollBy(0,1000)") 语法:scrollBy(x,y) 参数 描述 x 必需.向右滚动的像素值. y 必需.向下滚动的像素值. 或者用 driver.execute_script("window.scrollTo(0,1000)") 语法:scrollBy(x,y)…

""" 获取浏览器 打开本地浏览器 打开远程浏览器 关闭浏览器 打开网址 最大化 最小化 标题 url 刷新 Python对Selenium封装浏览器调用 ------browser.py文件 """ from selenium import webdriver from Common.tools.rw_ini import read_config from .base import Base class Browser(Base): def g…

前面已经爬取了代理,今天我们使用Selenium&PhantomJS的方式爬取快代理 :快代理 - 高速http代理ip每天更新. 首先分析一下快代理,如下 使用谷歌浏览器,检查,发现每个代理信息都在tr里面,每个tr里面包含多个td,就是IP的信息. 这个结构我们可以通过多种方法抓取,例如bs4.xpath.selenium等 这里我们演示selenium方法.具体解释在下面代码中都有的. from selenium import webdriver class Item(object): '…

下面罗列了各种数据库使用JDBC连接的方式,可以作为一个手册使用. 1.Oracle8/8i/9i/10g/11g数据库(thin模式) Class.forName("oracle.jdbc.driver.OracleDriver").newInstance(); String url="jdbc:oracle:thin:@localhost:1521:orcl"; //orcl为数据库的SID String user="test"; Strin…

python3+selenium使用浏览器IE的时候,老是报错: Unexpected error launching Internet Explorer. Protected Mode settings are not the same for all zones 这个错误,更改IE的internet选项->安全,将Internet/本地Internet/受信任的站定/受限制的站点中的启用"保护模式"全部去掉勾,或者全部勾上,即可.…

分析 他的代码比较简单,主要有以下的步骤:使用BeautifulSoup库,打开百度贴吧的首页地址,再解析得到id为new_list标签底下的img标签,最后将img标签的图片保存下来. headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36' } data=reques…

selenium控制浏览器需要下载对应版本的驱动,并把下载好的驱动解压然后拷贝到python的安装目录. 1.chrome 驱动对应版本及下载地址;https://npm.taobao.org/mirrors/chromedriver/ 2.firefox 驱动下载地址 ;https://github.com/mozilla/geckodriver/releases/ 3.IE 驱动下载地址;http://www.cr173.com/soft/195732.html IE的启用保护模式 打开IE…

前言 selenium是一个web自动化测试的开源框架,它支持多语言:python/java/c#… 前面也有一篇文章说明了,selenium+浏览器的环境搭建. selenium支持多语言,是因为selenium与浏览器驱动之间是通过http协议进行通信的.只关心通信的数据是否能够正确解读 ,并不关心这个数据是从哪个客户端来.无论来自python\java,还是jmeter,postman都没有问题. 本篇文章中,以requests做为客户端,跳过selenium,直接与谷歌浏览器驱动(chr…

#########百度输入框的定位方式########## #通过id方式定位 browser.find_element_by_id("kw").send_keys("selenium") #通过name方式定位 browser.find_element_by_name("wd").send_keys("selenium") #通过tag name方式定位 browser.find_element_by_tag_name(&q…

django原生支持是不支持 以连接池方式连接数据库的 概述 在使用 Django 进行 Web 开发时, 我们避免不了与数据库打交道. 当并发量低的时候, 不会有任何问题. 但一旦并发量达到一定数量, 就会导致 数据库的连接数会被瞬时占满. 这将导致一个严重的后果 --其他应用, 或者 Django 本身的其他服务都无法访问数据库. 这是不可容忍的! 造成这样的结果的原因之一是 Django 底层与数据库的连接方式并不是连接池. 它会为每一次的数据库访问建立连接. 这样当并发量上来以后, 数据…