有时候我们在用 requests 抓取页面的时候,得到的结果可能和在浏览器中看到的不一样,在浏览器中可以看到正常显示的页面数据,但是使用 requests 得到的结果并没有.这是因为 requests 获取的都是原始的 HTML 文档,而浏览器中的页面则是经过 JavaScript 处理数据后生成的结果,这些数据的来源有多种,可能是通过 Ajax 加载的, 可能是包含在 HTML 文档中的,也可能是经过 JavaScript 和特定算法计算后生成的.不管是 Ajax 或是 JavaScript,…

简述: 开始接触python写web自动化的脚本主要源于在公司订阅会议室,主要是使用python+selenium+chromedriver驱动chrome浏览器来完成的,其中部分python代码可以通过低版本的Firefox来录制,生成脚本.安装好环境之后,基本就是用火狐生成一些代码,而代码生成就是根据web中元素的id或者一些其他特征去定位html中的组件,然后模拟鼠标和键盘操作,实现自动化控制,调试完成可以用pyinstaller生成exe文件. 环境搭建: 1.下载chrome浏览器和对…

http://webdriver.googlecode.com 所以CTRL属于Modifier Key,需要这样写: Actions actionObject = new Actions(driver); actionObject.keyDown(Keys.CONTROL).sendKeys(Keys.F5).keyUp(Keys.CONTROL).perform();…

1.通过id定位元素2.通过class_name定位元素3.通过tag_name定位元素4.通过name定位元素5.通过link文字精确定位元素6.通过link文字模糊定位元素7.通过CSS定位元素8.通过XPath定位元素9.通过By定位元素10.具体实例说明…

将很久之前自己在本地记录的一些笔记发表到随笔来,希望能够帮到一些童鞋~ robotframework安装及入门指南 本文主要介绍robotframework在windows环境的安装过程! 安装步骤 环境说明:Windows7+Python2.7 robotframework相关库:核心库robotframework,ide库ride,建议使用pip直接安装 注意:需要安装ride的童鞋要先安装wxPython库,ride的界面依赖该库:可选安装pygments,用于ride中编辑器配色设置.…

senium做自动化测试的过程中,有的页面需要下拉滚动条才能全部加载完成,否则加载不出来就定位不到想要的元素. 参考链接:http://www.cnblogs.com/landhu/p/5761794.html 摘抄如下: 在python中有几种方法解决这种问题,简单介绍下,给需要的人: 方法一)使用js脚本直接操作,方法如下: js="var q=document.getElementById('id').scrollTop=10000" driver.execute_script(…

爬虫:可见即可爬   # 每个网站都有爬虫协议 基础爬虫需要使用到的三个模块 requests 模块  # 模拟发请求的模块 PS:python原来有两个模块urllib和urllib的升级urllib2,这两个模块使用很繁琐,后来在这两个模块上做了封装就出现了requests模块 beautifulsoup 模块  #数据解析库,re模块正则匹配解析库 senium 模块  # 控制浏览器模块 scrapy 模块  # 把上面三个模块进行一个封装,做成一个大框架,可以做分布式爬虫 reques…