selenium + firefox/chrome/phantomjs登陆之模拟点击
登陆之模拟点击
工具:python/java + selenium + firefox/chrome/phantomjs
(1)windows开发环境搭建
默认已经安装好了firefox
- 安装pip
pip是一个python的软件包管理工具,用于自动下载并安装、更新python
包,python3之后的某些版本已经自带pip,在python
2.7之前的话,需要自己安装,现在的安装方法已经非常简单,直接查看官方doc:http://pip.readthedocs.org/en
/stable/installing/,下载get-pip.py并执行python
get-pip.py即可一键安装。其他方法可参考《怎么在windows下安装pip》。为了便于使用,最好添加到系统变量PATH中。
- 安装phantomjs
从官网下载windows版本的压缩包(http://phantomjs.org/download.html)。下载之后,直接解压到本地。建议使用最新版phantomjs-2.0.0-windows.zip,因为有些情况下phantomjs不能正确的解析仅仅是因为版本兼容性不好,这种bug基本无解,绕来绕去最终换过版本就好了。
- 安装selenium
如果是python环境,安装好pip之后,直接使用
- pip install selenium
- pip install --upgrade selenium # 升级到最新版本
如果是java环境,下载一个完整的selenium-server-standalone-2.48.2.jar包即可,这个包很大,已经包含了所有依赖包和各种driver如(htmlunit driver之类的)
(2)linux(debian)开发环境搭建
- 安装firefox
版权问题,debian自带的浏览器并不是firefox。如果想在debian环境下,使用firefoxDriver进行模拟点击,就必须先安装firefox。我在debian服务器上试了几种方法均失败,不过下面还是说一下找到的几种方法。
方法一:从firefox官网下载linux版之后,直接解压firefox
方法二:命令行安装。
参考
1.
- libsqlite3-dev libfontconfig1-dev libicu-dev libfreetype6 libssl-dev \
- libpng-dev libjpeg-dev python libx11-dev libxext-dev
- b. 编译,大约需要半个小时,请耐心等待
- git clone git://github.com/ariya/phantomjs.git
- cd phantomjs
- git checkout 2.0
- ./build.sh
具体可参考phantomjs的官网:http://phantomjs.org/build.html
- 安装selenium
跟windows一样简单,直接pip install selenium就搞定,前提是pip可用。
(3) selenium的使用介绍
selenium是一个自动化测试工具,支持多种编程语言java/python
/javascript/ruby/php/C#/perl。我们在爬虫中主要用于抓取动态页面时模拟浏览器行为,绕过后台执行js的复杂过程,用“所见
即所得”的方式进行页面点击、截屏、悬浮窗拖拽等。之前中文资料比较少,加上selenium
2.0和1.0巨大的区别,csdn上的中文博客大多不好使。刚搜了一下,好像有些中文社区和更正式一点的博客,感觉不错,先贴出来:
1. 《webDriver中文教程 & 中文社区》貌似是今年的,比较官方的样子,还没细看
3. 官网的webdriver使用文档,也属于入门级别,有些复杂操作需要从其他有经验的使用者的博客里边略窥一二。
4.《The Selenium Browser Automation Project》介绍比较全面。
下面主要介绍一下可能遇到的坑,别人的经验可以参考《记录我遇到的使用selenium让人摸不着头脑的问题
》,下面是我碰过几次的
- iframe & window
Selenium2(webdriver)在使用get(url)方法打开一个网页的时候,是不会继续加载里面的iframe中的页面源码,这与selenium 1的使用不同。当碰到有些元素不可选的时候,可以使用开发者工具查看是否有iframe元素。
- # 切换iframe
- driver.switch_to.frame("frameName") # 还有其他api
- # 切换window
- for handle in driver.window_handles:
- driver.switch_to.window(handle)
- 不同的webdriver
官网已经有使用webdriver的优缺点的比较,例如firefox通常比ie快,而无界面的HtmlUnitDriver通常会比firefox快,但对js的支持并不是那么好。并且不同driver对xpath语法的支持也不一样。
就个人使用经验来看,即便是同样的webdriver差别还是有点大的。例如在某些firefox的版本是可以抓取数据的,但在另外一些版本就不
行,selenium在这两年的演化过程中,中途出现过对最新firefox各种报错、但对老版本firefox就正常,以及对老phantomjs不能
抓取,最新版本phantomjs就OK的情况。当遇到各种很诡异的关于浏览器不能抓取问题的时候,需要考虑尝试不同的webdriver,以避开
selenium对个别型号的浏览器支持不良的情况。
- 隐式等待与显示等待
当网页上有ajax等动态元素时,webdriver.get(url)只会等待html和js文件加载完成,但不一定会等待js生成的元素都出现在页面
源码中。使用xpath或者css选择器的时候,如果js产生的代码没有加载完成,就会报错,这种我们用开发者工具能发现的元素,但webdriver找
不到的情况,通常都是因为等待时间不够造成的。通常有两种方法:
第一种隐式等待,优点是想法简单,缺点是不同的页面需要的加载时间不同,为了保证数据正确,需要取一个最大的等待时间,拖慢代码执行效率。python中的源码如下
- <span style="font-size:12px;"># 每次获取页面都设置10秒钟的超时时间</span>
driver.implicitly_wait(10)
第二种是显示等待。用于指定等待到页面加载到某些为真的可控条件,例如出现某个元素之后,就认为需要的页面内容已经加载完成了,python代码如下:
- <span style="font-size:12px;"># 构建WebDriverWait,设置最大超时时间是30秒</span>
wait = WebDriverWait(driver, 30)
- <span style="font-size:12px;"># 等待页面出现id=authFrame的元素出现,一旦出现就进入下一步</span>
wait.until(EC.frame_to_be_available_and_switch_to_it((By.ID,'authFrame')))
关于数据等待可以参考:《如何等待页面元素加载完成》java实现,同时举了个需要页面等待的栗子。
(4)itunes登陆的代码示例
一切不上代码的演示都是耍流氓。
- import selenium,platform
- from selenium import webdriver
- from selenium.webdriver.common.by import By
- from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
- from selenium.common.exceptions import TimeoutException
- from selenium.webdriver.support.ui import WebDriverWait # available since 2.4.0
- from selenium.webdriver.support import expected_conditions as EC # available since 2.26.0
- from selenium.webdriver.common.by import By
- driverPath = '/home/phantomjs/bin/phantomjs'
- if platform.system()=='Windows':
- driverPath = 'D:/python_tool/phantomjs-2.0.0-windows/bin/phantomjs.exe'
- # driver = webdriver.PhantomJS(executable_path=driverPath) #使用phantomJs进行驱动
- driver = webdriver.Firefox() #使用FireFox进行模拟点击,运行此段代码的时候,会启动firefox
- url = 'https://itunesconnect.apple.com/WebObjects/iTunesConnect.woa' # itunes登陆页面
- driver.get(url) # 跟浏览器一样加载页面
- # driver.implicitly_wait(10) #每次加载页面的时候等待10秒钟
- wait = WebDriverWait(driver, 30) # 页面加载时间可能比较长
- try: # 等待页面加载完成
- wait.until(EC.frame_to_be_available_and_switch_to_it((By.ID,'authFrame'))) # 等待出现id为authFrame的元素载入完成
- wait.until(EC.element_to_be_clickable((By.ID,'appleId'))) # 等待出现id为appId的元素可以点击
- print driver.title
- except:
- print 'error'*20
- driver.quit()
- # 输入账号、密码并点击提交
- driver.find_element_by_id('appleId').send_keys(self.account)
- driver.find_element_by_id('pwd').send_keys(self.password)
- driver.find_element_by_id('sign-in').click()
- # 显示等待一段页面跳转
- time.sleep(5)
- print '--- login success ----'
- #print driver.get_cookies()#打印cookie
- for cookie in driver.get_cookies():
- print "%s -> %s" % (cookie['name'], cookie['value'])
- return
如果想访问别的数据页面,可以driver.get(url)和click方法逐步访问、点击。这个效率会比较低,selenium也可以使用多线程操作,但selenium并不保证多线程的数据一致性,简单的讲对多线程的支持不是很好。
selenium + firefox/chrome/phantomjs登陆之模拟点击的更多相关文章
- Python selenium.webdriver.chrome.options.Options() Examples
The following are 27 code examples for showing how to use selenium.webdriver.chrome.options.Options( ...
- selenium设置chrome和phantomjs的请求头信息
selenium设置chrome和phantomjs的请求头信息 出于反爬虫也好-跳转到手机端页面也好都需要设置请求头,那么如何进行呢? 目录 一:selenium设置phantomjs请求头: ...
- 爬虫之动态HTML处理(Selenium与PhantomJS )网站模拟登录
#coding=utf-8from selenium import webdriverfrom selenium.webdriver.common.keys import Keysimport tim ...
- 利用selenium库自动执行滑动验证码模拟登陆
破解流程 #1.输入账号.密码,然后点击登陆 #2.点击按钮,弹出没有缺口的图 #3.针对没有缺口的图片进行截图 #4.点击滑动按钮,弹出有缺口的图 #5.针对有缺口的图片进行截图 #6.对比两张图片 ...
- selenium webdriver 启动三大浏览器Firefox,Chrome,IE
selenium webdriver 启动三大浏览器Firefox,Chrome,IE 1.安装selenium 在联网的情况下,在Windows命令行(cmd)输入pip install selen ...
- linux安装selenium+chrome+phantomjs
1. 安装 selenium pip3 install selenium pip3 安装参考 2. 安装 ChromeDriver yum install chromedriver.x86_64 3. ...
- 爬虫之动态HTML处理(Selenium与PhantomJS )动态页面模拟点击
动态页面模拟点击 #!/usr/bin/env python # -*- coding:utf-8 -*- # python的测试模块 import unittest from selenium im ...
- Centos 7.6 安装selenium+firefox+google chrome(支持xshell运行)
1. 查看Linux 版本 [root@penguin selenium]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) ...
- Selenium+Chrome+PhantomJS 爬取淘宝
https://github.com/factsbenchmarks/taobao-jingdong 一 简单铺垫 Selenium负责驱动浏览器与python对接 PhantomJS负责渲染解析Ja ...
随机推荐
- Java中二进制、十进制、十六进制及ASCII码与String及字节数组与十六进制之间的转换
public class DigitalTrans { /** * 数字字符串转ASCII码字符串 * * @param String * 字符串 * @return ASCII字符串 */ publ ...
- boost::thread类
前言 标准C++线程即将到来.预言它将衍生自Boost线程库,现在让我们探索一下Boost线程库. 几年前,用多线程执行程序还是一件非比寻常的事.然而今天互联网应用服务程序普遍使用多线程来提高与多客户 ...
- MFC拆分窗口及它们之间的数据交换
源代码:http://download.csdn.net/detail/nuptboyzhb/4221531 CSplitterWnd类 CSplitterWnd类提供一个分隔器窗口的功能,分隔器窗口 ...
- accept系统调用内核实现
用户态对accept的标准使用方法: if ((client_fd = accept(sockfd, (struct sockaddr *)&remote_addr, &sin_siz ...
- C# 它 抽象类和接口
抽象类 C#同意把类和方法声明为abstract,即抽象类和抽象方法.抽象类通常代表一个抽象概念,它提供一个继承的出发点,当设计一个新的对象类时,一定是用来继承的,所以,在一个以继承关系形成的等级结构 ...
- gbs remotebuild使用说明
本文件从:https://source.tizen.org/documentation/articles/gbs-remotebuild翻译而来. 1 远程构建 使用remotebuild子指令将本地 ...
- Python string replace 方法
Python string replace 方法 方法1: >>> a='...fuck...the....world............' >>> b=a ...
- javascript (九)注释
单行注释,采用双斜杠 // 多行注释,采用 /* */
- 积累的VC编程小技巧之图标、光标及位图
1.图标透明 (1).Windows中的图标其实是有两个图像组成的,其中一个用于与它要显示的位置的图像做“AND”操作,另一个作“XOR”操作. 透明:用“白色”AND,用“黑色”XOR 反色:用“白 ...
- 【Demo 0011】多媒体播放器
本章学习要点: 1. 掌握AVAudioPlayer 基本使用; 2. 掌握AVPlayer 基本使用; 3. 掌握系统声音播放以及震动; 4. ...