Selenium与PhantomJS【转】
爬虫(Spider),反爬虫(Anti-Spider),反反爬虫(Anti-Anti-Spider) 之间恢宏壮阔的斗争...
Day 1
- 小莫想要某站上所有的电影,写了标准的爬虫(基于HttpClient库),不断地遍历某站的电影列表页面,根据 Html 分析电影名字存进自己的数据库。
- 这个站点的运维小黎发现某个时间段请求量陡增,分析日志发现都是 IP(xxx.xxx.xxx.xxx)这个用户,并且 user-agent 还是 Python-urllib/2.7 ,基于这两点判断非人类后直接在服务器上封杀。
Day 2
- 小莫电影只爬了一半,于是也针对性的变换了下策略:1. user-agent 模仿百度("Baiduspider..."),2. IP每爬半个小时就换一个IP代理。
- 小黎也发现了对应的变化,于是在服务器上设置了一个频率限制,每分钟超过120次请求的再屏蔽IP。 同时考虑到百度家的爬虫有可能会被误伤,想想市场部门每月几十万的投放,于是写了个脚本,通过 hostname 检查下这个 ip 是不是真的百度家的,对这些 ip 设置一个白名单。
Day 3
- 小莫发现了新的限制后,想着我也不急着要这些数据,留给服务器慢慢爬吧,于是修改了代码,随机1-3秒爬一次,爬10次休息10秒,每天只在8-12,18-20点爬,隔几天还休息一下。
- 小黎看着新的日志头都大了,再设定规则不小心会误伤真实用户,于是准备换了一个思路,当3个小时的总请求超过50次的时候弹出一个验证码弹框,没有准确正确输入的话就把 IP 记录进黑名单。
Day 4
- 小莫看到验证码有些傻脸了,不过也不是没有办法,先去学习了图像识别(关键词 PIL,tesseract),再对验证码进行了二值化,分词,模式训练之后,总之最后识别了小黎的验证码(关于验证码,验证码的识别,验证码的反识别也是一个恢弘壮丽的斗争史...),之后爬虫又跑了起来。
- 小黎是个不折不挠的好同学,看到验证码被攻破后,和开发同学商量了变化下开发模式,数据并不再直接渲染,而是由前端同学异步获取,并且通过 JavaScript 的加密库生成动态的 token,同时加密库再进行混淆(比较重要的步骤的确有网站这样做,参见淘宝和微博的登陆流程)。
Day 5
- 混淆过的加密库就没有办法了么?当然不是,可以慢慢调试,找到加密原理,不过小莫不准备用这么耗时耗力的方法,他放弃了基于 HttpClient的爬虫,选择了内置浏览器引擎的爬虫(关键词:PhantomJS,Selenium),在浏览器引擎运行页面,直接获取了正确的结果,又一次拿到了对方的数据。
- 小黎:.....
爬虫与发爬虫的斗争还在继续...
通常情况下,在爬虫与反爬虫的对弈中,爬虫一定会胜利。
换言之,只要人类能够正常访问的网页,爬虫在具备同等资源
的情况下就一定可以抓取到。
关于爬虫部分一些建议:
- 尽量减少请求次数,能抓列表页就不抓详情页,减轻服务器压力,程序员都是混口饭吃不容易。
- 不要只看 Web 网站,还有手机 App 和 H5,这样的反爬虫措施一般比较少。
- 实际应用时候,一般防守方做到根据 IP 限制频次就结束了,除非很核心的数据,不会再进行更多的验证,毕竟成本的问题会考虑到。
- 如果真的对性能要求很高,可以考虑多线程(一些成熟的框架如 Scrapy都已支持),甚至分布式...
关于反爬虫部分的一些建议:
这篇文章就够了:携程技术中心 - 携程酒店研发部研发经理崔广宇 <爬虫与反爬虫> 技术分享
动态HTML介绍
JavaScript
JavaScript 是网络上最常用也是支持者最多的客户端脚本语言。它可以收集 用户的跟踪数据,不需要重载页面直接提交表单,在页面嵌入多媒体文件,甚至运行网页游戏。
我们可以在网页源代码的
<scripy>
标签里看到,比如:1<script type="text/javascript" src="https://statics.huxiu.com/w/mini/static_2015/js/sea.js?v=201601150944"></script>
jQuery
jQuery 是一个十分常见的库,70% 最流行的网站(约 200 万)和约 30% 的其他网站(约 2 亿)都在使用。一个网站使用 jQuery 的特征,就是源代码里包含了 jQuery 入口,比如:
1<script type="text/javascript" src="https://statics.huxiu.com/w/mini/static_2015/js/jquery-1.11.1.min.js?v=201512181512"></script>
如果你在一个网站上看到了 jQuery,那么采集这个网站数据的时候要格外小心。jQuery 可 以动态地创建 HTML 内容,只有在 JavaScript 代码执行之后才会显示。如果你用传统的方 法采集页面内容,就只能获得 JavaScript 代码执行之前页面上的内容。
Ajax
我们与网站服务器通信的唯一方式,就是发出 HTTP 请求获取新页面。如果提交表单之后,或从服务器获取信息之后,网站的页面不需要重新刷新,那么你访问的网站就在用Ajax 技术。
Ajax 其实并不是一门语言,而是用来完成网络任务(可以认为 它与网络数据采集差不多)的一系列技术。Ajax 全称是 Asynchronous JavaScript and XML(异步 JavaScript 和 XML),网站不需要使用单独的页面请求就可以和网络服务器进行交互 (收发信息)。
DHTML
Ajax 一样,动态 HTML(Dynamic HTML, DHTML)也是一系列用于解决网络问题的 技术集合。DHTML 是用客户端语言改变页面的 HTML 元素(HTML、CSS,或者二者皆 被改变)。比如页面上的按钮只有当用户移动鼠标之后才出现,背景色可能每次点击都会改变,或者用一个 Ajax 请求触发页面加载一段新内容,网页是否属于DHTML,关键要看有没有用 JavaScript 控制 HTML 和 CSS 元素。
那么,如何搞定?
那些使用了 Ajax 或 DHTML 技术改变 / 加载内容的页面,可能有一些采集手段。但是用 Python 解决这个问题只有两种途径:
- 直接从 JavaScript 代码里采集内容(费时费力)
- 用 Python 的 第三方库运行 JavaScript,直接采集你在浏览器里看到的页面(这个可以有)。
Selenium 与 PhantomJS
Selenium简介
Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同是Selenium 可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器)。
Selenium 可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生。
Selenium 自己不带浏览器,不支持浏览器的功能,它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行,所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器。
可以从 PyPI 网站下载 Selenium库https://pypi.python.org/simple/selenium ,也可以用 第三方管理器 pip用命令安装:
pip install selenium
Selenium 官方参考文档:http://selenium-python.readthedocs.io/index.html
PhantomJS简介
PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器,它会把网站加载到内存并执行页面上的 JavaScript,因为不会展示图形界面,所以运行起来比完整的浏览器要高效。
如果我们把 Selenium 和 PhantomJS 结合在一起,就可以运行一个非常强大的网络爬虫了,这个爬虫可以处理 JavaScrip、Cookie、headers,以及任何我们真实用户需要做的事情。
注意:PhantomJS 只能从它的官方网站http://phantomjs.org/download.html) 下载。 因为 PhantomJS 是一个功能完善(虽然无界面)的浏览器而非一个 Python 库,所以它不需要像 Python 的其他库一样安装,但我们可以通过Selenium调用PhantomJS来直接使用。
PhantomJS 官方参考文档:http://phantomjs.org/documentation
快速入门
Selenium 库里有个叫 WebDriver 的 API。WebDriver 有点儿像可以加载网站的浏览器,但是它也可以像 BeautifulSoup 或者其他 Selector 对象一样用来查找页面元素,与页面上的元素进行交互 (发送文本、点击等),以及执行其他动作来运行网络爬虫。
1# IPython2 测试代码23# 导入 webdriver4from selenium import webdriver56# 要想调用键盘按键操作需要引入keys包7from selenium.webdriver.common.keys import Keys89# 调用环境变量指定的PhantomJS浏览器创建浏览器对象10driver = webdriver.PhantomJS()1112# 如果没有在环境变量指定PhantomJS位置13# driver = webdriver.PhantomJS(executable_path="./phantomjs"))1415# get方法会一直等到页面被完全加载,然后才会继续程序,通常测试会在这里选择 time.sleep(2)16driver.get("http://www.baidu.com/")1718# 获取页面名为 wrapper的id标签的文本内容19data = driver.find_element_by_id("wrapper").text2021# 打印数据内容22print data2324# 打印页面标题 "百度一下,你就知道"25print driver.title2627# 生成当前页面快照并保存28driver.save_screenshot("baidu.png")2930# id="kw"是百度搜索输入框,输入字符串"长城"31driver.find_element_by_id("kw").send_keys(u"长城")3233# id="su"是百度搜索按钮,click() 是模拟点击34driver.find_element_by_id("su").click()3536# 获取新的页面快照37driver.save_screenshot("长城.png")3839# 打印网页渲染后的源代码40print driver.page_source4142# 获取当前页面Cookie43print driver.get_cookies()4445# ctrl+a 全选输入框内容46driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'a')4748# ctrl+x 剪切输入框内容49driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'x')5051# 输入框重新输入内容52driver.find_element_by_id("kw").send_keys("itcast")5354# 模拟Enter回车键55driver.find_element_by_id("su").send_keys(Keys.RETURN)5657# 清除输入框内容58driver.find_element_by_id("kw").clear()5960# 生成新的页面快照61driver.save_screenshot("itcast.png")6263# 获取当前url64print driver.current_url6566# 关闭当前页面,如果只有一个页面,会关闭浏览器67# driver.close()6869# 关闭浏览器70driver.quit()
页面操作
Selenium 的 WebDriver提供了各种方法来寻找元素,假设下面有一个表单输入框:
1<input type="text" name="user-name" id="passwd-id" />
那么:
1# 获取id标签值2element = driver.find_element_by_id("passwd-id")3# 获取name标签值4element = driver.find_element_by_name("user-name")5# 获取标签名值6element = driver.find_elements_by_tag_name("input")7# 也可以通过XPath来匹配8element = driver.find_element_by_xpath("//input[@id='passwd-id']")
定位UI元素 (WebElements)
关于元素的选取,有如下的API 单个元素选取
1find_element_by_id2find_elements_by_name3find_elements_by_xpath4find_elements_by_link_text5find_elements_by_partial_link_text6find_elements_by_tag_name7find_elements_by_class_name8find_elements_by_css_selector
By ID
1<div id="coolestWidgetEvah">...</div>
实现
1element = driver.find_element_by_id("coolestWidgetEvah")
2------------------------ or -------------------------
3from selenium.webdriver.common.by import By
4element = driver.find_element(by=By.ID, value="coolestWidgetEvah")
By Class Name
1<div class="cheese"><span>Cheddar</span></div><div class="cheese"><span>Gouda</span></div>
实现
1cheeses = driver.find_elements_by_class_name("cheese")
2------------------------ or -------------------------
3from selenium.webdriver.common.by import By
4cheeses = driver.find_elements(By.CLASS_NAME, "cheese")
By Tag Name
1<iframe src="..."></iframe>
实现
1frame = driver.find_element_by_tag_name("iframe")
2------------------------ or -------------------------
3from selenium.webdriver.common.by import By
4frame = driver.find_element(By.TAG_NAME, "iframe")
By Name
1<input name="cheese" type="text"/>
实现
1cheese = driver.find_element_by_name("cheese")
2------------------------ or -------------------------
3from selenium.webdriver.common.by import By
4cheese = driver.find_element(By.NAME, "cheese")
By Link Text
1<a href="http://www.google.com/search?q=cheese">cheese</a>
实现
1cheese = driver.find_element_by_link_text("cheese")
2------------------------ or -------------------------
3from selenium.webdriver.common.by import By
4cheese = driver.find_element(By.LINK_TEXT, "cheese")
By Partial Link Text
1<a href="http://www.google.com/search?q=cheese">search for cheese</a>>
实现
1cheese = driver.find_element_by_partial_link_text("cheese")
2------------------------ or -------------------------
3from selenium.webdriver.common.by import By
4cheese = driver.find_element(By.PARTIAL_LINK_TEXT, "cheese")
By CSS
1<div id="food"><span class="dairy">milk</span><span class="dairy aged">cheese</span></div>
实现
1cheese = driver.find_element_by_css_selector("#food span.dairy.aged")
2------------------------ or -------------------------
3from selenium.webdriver.common.by import By
4cheese = driver.find_element(By.CSS_SELECTOR, "#food span.dairy.aged")
By XPath
1<input type="text" name="example" />
2<INPUT type="text" name="other" />
实现
1inputs = driver.find_elements_by_xpath("//input")
2------------------------ or -------------------------
3from selenium.webdriver.common.by import By
4inputs = driver.find_elements(By.XPATH, "//input")
鼠标动作链
有些时候,我们需要再页面上模拟一些鼠标操作,比如双击、右击、拖拽甚至按住不动等,我们可以通过导入 ActionChains 类来做到:
示例:
1#导入 ActionChains 类2from selenium.webdriver import ActionChains34# 鼠标移动到 ac 位置5ac = driver.find_element_by_xpath('element')6ActionChains(driver).move_to_element(ac).perform()789# 在 ac 位置单击10ac = driver.find_element_by_xpath("elementA")11ActionChains(driver).move_to_element(ac).click(ac).perform()1213# 在 ac 位置双击14ac = driver.find_element_by_xpath("elementB")15ActionChains(driver).move_to_element(ac).double_click(ac).perform()1617# 在 ac 位置右击18ac = driver.find_element_by_xpath("elementC")19ActionChains(driver).move_to_element(ac).context_click(ac).perform()2021# 在 ac 位置左键单击hold住22ac = driver.find_element_by_xpath('elementF')23ActionChains(driver).move_to_element(ac).click_and_hold(ac).perform()2425# 将 ac1 拖拽到 ac2 位置26ac1 = driver.find_element_by_xpath('elementD')27ac2 = driver.find_element_by_xpath('elementE')28ActionChains(driver).drag_and_drop(ac1, ac2).perform()
填充表单
我们已经知道了怎样向文本框中输入文字,但是有时候我们会碰到<select> </select>
标签的下拉框。直接点击下拉框中的选项不一定可行。
1<select id="status" class="form-control valid" onchange="" name="status">2<option value=""></option>3<option value="0">未审核</option>4<option value="1">初审通过</option>5<option value="2">复审通过</option>6<option value="3">审核不通过</option>7</select>
Selenium专门提供了Select类来处理下拉框。 其实 WebDriver 中提供了一个叫 Select 的方法,可以帮助我们完成这些事情:
1# 导入 Select 类2from selenium.webdriver.support.ui import Select34# 找到 name 的选项卡5select = Select(driver.find_element_by_name('status'))67#8select.select_by_index(1)9select.select_by_value("0")10select.select_by_visible_text(u"未审核")
以上是三种选择下拉框的方式,它可以根据索引来选择,可以根据值来选择,可以根据文字来选择。注意:
- index 索引从 0 开始
- value是option标签的一个属性值,并不是显示在下拉框中的值
- visible_text是在option标签文本的值,是显示在下拉框的值
全部取消选择怎么办呢?很简单:
1select.deselect_all()
弹窗处理
当你触发了某个事件之后,页面出现了弹窗提示,处理这个提示或者获取提示信息方法如下:
1alert = driver.switch_to_alert()
页面切换
一个浏览器肯定会有很多窗口,所以我们肯定要有方法来实现窗口的切换。切换窗口的方法如下:
1driver.switch_to.window("this is window name")
也可以使用 window_handles 方法来获取每个窗口的操作对象。例如:
1for handle in driver.window_handles:2driver.switch_to_window(handle)
页面前进和后退
操作页面的前进和后退功能:
1driver.forward() #前进2driver.back() # 后退
Cookies
获取页面每个Cookies值,用法如下
1for cookie in driver.get_cookies():2print "%s -> %s" % (cookie['name'], cookie['value'])
删除Cookies,用法如下
1# By name2driver.delete_cookie("CookieName")34# all5driver.delete_all_cookies()
页面等待
注意:这是非常重要的一部分!!
现在的网页越来越多采用了 Ajax 技术,这样程序便不能确定何时某个元素完全加载出来了。如果实际页面等待时间过长导致某个dom元素还没出来,但是你的代码直接使用了这个WebElement,那么就会抛出NullPointer的异常。
为了避免这种元素定位困难而且会提高产生 ElementNotVisibleException 的概率。所以 Selenium 提供了两种等待方式,一种是隐式等待,一种是显式等待。
隐式等待是等待特定的时间,显式等待是指定某一条件直到这个条件成立时继续执行。
显式等待
显式等待指定某个条件,然后设置最长等待时间。如果在这个时间还没有找到元素,那么便会抛出异常了。
1from selenium import webdriver2from selenium.webdriver.common.by import By3# WebDriverWait 库,负责循环等待4from selenium.webdriver.support.ui import WebDriverWait5# expected_conditions 类,负责条件出发6from selenium.webdriver.support import expected_conditions as EC78driver = webdriver.Chrome()9driver.get("http://www.xxxxx.com/loading")10try:11# 页面一直循环,直到 id="myDynamicElement" 出现12element = WebDriverWait(driver, 10).until(13EC.presence_of_element_located((By.ID, "myDynamicElement"))14)15finally:16driver.quit()
如果不写参数,程序默认会 0.5s 调用一次来查看元素是否已经生成,如果本来元素就是存在的,那么会立即返回。
下面是一些内置的等待条件,你可以直接调用这些条件,而不用自己写某些等待条件了。
1title_is2title_contains3presence_of_element_located4visibility_of_element_located5visibility_of6presence_of_all_elements_located7text_to_be_present_in_element8text_to_be_present_in_element_value9frame_to_be_available_and_switch_to_it10invisibility_of_element_located11element_to_be_clickable – it is Displayed and Enabled.12staleness_of13element_to_be_selected14element_located_to_be_selected15element_selection_state_to_be16element_located_selection_state_to_be17alert_is_present
隐式等待
隐式等待比较简单,就是简单地设置一个等待时间,单位为秒。
1from selenium import webdriver23driver = webdriver.Chrome()4driver.implicitly_wait(10) # seconds5driver.get("http://www.xxxxx.com/loading")6myDynamicElement = driver.find_element_by_id("myDynamicElement")
当然如果不设置,默认等待时间为0。
Selenium与PhantomJS【转】的更多相关文章
- selenium+BeautifulSoup+phantomjs爬取新浪新闻
一 下载phantomjs,把phantomjs.exe的文件路径加到环境变量中,也可以phantomjs.exe拷贝到一个已存在的环境变量路径中,比如我用的anaconda,我把phantomjs. ...
- Selenium+Chrome/phantomJS模拟浏览器爬取淘宝商品信息
#使用selenium+Carome/phantomJS模拟浏览器爬取淘宝商品信息 # 思路: # 第一步:利用selenium驱动浏览器,搜索商品信息,得到商品列表 # 第二步:分析商品页数,驱动浏 ...
- 爬虫工具——Selenium和PhantomJS
Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同是Selenium 可以直接运行在浏览器上,它支持所有主流的浏 ...
- 【转载】selenium with PhantomJs wait till page fully loaded?
I use Selenium with Phantomjs, and want to get the page content after the page fully loaded. I tried ...
- 爬虫之动态HTML处理(Selenium与PhantomJS )
Selenium Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同是Selenium 可以直接运行在浏览器上, ...
- 爬虫 (4)- Selenium与PhantomJS(chromedriver)与爬取案例
Selenium文档 Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同是Selenium 可以直接运行在浏览器 ...
- 爬虫——Selenium与PhantomJS
Selenium Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同的是Selenium可以直接运行在浏览器上, ...
- 使用selenium和phantomJS浏览器登陆豆瓣的小演示
# 使用selenium和phantomJS浏览器登陆豆瓣的小演示 # 导入库 from selenium import webdriver # 实例化一个浏览器对象 web = webdriver. ...
- 爬虫之图片懒加载技术、selenium和PhantomJS
爬虫之图片懒加载技术.selenium和PhantomJS 图片懒加载 selenium phantomJs 谷歌无头浏览器 一.图片懒加载 什么是图片懒加载? 案例分析:抓取站长素材http:/ ...
随机推荐
- ElasticSearch java API-使用More like this实现基于内容的推荐
ElasticSearch java API-使用More like this实现基于内容的推荐 基于内容的推荐通常是给定一篇文档信息,然后给用户推荐与该文档相识的文档.Lucene的api中有实现查 ...
- iOS 收藏的笔记
目录 UI 资料类 网络篇 图表 动画 菜单栏 数据存储和数据库 第三方库 社交分享 刷新 视频音频 其他 阅读 JS 导航 系统 支付 书籍 工具类 完整项目收集 DEMO UI http://ww ...
- Android入门:Activity生命周期
一.Activity生命周期介绍 我们在学Java Web时会学到Servlet的生命周期,因此对生命周期的概念已经有一定了解,简单地说就是某个事物从出生到死亡的过程. Activity也存在声明周期 ...
- Apache activiti5.13工作流框架的表结构详解
1.结构设计 1.1. 逻辑结构设计 Activiti使用到的表都是ACT_开头的. ACT_RE_*: ’RE’表示repository(存储),RepositoryService接口所操作的 ...
- Life here can be a dream come true!
Life here can be a dream come true!美梦迟早会成真的!
- VC使用编译时间作为版本号
常用方法分两步:1. 得到编译时间:2. 设置基准时间,以编译时间距基准时间的总天数的2倍作为版本号,适当情况还可加上初值: 其中第一步实现有两种方法: 1. 直接使用系统宏:CString OcxT ...
- MyBatis源码探索
每个基于 MyBatis 的应用都是以一个 SqlSessionFactory 的实例为中心的.SqlSessionFactory 的实例可以通过 SqlSessionFactoryBuilder 获 ...
- 中标麒麟高级服务器操作系统V6
平台: linux 类型: 虚拟机镜像 软件包: java-1.6.0 mysql-5.1.5 python-2.6 qt3-3.3.8b basic software linux neokylin ...
- springMvc-对servletApi的支持以及把后台对象以json方式传到前台
1.对servletApi的支持:request.response以及session.cookie的支持 2.把后台代码以json格式向前台输出: 代码: package com.java.contr ...
- eclipse Indigo搭建SSH框架详解
SSH框架是最常用的框架之一,在搭建SSH框架的时候总有人遇到这样,那样的问题.下面我介绍一下SSH框架搭建的全过程. 第一步:准备工作. 下载好eclipse,Struts2,Spring,Hi ...