爬虫之selenium模块;无头浏览器的使用

一，案例

爬取站长素材中的图片：http://sc.chinaz.com/tupian/gudianmeinvtupian.html

import requests

from lxml import etree

import os

url = "http://sc.chinaz.com/tupian/gudianmeinvtupian.html"

headers = {

    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36"

}

if not os.path.exists("zz_img"):

    os.mkdir("zz_img")

def get_img(url):

    img_content = requests.get(url=url, headers=headers).content

    return img_content

page_text = requests.get(url=url, headers=headers).text

tree = etree.HTML(page_text)

img_url_list = tree.xpath("//*[@id='container']/div/div/a/img/@src2")  # 注意图片懒加载 src为src2

# print(img_url_list)

for img_url in img_url_list:

    img_content = get_img(img_url)

    img_name = img_url.split("/")[-1]

    with open("zz_img/"+ img_name, "wb") as f:

        f.write(img_content)

        print(img_name + "下载完成")

二着的差别就是在于获取图片的src时，使用的属性名称；

这就是Web中常用的 动态数据加载处理技术之图片懒加载技术；

图片懒加载概念：
- 图片懒加载是一种网页优化技术。图片作为一种网络资源，在被请求时也与普通静态资源一样，将占用网络资源，而一次性将整个页面的所有图片加载完，将大大增加页面的首屏加载时间。为了解决这种问题，通过前后端配合，使图片仅在浏览器当前视窗内出现时才加载该图片，达到减少首屏图片请求数的技术就被称为“图片懒加载”。
网站一般如何实现图片懒加载技术呢？
- 在网页源码中，在img标签中首先会使用一个“伪属性”（通常使用src2，original......）去存放真正的图片链接而并非是直接存放在src属性中。当图片出现到页面的可视化区域中，会动态将伪属性替换成src属性，完成图片的加载。
站长素材案例后续分析：通过细致观察页面的结构后发现，网页中图片的链接是存储在了src2这个伪属性中

二，selenium介绍

selenium是Python的一个第三方库，对外提供的接口可以操作浏览器，然后让浏览器完成自动化的操作。selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题。

selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器

from selenium import webdriver

browser=webdriver.Chrome()

browser=webdriver.Firefox()

browser=webdriver.PhantomJS()

browser=webdriver.Safari()

browser=webdriver.Edge()

官网：http://selenium-python.readthedocs.io

三，安装

pip install selenium

1，操作有界面的浏览器

首先获取某一款浏览器的驱动程序

谷歌浏览器驱动下载地址：http://chromedriver.storage.googleapis.com/index.html
下载的驱动程序必须和浏览器的版本统一，大家可以根据http://blog.csdn.net/huilan_same/article/details/51896672中提供的版本映射表进行对应

#安装：selenium+chromedriver

pip3 install selenium

下载chromdriver.exe放到python安装路径的scripts目录中即可，注意最新版本是2.38，并非2.9

国内镜像网站地址：http://npm.taobao.org/mirrors/chromedriver/2.38/

最新的版本去官网找:https://sites.google.com/a/chromium.org/chromedriver/downloads

#验证安装

C:\Users\Administrator>python3

Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32

Type "help", "copyright", "credits" or "license" for more information.

>>> from selenium import webdriver

>>> driver=webdriver.Chrome() #弹出浏览器

>>> driver.get('https://www.baidu.com')

>>> driver.page_source

#注意：

selenium3默认支持的webdriver是Firfox，而Firefox需要安装geckodriver

下载链接：https://github.com/mozilla/geckodriver/releases

selenium+chromedriver

代码演示：

#导包

from selenium import webdriver

#创建浏览器对象，通过该对象可以操作浏览器

browser = webdriver.Chrome('驱动路径')

#使用浏览器发起指定请求

browser.get(url)

#使用下面的方法，查找指定的元素进行操作即可

    find_element_by_id            根据id找节点

    find_elements_by_name         根据name找

    find_elements_by_xpath        根据xpath查找

    find_elements_by_tag_name     根据标签名找

    find_elements_by_class_name   根据class名字查找

from selenium import webdriver

import time

#  实例化一个浏览器对象

b = webdriver.Chrome(r"D:\python视频\Crawler\资料\谷歌驱动程序\chromedriver.exe")

url = "https://www.baidu.com"

#  根据指定url，发起一个请求

b.get(url=url)

time.sleep(3)  # 睡三秒，等待浏览器响应

#  根据指定的接口定位到指定的控件

inp_tag = b.find_element_by_id("kw")  # 找到id为"kw"的标签

inp_tag.send_keys("美女")  # 给该input标签输入内容 "美女"

button_tag = b.find_element_by_id("su")  # 找到id为"su"的标签

button_tag.click()  # 点击该标签

time.sleep(5)

b.quit()  # 5秒后关闭浏览器

#  b.close() # 切记关闭浏览器，回收资源, 加上这句话报错?????

更多操作：

from selenium import webdriver
from time import sleep

# 后面是你的浏览器驱动位置，记得前面加r'','r'是防止字符转义的
driver = webdriver.Chrome(r'驱动程序路径')
# 用get打开百度页面
driver.get("http://www.baidu.com")
# 查找页面的“设置”选项，并进行点击
driver.find_elements_by_link_text('设置')[0].click()
sleep(2)
# # 打开设置后找到“搜索设置”选项，设置为每页显示50条
driver.find_elements_by_link_text('搜索设置')[0].click()
sleep(2)

# 选中每页显示50条
m = driver.find_element_by_id('nr')
sleep(2)
m.find_element_by_xpath('//*[@id="nr"]/option[3]').click()
m.find_element_by_xpath('.//option[3]').click()
sleep(2)

# 点击保存设置
driver.find_elements_by_class_name("prefpanelgo")[0].click()
sleep(2)

# 处理弹出的警告页面确定accept() 和取消dismiss()
driver.switch_to_alert().accept()
sleep(2)
# 找到百度的输入框，并输入美女
driver.find_element_by_id('kw').send_keys('美女')
sleep(2)
# 点击搜索按钮
driver.find_element_by_id('su').click()
sleep(2)
# 在打开的页面中找到“Selenium - 开源中国社区”，并打开这个页面
driver.find_elements_by_link_text('美女_百度图片')[0].click()
sleep(3)

# 关闭浏览器
driver.quit()

更多操作

2，操作无界面的浏览器

PhantomJS是一款无界面的浏览器，其自动化操作流程和上述操作谷歌浏览器是一致的。由于是无界面的，为了能够展示自动化操作流程，PhantomJS为用户提供了一个截屏的功能，使用save_screenshot函数实现。

#安装：selenium+phantomjs

pip3 install selenium

下载phantomjs，解压后把phantomjs.exe所在的bin目录放到环境变量

下载链接：http://phantomjs.org/download.html

#验证安装

C:\Users\Administrator>phantomjs

phantomjs> console.log('egon gaga')

egon gaga

undefined

phantomjs> ^C

C:\Users\Administrator>python3

Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32

Type "help", "copyright", "credits" or "license" for more information.

>>> from selenium import webdriver

>>> driver=webdriver.PhantomJS() #无界面浏览器

>>> driver.get('https://www.baidu.com')

>>> driver.page_source

代码演示：

from selenium import webdriver

import time

#  实例化一个浏览器对象

b = webdriver.PhantomJS(r"D:\python视频\Crawler\资料\phantomjs-2.1.1-windows\bin\phantomjs.exe")

url = "https://www.baidu.com"

#  根据指定url，发起一个请求

b.get(url=url)

time.sleep(3)  # 睡三秒，等待浏览器响应

b.save_screenshot("1.png")  # 打开百度之后，截张图供我们看

inp_tag = b.find_element_by_id("kw")

inp_tag.send_keys("嘿咻")

b.save_screenshot("2.png")

button_tag = b.find_element_by_id("su")

button_tag.click()

time.sleep(5)

b.save_screenshot("3.png")

b.quit()

在 PhantomJS 年久失修, 后继无人的节骨眼
Chrome 出来救场, 再次成为了反爬虫 Team 的噩梦

自Google 发布 chrome 59 / 60 正式版开始便支持Headless mode

这意味着在无 GUI 环境下, PhantomJS 不再是唯一选择

谷歌无头浏览器:

#selenium:3.12.0
#webdriver:2.38
#chrome.exe: 65.0.3325.181（正式版本）（32 位）

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('window-size=1920x3000') #指定浏览器分辨率
chrome_options.add_argument('--disable-gpu') #谷歌文档提到需要加上这个属性来规避bug
chrome_options.add_argument('--hide-scrollbars') #隐藏滚动条, 应对一些特殊页面
chrome_options.add_argument('blink-settings=imagesEnabled=false') #不加载图片, 提升速度
chrome_options.add_argument('--headless') #浏览器不提供可视化页面. linux下如果系统不支持可视化不加这条会启动失败
chrome_options.binary_location = r"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" #手动指定使用的浏览器位置

driver=webdriver.Chrome(chrome_options=chrome_options)
driver.get('https://www.baidu.com')

print('hao123' in driver.page_source)

driver.close() #切记关闭浏览器，回收资源

selenium+谷歌浏览器headless模式

四，利用selenium爬取懒加载页面数据

需求: 尽可能多的爬取豆瓣网中的电影信息

from selenium import webdriver

from lxml import etree

import time

import json

#  实例化一个浏览器对象

b = webdriver.PhantomJS(executable_path=r"D:\python视频\Crawler\资料\phantomjs-2.1.1-windows\bin\phantomjs.exe")

url = "https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90&action="

b.get(url=url)

time.sleep(2)

#让浏览器执行js代码

for i in range(5):

    js = "window.scrollTo(0,document.body.scrollHeight)"  # 讲浏览器滚轮滚到最低端

    b.execute_script(js)

    time.sleep(1)

#  page_source可以获取浏览器当前的页面源码

page_text = b.page_source

b.save_screenshot("666.png")

tree = etree.HTML(page_text)

div_list = tree.xpath("//*[@id='content']/div/div[1]/div[6]/div")  # 列表

move_content = []

for div in div_list:

    move_id = div.xpath("./div/div/div[1]/span[@class='rank-num']/text()")[0]

    move_name = div.xpath("./div/div/div[1]/span[1]/a/text()")[0]

    movie_crew_tag = div.xpath("./div/div/div[@class='movie-crew']/text()")

    if movie_crew_tag:

        movie_crew = movie_crew_tag[0]

    else:

        movie_crew = ""

    movie_misc = div.xpath("./div/div/div[@class='movie-misc']/text()")[0]

    movie_rating = div.xpath("./div/div/div[@class='movie-rating']//text()")[0]

    move_info = {

        "move_id": move_id,

        "move_name": move_name,

        "movie_crew": movie_crew,

        "movie_misc": movie_misc,

        "movie_rating": movie_rating

    }

    move_content.append(move_info)

    print(move_name + "下载完毕")

f = open("move.html", "w", encoding="utf-8")

json.dump(move_content,f, ensure_ascii=False)

f.close()