爬虫—Selenium使用

Selenium使用

　　Selenium是一个自动化测试工具，可以驱动浏览器器执行特定的动作，如点击，下拉等。同时还可以获取浏览器当前呈现页面的源代码，可见即可爬。

1.准备

　　我们使用谷歌Chrome浏览器为例子，在开始之前需要安装Chrome浏览器并配置ChromeDriver。而且还需要安装Python的Selenium库。

2.基本使用

from selenium import webdriver

from selenium.webdriver.common.by import By

from selenium.webdriver.common.keys import Keys

from selenium.webdriver.support import expected_conditions as EC

from selenium.webdriver.support.wait import WebDriverWait

# 声明浏览器对象，将chromedriver驱动放在chrome浏览器安装目录下，指定驱动的绝对路径

browser = webdriver.Chrome(executable_path=r'D:\Google\Chrome\Application\chromedriver')

try:

    browser.get('http://www.baidu.com')　　　　　　

    keyword = browser.find_element_by_id('kw')

    keyword.send_keys('Python')

    keyword.send_keys(Keys.ENTER)

    wait = WebDriverWait(browser, 10)

    wait.until(EC.presence_of_element_located((By.ID, 'content_left')))

    print(browser.current_url)

    print(browser.get_cookies())

    print(browser.page_source)

finally:

    browser.close()

　　运行结果：

https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=Python&rsv_pq=962442bf0007ea18&rsv_t=753aQptBMQwu82UDxwDFL9MEWvHNLNqjPznV4pNUSDP%2Bimq4HPgY91krrlM&rqlang=cn&rsv_enter=1&rsv_sug3=6&rsv_sug2=0&inputT=125&rsv_sug4=125

[{'domain': '.baidu.com', 'httpOnly': False, 'name': 'H_PS_PSSID', 'path': '/', 'secure': False, 'value': '1465_21104_29135_28518_29098_28831_28585_26350_29133'}, {'domain': '.baidu.com', 'httpOnly': False, 'name': 'delPer', 'path': '/', 'secure': False, 'value': ''}, {'domain': '.baidu.com', 'expiry': 3707115919.146628, 'httpOnly': False, 'name': 'BAIDUID', 'path': '/', 'secure': False, 'value': '3A3A4CD3F97428EF73BA5E8B09ECB3C3:FG=1'}, {'domain': '.baidu.com', 'expiry': 3707115919.14668, 'httpOnly': False, 'name': 'PSTM', 'path': '/', 'secure': False, 'value': ''}, {'domain': '.baidu.com', 'expiry': 3707115919.146663, 'httpOnly': False, 'name': 'BIDUPSID', 'path': '/', 'secure': False, 'value': '3A3A4CD3F97428EF73BA5E8B09ECB3C3'}, {'domain': 'www.baidu.com', 'httpOnly': False, 'name': 'BD_HOME', 'path': '/', 'secure': False, 'value': ''}, {'domain': '.baidu.com', 'expiry': 1559718674.348966, 'httpOnly': False, 'name': 'BDORZ', 'path': '/', 'secure': False, 'value': 'B490B5EBF6F3CD402E515D22BCDA1598'}, {'domain': 'www.baidu.com', 'expiry': 1560496273, 'httpOnly': False, 'name': 'BD_UPN', 'path': '/', 'secure': False, 'value': ''}, {'domain': 'www.baidu.com', 'httpOnly': False, 'name': 'BD_CK_SAM', 'path': '/', 'secure': False, 'value': ''}, {'domain': 'www.baidu.com', 'expiry': 1559634866, 'httpOnly': False, 'name': 'H_PS_645EC', 'path': '/', 'secure': False, 'value': '1058c7aSaGElrxQn6SZOATLVXWtCzFAGCMEiW5OevaJTsJ938%2BGyVo1%2B72k'}, {'domain': '.baidu.com', 'httpOnly': False, 'name': 'PSINO', 'path': '/', 'secure': False, 'value': ''}, {'domain': 'www.baidu.com', 'httpOnly': False, 'name': 'BDSVRTM', 'path': '/', 'secure': False, 'value': ''}]

<!DOCTYPE html><!--STATUS OK--><html xmlns="http://www.w3.org/1999/xhtml"><head><script charset="utf-8" async="" src="https://ss0.bdstatic.com/-0U0bnSm1A5BphGlnYG/tam-ogel/5d4e9b24-dcc5-483a-b6da-be1e9e621891.js"></script>

    <meta http-equiv="content-type" content="text/html;charset=utf-8" /><style data-for="result" id="css_result" type="text/css">body{color:#333;background:#fff;padding:6px 0 0;margin:0;position:relative;min-width:900px}body,th,td,.p1,.p2{font-family:arial}p,form,ol,ul,li,dl,dt,dd,h3{margin:0;padding:0;list-style:none}input{padding-top:0;padding-bottom:0;-moz-box-sizing:border-box;-webkit-box-sizing:border-box;box-sizing:border-box}table,img{border:0}td{font-size:9pt;line-height:18px}em{font-style:normal;color:#c00}a em{text-decoration:underline}cite{font-style:normal;......

　　运行代码后发现，会自动弹出一个Chrome浏览器，首先跳转到百度，然后输入Python，接着跳转到搜索结果。结果加载出来后，控制台会打印当前url，Cookies和网页源码。可以看到我们得到的都是浏览器中真实显示的内容。这样使用Selenium驱动浏览器加载网页可以直接获取到动态渲染的结果。

3.查找节点

　　Selenium可以驱动浏览器完成各种操作，比如点击模拟，表单填写。例如，我们如果想要在某一输入框内输入文本，首先需要找到这个输入框的位置，也就是在网页中的所在节点的位置。

　　♦单个节点

　　想要在百度搜索框中输入文本，首先观察它的源码。我们可以发它的name属性为wd，id为kw，还有一些其他属性。此时我们可以用多种方式来获取它。

# 单个节点

browser.get('http://www.baidu.com')

input1 = browser.find_element_by_id('kw')                   # 使用属性选择

input2 = browser.find_element_by_css_selector('#kw')        # 使用css选择

input3 = browser.find_element_by_xpath('//*[@id="kw"]')     # 使用xpath选择

print(input1)

print(input2)

print(input3)

browser.close()

　　　运行结果:

<selenium.webdriver.remote.webelement.WebElement (session="77121972a5b1ff253e30e6912a609acc", element="0.1322124037138812-1")>

<selenium.webdriver.remote.webelement.WebElement (session="77121972a5b1ff253e30e6912a609acc", element="0.1322124037138812-1")>

<selenium.webdriver.remote.webelement.WebElement (session="77121972a5b1ff253e30e6912a609acc", element="0.1322124037138812-1")>

　　可以看到三个方式返回的结果是完全一致的。当然还有其他很多方法可以使用。

　　♦多个节点

　　　　如果查找的目标只有一个，那么完全可以使用find_element()方法，如果有个多目标，find_element()方法只能查找到第一个，要想全部查找到，需要使用find_elements()方法。方法名后面多了一个s。

　　　　比如，想要查找淘宝网左侧导航栏上面的所有条目：

# 多个节点，淘宝导航栏条目为例

browser.get('https://www.taobao.com')

items = browser.find_elements_by_css_selector('.service-bd li')

print(items)

browser.close()

　　　　运行结果：

selenium.webdriver.remote.webelement.WebElement (session="d0d87044954d7497862d2f93b0480667", element="0.5258543885521916-1")>, <selenium.webdriver.remote.webelement.WebElement (session="d0d87044954d7497862d2f93b0480667", element="0.5258543885521916-2")>, <selenium.webdriver.remote.webelement.WebElement (session="d0d87044954d7497862d2f93b0480667", element="0.5258543885521916-3")>, <selenium.webdriver.remote.webelement.WebElement ......

　　　　这里可以看到，获取的内容为一个列表类型，列表中的每个元素都是WebElement类型。

4.节点操作

　　Selenium提供了一些方法来模拟浏览器的动作，输入文字使用send_key()方法，清空使用clear()方法，点击按钮方使用click()方法。

# 2.节点交互

import time

browser = webdriver.Chrome(executable_path=r'D:\Google\Chrome\Application\chromedriver')

browser.get('http://www.baidu.com')

input_word = browser.find_element_by_id('kw')

input_word.send_keys('apple')

time.sleep(2)

input_word.clear()

input_word.send_keys('cherry')

button = browser.find_element_by_id('su')

time.sleep(3)

button.click()

browser.close()

5.动作链操作　　　　

　　鼠标拖拽，键盘按键等等，这些动作是使用动作链操作来完成的。下面以菜鸟教程的网站为例：

# 5.动作链操作

from selenium import webdriver

from selenium.webdriver import ActionChains

import time

browser = webdriver.Chrome(executable_path=r'D:\Google\Chrome\Application\chromedriver')

url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'

browser.get(url)

browser.switch_to.frame('iframeResult')

s1 = browser.find_element_by_css_selector('#draggable')

s2 = browser.find_element_by_css_selector('#droppable')

actions = ActionChains(browser)

actions.drag_and_drop(s1, s2)

actions.perform()

time.sleep(2)

browser.close()

　　执行代码，会打开网站页面，然后自动拖动其中一个拖拽示例拖拽到目标位置。

6.操作JavaScript

　　Selenium中模拟操作JavaScript使用execute_script()方法来实现。访问网站，滑动到底部，最后弹出“OK”。　

# 6.模拟JavaScript操作

from selenium import webdriver

import time

browser = webdriver.Chrome(executable_path=r'D:\Google\Chrome\Application\chromedriver')

browser.get('https://www.zhihu.com/explore')

browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')

browser.execute_script('alert("OK")')

time.sleep(3)

browser.close()

7.获取节点信息

　　♦获取属性

　　使用get_attribute()方法来获取节点属性，先选中这个节点：　

# 7.1获取属性

browser = webdriver.Chrome(executable_path=r'D:\Google\Chrome\Application\chromedriver')

browser.get('https://www.zhihu.com/explore')

logo = browser.find_element_by_id('zh-top-link-logo')

print(logo)

print(logo.get_attribute('class'))

browser.close()

　　运行结果：

<selenium.webdriver.remote.webelement.WebElement (session="13c1e08b7569415b9027cdfec9703a0e", element="0.2490095895940252-1")>

zu-top-link-logo

　　♦获取文本

　　每个WebElement节点都有其text属性，直接调用这个属性就得到其内部的文本信息。获取百度首页新闻的文本内容。　　

# 7.2获取文本信息

browser = webdriver.Chrome(executable_path=r'D:\Google\Chrome\Application\chromedriver')

browser.get('http://www.baidu.com')

icons = browser.find_element_by_name('tj_trnews')

print(icons.text)

　　运行结果：

新闻

　　♦获取id，位置，标签名，大小

# 7.3获取id，位置，标签名，大小

browser = webdriver.Chrome(executable_path=r'D:\Google\Chrome\Application\chromedriver')

browser.get('http://www.baidu.com')

icons = browser.find_element_by_name('tj_trnews')

print(icons.id)

print(icons.location)

print(icons.tag_name)

print(icons.size)

　　运行结果：

0.4808968979713124-1

{'x': 557, 'y': 19}

a

{'height': 24, 'width': 26}

8.切换Frame

　　网页中有一种节点叫做iframe，也就是子Frame，相当于页面的子页面，它的结构和外部网页一致。Selenium默认是在父级Frame里面操作，如果页面中还有子Frame，不能直接获取到子页面的数据，需要使用switch_to.frame()切换Frame。

# 8.切换Frame

from selenium import webdriver

from selenium.common.exceptions import NoSuchElementException

browser = webdriver.Chrome(executable_path=r'D:\Google\Chrome\Application\chromedriver')

url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'

browser.get(url)

browser.switch_to.frame('iframeResult')　　

try:

    logo_first = browser.find_element_by_class_name('logo')

except NoSuchElementException:

    print("Failed")

browser.switch_to.parent_frame()  # 切换到父级Frame

logo = browser.find_element_by_class_name('logo')

print(logo)

print(logo.text)

　　运行结果：

Failed

<selenium.webdriver.remote.webelement.WebElement (session="497ccfe660416ed053ba4b08b5c7351f", element="0.03506166807633293-2")>

RUNOOB.COM

9.延时等待

　　在Selenium中，get（）方法会在网页加载结束后执行，此时获取page_source可能并不是浏览器完全加载的数据。如果有额外的Ajax请求，不一定能获取成功。所有需要延时等待一定时间，确保数据已经加载出来。

　　♦隐式等待

　　如果Selenium没有在DOM中找到节点，将继续等待，超出设定时间后就会抛出没有节点的异常。

# 9.延时等待

# 9.1隐式等待：没有找到继续等待，超时抛出异常

browser = webdriver.Chrome(executable_path=r'D:\Google\Chrome\Application\chromedriver')

browser.implicitly_wait(10)

browser.get('https://www.zhihu.com/explore')

que = browser.find_element_by_class_name('zu-top-add-question')

print(que)

　　♦显式等待

　　指定一个节点，设置最长等待时间。如果规定的时间内加载出来了，就返回要查找的节点；超出时间则抛出异常。　　

# 9.2显式等待

from selenium import webdriver

from selenium.webdriver.common.by import By

from selenium.webdriver.support import expected_conditions as EC

from selenium.webdriver.support.wait import WebDriverWait

browser = webdriver.Chrome(executable_path=r'D:\Google\Chrome\Application\chromedriver')

browser.get('https://www.taobao.com/')

wait = WebDriverWait(browser, 10)

su = wait.until(EC.presence_of_element_located((By.ID, 'q')))  # 等待条件，节点出现

button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))  # 等待条件，按钮可以点击

print(su, button)

　　运行结果：

<selenium.webdriver.remote.webelement.WebElement (session="69f58b354be01e63e367e29756e64f18", element="0.005030458042517338-1")> <selenium.webdriver.remote.webelement.WebElement (session="69f58b354be01e63e367e29756e64f18", element="0.005030458042517338-2")>

　　如果10秒内没有加载成功，就会抛出TimeoutException异常。

10.窗口管理

　　浏览器访问网页时会开启一个个窗口，我们也可以使用Selenium对多个窗口进行操作。

# 10.窗口管理

import time

from selenium import webdriver

browser = webdriver.Chrome(executable_path=r'D:\Google\Chrome\Application\chromedriver')

browser.get('http://www.baidu.com')

browser.execute_script('window.open()')

print(browser.window_handles)

browser.switch_to.window(browser.window_handles[1])

browser.get('https://www.taobao.com')

time.sleep(2)

browser.switch_to.window(browser.window_handles[0])

browser.get('https://www.zhihu.com/explore')

　　window.open（）开启新窗口，windo_handlers获取当前开启的所有窗口，返回的是窗口代号的列表。使用switch_to.window()切换窗口。

　　先访问百度，然后打开新窗口，再访问淘宝，最后切换回正在访问百度的第一个窗口，接着访问知乎。

11.异常处理

　　使用Selenium过程难免会出现异常，例如超时，节点为找到等。一旦出现异常，程序便不会运行了。使用try except语句来捕获异常：

# 11.异常处理

from selenium import webdriver

from selenium.common.exceptions import TimeoutException, NoSuchElementException

browser = webdriver.Chrome(executable_path=r'D:\Google\Chrome\Application\chromedriver')

browser.get('http://www.baidu.com')

try:

    browser.find_element_by_class_name('hello')

except TimeoutException:

    print('Time out')

try:

    browser.find_element_by_class_name('hello')

except NoSuchElementException:

    print('No Element')

finally:

    browser.close()