python + selenium 学习笔记 -摘要

一、浏览器操作相关

from selenium import webdriver

driver = webdriver.Chrome()

driver.maximize_window()   # 窗口最大化

driver.set_window_size(400,800)  # 设置窗口大小

driver.back()   # 回退一层

driver.forward()  # 前进一层

driver.quit()  # 退出浏览器

driver.close()  # 关闭浏览器

二、元素定位

# 根据id定位

driver.find_element_by_id("kw").send_keys("hello")

# 根据name属性定位

driver.find_element_by_name("kw").send_keys("hello")

# 根据class定位

driver.find_element_by_class_name("kw").send_keys("hello")

# 根据链接文本内容定位，完全匹配

driver.find_element_by_link_text("kw").send_keys("hello")

# 根据链接文本内容定位，模糊匹配

driver.find_element_by_partial_link_text("kw").send_keys("hello")

# 根据标签名定位

driver.find_element_by_tag_name("kw").send_keys("hello")

# 根据xpath定位

driver.find_element_by_xpath("kw").send_keys("hello")

# 根据css定位

driver.find_element_by_css_selector("kw").send_keys("hello")

三、xpath 、 css适用定位

　3.1、xpath定位

# 1.层级和属性结合定位

driver.find_element_by_xpath("//form[@id='login']/ul/input[1]")

# 2.逻辑运算组合定位

driver.find_element_by_xpath("//input[@class='login' and @name='username']")

# 3.根据部分元素属性定位（模糊定位）

driver.find_element_by_xpath("//div[contains(@id, 'btn-attention')]")  # 包含指定内容即可

driver.find_element_by_xpath("//div[starts-with(@id, 'btn-attention')]")  # id以btn-attention

driver.find_element_by_xpath("//div[ends-with(@id, 'btn-attention')]")  # id以btn-attention')结尾

# 4. 通过子节点获取父节点

driver.find_element_by_xpath("//div[@id='C']/..).text  # .表示当前节点 ， ..表示父节点

　3.2、css常用定位

　　selenium 极力推荐使用css定位，而不是xpath来定位元素，原因是css定位比xpath定位速度快，语法也更加简洁

# css常用定位方法

# 1.css定位

find_element_by_css_selector()

# 2.根据id定位

#：id选择器，根据id属性来定位元素

# eg：driver.find_element_by_css_selector("#kw").send_keys("hello")

# 3.根据class定位

.：class选择器，根据class属性来定位元素

# eg：driver.find_element_by_css_selector(".login").send_keys("hello")

# 4.根据属性来定位

[attrbute='value']：根据属性来定位元素

# eg：driver.find_element_by_css_selector("[autocomplete='off']").send_keys("hello")

# 5.根据元素层级来定位

element>element：根据元素层级来定位 父元素>子元素

#eg：driver.find_element_by_css_selector("form#login>ul>input").send_keys("hello")  # login是form标签里面的id属性

# 6.多class属性定位(多个class之间直接用'.'符号连接)

#eg：driver.find_element_by_css_selector(".register.login").send_keys("hello") 

# 7.兄弟元素定位

+：定位当前节点之后的第一个兄弟节点

~：定位当前节点后面的所有兄弟节点，使用element定位默认取第一个，使用elements定位取到一组兄弟节点

#eg：

driver.find_element_by_css_selector('div#D + div').text

driver.find_element_by_css_selector('div#D ~ div').text

四、下拉菜单列表选项定位

1、使用上述xpath、css等方法可以实现

2、使用Select实现

　导入：from selenium.webdriver.support.ui import Select

from selenium.webdriver.support.ui import Select

select = Select(driver.find_element_by_css_selector("[name='selectinput']"))  # 定位到下拉菜单组件

select.select_by_index(2)  # 定位到index 第二个option元素

select.deselect_by_value(1)  # 定位到属性value=1的option元素

select.select_by_visible_text("保留七天")  # 根据内容直接定位指定option元素

select.all_selected_options  # 所有option元素

五、鼠标操作

需要引入ActionChains类
然后定位相关元素
在ActionChains().调用相关鼠标操作方法

from selenium import webdriver

from selenium.webdriver.common.action_chains import ActionChains

driver.find_element_by_css_selector("#kw").send_keys("Python")

# 获取搜索框元素对象

element=driver.find_element_by_css_selector("#kw")

#双击操作

ActionChains(driver).double_click(element).perform()

#右击操作

ActionChains(driver).context_click(element).perform()

#鼠标悬停

above=driver.find_element_by_css_selector(".pf")

ActionChains(driver).move_to_element(above).perform()

#ActionChains操作方法列表

click(on_element=None) ——单击鼠标左键

click_and_hold(on_element=None) ——点击鼠标左键，不松开

context_click(on_element=None) ——点击鼠标右键

double_click(on_element=None) ——双击鼠标左键

drag_and_drop(source, target) ——拖拽到某个元素然后松开

drag_and_drop_by_offset(source, xoffset, yoffset) ——拖拽到某个坐标然后松开

key_down(value, element=None) ——按下某个键盘上的键

key_up(value, element=None) ——松开某个键

move_by_offset(xoffset, yoffset) ——鼠标从当前位置移动到某个坐标

move_to_element(to_element) ——鼠标移动到某个元素

move_to_element_with_offset(to_element, xoffset, yoffset) ——移动到距某个元素（左上角坐标）多少距离的位置

perform() ——执行链中的所有动作

release(on_element=None) ——在某个元素位置松开鼠标左键

send_keys(*keys_to_send) ——发送某个键到当前焦点的元素

send_keys_to_element(element, *keys_to_send) ——发送某个键到指定元素

六、键盘操作

from selenium import webdriver

from selenium.webdriver.common.keys import Keys

#键盘全选操作 Ctrl+A

driver.find_element_by_css_selector("#kw").send_keys(Keys.CONTROL,'a')

#键盘选择复制或剪切操作 Ctrl+C

driver.find_element_by_css_selector("#kw").send_keys(Keys.CONTROL,'c')  # 复制

driver.find_element_by_css_selector("#kw").send_keys(Keys.CONTROL,'x')  # 剪切

#粘贴复制内容

driver.find_element_by_css_selector(".sec-input").send_keys(Keys.CONTROL,'v')

常用：

# 组合键操作

send_keys(Keys.CONTROL,'a') 　　#全选（Ctrl+A）

send_keys(Keys.CONTROL,'c') 　　#复制（Ctrl+C）

send_keys(Keys.CONTROL,'x') 　　#剪切（Ctrl+X）

send_keys(Keys.CONTROL,'v') 　　#粘贴（Ctrl+V）

# 非组合键操作

Keys.ENTER  # 回车键

Keys.BACK_SPACE  # 删除键

Keys.SPACE  # 空格键

Keys.TAB  # 制表键

Keys.ESCAPE   # 回退键

Keys.F5  # 刷新键

七、元素等待

显示等待
隐式等待

有时候我们打开网页定位到某个元素，判断该元素是否存在，而网页打开花费的时间我们并不确定，通过元素等待操作可以让我们忽略这些问题。

WebDriverWait 显示等待针对元素必用
expected_conditions 预期条件类（里面包含方法可以调用，用于显示等待）
NoSuchElementException 用于隐式等待抛出异常
implicitly_wait 隐式等待
By 用于元素定位

from selenium.webdriver.common.by import By

from selenium.webdriver.support.ui import WebDriverWait            #注意字母大写

from selenium.webdriver.support import expected_conditions as EC

from selenium.common.exceptions import NoSuchElementException

显示等待：

# 案例：检测百度页面搜索按钮是否存在，输入关键词“自学网 Selenium” ，如果存在则点击搜索

from selenium import webdriver

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

from selenium.webdriver.common.by import By

from time import sleep

driver=webdriver.Firefox()

driver.get("http://www.baidu.com")

driver.find_element_by_css_selector("#kw").send_keys("自学网 Selenium")

sleep(2)

#显示等待--判断搜索按钮是否存在

element=WebDriverWait(driver,5,0.5).until(EC.presence_of_element_located((By.ID,"su")))    # timeout：5秒，每0.5秒检测一次

element.click()

sleep(3)

driver.quit()

隐式智能等待：

from selenium import webdriver

from selenium.common.exceptions import NoSuchElementException

from time import sleep,ctime

driver=webdriver.Firefox()

driver.get("http://www.baidu.com")

sleep(2)

driver.implicitly_wait(5) #隐式等待时间设定 5秒，等待时间内检测成功则不再等待，比sleep实用

#检测搜索框是否存在

try:

    print(ctime())

    driver.find_element_by_css_selector("#kw").send_keys("Python")

    driver. find_element_by_css_selector("#su").click

except NoSuchElementException as msg:

    print(msg)

finally:

    print(ctime())

sleep(3)

driver.quit()

八、frame嵌套页面元素定位

　多层框架或窗口的定位：

switch_to_frame() # frame定位
switch_to_window() # window窗口定位

1、多层框架（frame）

1）.定位frame的多种方式

from selenium import webdriver

driver = webdriver.Firefox()

driver.switch_to.frame(0)  # 1.用frame的index来定位，第一个是0

# driver.switch_to.frame("frame1")  # 2.用id来定位

# driver.switch_to.frame("myframe")  # 3.用name来定位

# driver.switch_to.frame(driver.find_element_by_tag_name("iframe"))  # 4.用WebElement对象来定位

通常使用id或name就可以解决大多数frame定位问题，但当没有id 、name时，就要使用index、WebElement来定位了，，如下：

<iframe src="myframetest.html" />

使用xpath定位，传入WebElement对象：

driver.switch_to.frame(driver.find_element_by_xpath("//iframe[contains(@src,'myframe')]"))

2）、从frame切回主文档：

　切到frame中之后，我们便不能继续操作主文档的元素，这时如果想操作主文档内容，则需切回主文档

driver.switch_to.default_content()

3）、嵌套frame的操作

　需要一层一层往下定位，不能跳着定位

driver.switch_to.frame("frame1")  # 先切到frame1（上级frame）

driver.switch_to.frame("frame2")  # 再切到frame2

4）、从子级frame切换到父级frame方法：

driver.switch_to.parent_frame()  # 相当于后退一层。如果当前已是主文档，则无效果

有了parent_frame()这个相当于后退的方法，我们可以随意切换不同的frame，随意的跳来跳去了。所以只要善用以下三个方法，遇到frame分分钟搞定

driver.switch_to.frame(reference)

driver.switch_to.parent_frame()

driver.switch_to.default_content()

demo：

# 案例：在Frame.html文件种定位搜狗搜索页面，进行搜索操作

from selenium import webdriver

from time import sleep

driver=webdriver.Firefox()

#设置网页文件路径，r代表路径转义

file_path=r'E:\Python_script\Webdriver\Frame.html'

#路径转义另一种写法

# file_path='E:\\Python_script\\Webdriver\\Frame.html'

driver.get(file_path)

#切换到frame页面内

driver.switch_to.frame("search")

#定位到搜索框按钮输入关键词

driver.find_element_by_css_selector("#query").send_keys("Python")

sleep(3)

driver.find_element_by_css_selector("#stb").click()

sleep(3)

driver.quit()

2、多窗口操作

　有些页面的链接打开后，会重新打开一个窗口，对于这种情况，想在新页面上操作，就得先切换窗口了。获取窗口的唯一标识用句柄表示，所以只需要切换句柄，我们就能在多个页面上灵活自如的操作了

driver.current_window_handle  # 获取当前句柄

driver.window_handles   # 获取所有句柄

driver.switch_to.window()  # 切换句柄 ,一个参数：窗口句柄

多窗口切换的两种方式：　

方法一：

1.循环判断是否与首页句柄相等

2.如果不等，说明是新页面的句柄

3.获取的新页面句柄后，可以切换到新打开的页面上

4.打印新页面的title,看是否切换成功

方法二：

1.直接获取all_h这个list数据里面第二个hand的值

# 方法一：判断句柄，不等于首页就切换

for i in all_h:      # all_h：所有窗口句柄

    if i != h:

        driver.switch_to.window(i)

        print driver.title

# 方法二：获取list里面第二个直接切换

driver.switch_to.window(all_h[1])

九、警告弹窗处理

在Webdriver中处理JavaScript生成的alert、confirm、prompt，使用switch_to_alert()方法定位到alert、confirm、prompt，然后进行如下操作：

text：返回alert/confirm/prompt中的文字信息
accept()：接受现有警告框
dismiss()：解散现有警告框
sendkeys(keysToSend)：发送文本至警告框，如果没有对话框输入，不能用，否则会报错

demo：

　点击百度首页设置按钮，然后进入搜索设置页面，点击“保存设置”或“恢复默认”按钮，处理警告弹窗窗口

from selenium import webdriver

from time import sleep

from selenium.webdriver.common.action_chains import ActionChains

driver=webdriver.Firefox()

driver.implicitly_wait(10)

driver.get("http://www.baidu.com")

# driver.find_element_by_link_text('设置').click()

# 鼠标悬停字“设置”链接

link = driver.find_element_by_link_text('设置')

ActionChains(driver).move_to_element(link).perform()

# 打开搜索设置

driver.find_element_by_link_text('搜索设置').click()

# 保存设置

driver.find_element_by_link_text('保存设置').click()

# driver.find_element_by_link_text('恢复默认').click()

# 打印警告框的文字信息

print(driver.switch_to_alert().text)

# 接受警告框

driver.switch_to_alert().accept()

driver.quit()

十、文件上传操作

1、文件上传

　文件上传中，上传按钮的种类，大体上可以分为两种，一种是input框，另外一种就比较复杂，通过js、flash等实现，标签非input

　1）input类型的上传按钮-上传文件

from selenium import webdriver

driver = webdriver.Firefox()

driver.get('http://sahitest.com/demo/php/fileUpload.htm')

upload = driver.find_element_by_id('file')

upload.send_keys(r'd:\baidu.py')  # 直接send_keys

print upload.get_attribute('value')  # check value

driver.quit()

　2）非input类型的上传操作

　　大体上有以下几种解决方案：

autoIT，借助外力，我们去调用其生成的au3或exe文件。
Python pywin32库，识别对话框句柄，进而操作
SendKeys库
keybd_event，跟3类似，不过是模拟按键，ctrl+a，ctrl+c， ctrl+v...

　本次只介绍第三种SendKeys方式

# 需安装：pip install SendKeys

from selenium import webdriver

import win32gui

import win32con

import time

dr = webdriver.Firefox()

dr.get('http://sahitest.com/demo/php/fileUpload.htm')

upload = dr.find_element_by_id('file')

upload.click()

time.sleep(1)

# SendKeys

SendKeys.SendKeys('D:\\baidu.py')  # 发送文件地址

SendKeys.SendKeys("{ENTER}") # 发送回车键

print upload.get_attribute('value')

dr.quit()

注：多文件上传就是在文件路径框里用引号括起单个路径，然后用逗号隔开多个路径，就是这么简单，例如：

"D:\\a.txt","D:\\b.txt"

十一、浏览器滚动条操作

from  selenium import webdriver

from time import sleep

driver=webdriver.Chrome()

driver.get("http://www.baidu.com/")

sleep(2)

#将滚动调拖到最底部

js="var action=document.documentElement.scrollTop=10000"

driver.execute_script(js)

sleep(2)

#将滚动条拖到最顶部

js="var action=document.documentElement.scrollTop=0"

driver.execute_script(js)

sleep(3)

# 鼠标下拉操作

target = driver.find_element_by_id("id_keypair")  #找到目标元素

driver.execute_script("arguments[0].scrollIntoView();", target) #拖动到可见的元素（页面转到指定目标元素位置）

# 鼠标下拉当前页面显示高度(数值)

browser.execute_script("window.scrollTo(0, document.body.scrollHeight); var lenOfPage=document.body.scrollHeight; return lenOfPage;")

十二、chromedriver不加载图片、phantomjs获取动态网页

1、Chromedriver不加载图片设置

# Chromedriver不加载图片

设置chromedriver不加载图片

chrome_opt = webdriver.ChromeOptions() # 实例化

prefs = {"profile.managed_default_content_settings.images":2}  # 设置不加载图片参数

chrome_opt.add_experimental_option("prefs", prefs)  # 添加进配置中

browser = webdriver.Chrome(executable_path="D:/Temp/chromedriver.exe",chrome_options = chrome_opt)  # 不加载图片使用

2、phantomjs获取动态页面

　需要下载phantomjs.exe，类似于Chromedriver之类

#phantomjs, 无界面的浏览器， 多进程情况下phantomjs性能会下降很严重

browser = webdriver.PhantomJS(executable_path="C:/phantomjs-2.1.1-windows/bin/phantomjs.exe")

browser.get("https://detail.tmall.com/item.htm?spm=a230r.1.14.3.yYBVG6&id=538286972599&cm_id=140105335569ed55e27b&abbucket=15&sku_properties=10004:709990523;5919063:6536025")

t_selector = Selector(text=browser.page_source)

print (t_selector.css(".tm-price::text").extract())

print (browser.page_source)

# browser.quit()

十三、网页自动截图

# 案例：分别打开我要自学网页面和百度页面，然后进行截图

from selenium import webdriver

from time import sleep

#加载浏览器驱动

driver=webdriver.Firefox()

#打开hao123页面并截图

driver.get("http://www.hao123.com")

driver.get_screenshot_as_file(r"E:\Python_script\51zxw.jpg")

#打开百度页面并截图

driver.get("http://www.baidu.com")

driver.get_screenshot_as_file(r"E:\Python_script\baidu.png")

sleep(2)

driver.quit()

十四、Cookie处理

from  selenium import webdriver

driver=webdriver.Chrome()

driver.get("http://www.baidu.com/")

#获取cookie全部内容

cookie=driver.get_cookies()

#打印全部cookile信息

print(cookie)

#打印cookie第一组信息

print(cookie[0])

#添加数据到网页cookie

driver.add_cookie({'name':'51zxw','value':'www.baidu.com'})

for cookie in driver.get_cookies():

    print("%s --- %s" %(cookie['name'],cookie['value']))

driver.quit()

demo：

# 案例：使用Cookie绕过百度验证码自动登录账户

from selenium import webdriver

from time import sleep

driver=webdriver.Firefox()

driver.get("http://www.baidu.com/")

#手动添加cookie

driver.add_cookie({'name':'BAIDUID','value':'9E4BF1D44014…(根据实际获取值填写)'})

driver.add_cookie({'name':'BDUSS','value':'根据实际抓包获取值填写'})

sleep(2)

driver.refresh()

sleep(3)

driver.quit()

十五、知识点补充-By方式定位

导入：from selenium.webdriver.common.by import By

find_element(By.ID,"loginName")
find_element(By.NAME,"SubjectName")
find_element(By.CLASS_NAME,"u-btn-levred")
find_element(By.TAG_NAME,"input")
find_element(By.LINK_TEXT,"退出")
find_element(By.PARTIAL_LINK_TEXT,"退")
find_element(By.XPATH,".//*[@id='Title")
find_element(By.CSS_SELECTOR,"[type=submit]")

十六、设置ip代理

from selenium import webdriver

options = webdriver.ChromeOptions()

options.add_argument("--proxy-server=http://192.168.11.11:80")  # 设置ip代理

driver = webdriver.Chrome(executable_path = driver_path)

driver.get(url)