21.9 Python 使用Selenium库
Selenium是一个自动化测试框架,主要用于Web应用程序的自动化测试。它可以模拟用户在浏览器中的操作,如打开网页、点击链接、填写表单等,并且可以在代码中实现条件判断、异常处理等功能。Selenium最初是用于测试Web应用程序的,但也可以用于其他用途,如爬取网站数据、自动化提交表单等。Selenium支持多种编程语言,如Java、Python、C#等,同时也支持多种浏览器,如Chrome、Firefox、Safari等。
该工具在使用时需要安装两个模块,首先读者需要自行安装selenium
包,并且需下载与对应浏览器匹配的驱动程序。
- 安装PIP包:pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple
- 安装驱动程序:https://chromedriver.storage.googleapis.com/index.html
我们以Google
浏览器为例,此处本人的版本为112.0.5615.121(32 位)
根据该版本下载对应的驱动程序,并将驱动程序放入到Google
浏览器根目录下,如下图所示,此时的驱动就已经安装成功了;
21.9.1 模拟打开页面
当需要使用浏览器模拟时,首先我们要调用webdriver.Chrome(executable_path=WebPath)
函数并传入驱动程序路径,此时即可打开驱动程序与谷歌浏览器链接,接着就可以通过各类函数操控浏览器行为。
from selenium import webdriver
from selenium.webdriver.common.by import By
WebPath = "C:/Users/admin/AppData/Local/Google/Chrome/Application/chromedriver.exe"
if __name__ == "__main__":
driver = webdriver.Chrome(executable_path=WebPath)
# 设置窗口大小为1275*765
driver.set_window_size(1275, 765)
# 设置窗体为全屏
driver.maximize_window()
# 获得窗口大小
get_size = driver.get_window_size()
print("获取窗口大小: {}".format(get_size))
# 获取当前窗体句柄
handle = driver.current_window_handle
print("当前句柄: {}".format(handle))
# 打开链接并得到页面源代码
url = "https://www.baidu.com"
driver.get(url)
url_source = str(driver.page_source)
# print("页面源代码: {}".format(url_source))
# 定位a标签并点击,跳转到贴吧
click_url = driver.find_element(By.XPATH, '//*[@id="s-top-left"]/a[4]')
click_url.click()
# 打开页面后输出所有窗体句柄
all_handles = driver.window_handles
print("当前所有窗体句柄: {}".format(all_handles))
input("输入回车结束")
driver.quit()
上述代码片段中,首先通过set_window_size()
函数将浏览器页面设置为1275*765
接着再调用maximize_window()
设置为全屏,通过得到当前窗体句柄,并通过get()
函数让浏览器打开一个页面,最后通过xpath
语法定位到//*[@id="s-top-left"]/a[4]
标签(贴吧)上,并点击鼠标左键,打开页面后并输出所有窗体,如下图所示;
21.9.2 切换窗体句柄
如上代码执行后虽然打开了百度百科,但是窗体的句柄其实还是停留在了百度首页上,定位的元素还是在百度上,此时我们就需要切换窗体句柄,也就是将当前句柄切换到百度贴吧页面上,此时才可读取该页面的完整源代码信息。
我们通过使用all_handles[-1]
的方式切换到最后一个窗体上,也就是对应的百度贴吧页面,接着再执行switch_to.window(new_handle_tieba)
函数实现窗口句柄的切换功能,代码如下所示;
from selenium import webdriver
from selenium.webdriver.common.by import By
WebPath = "C:/Users/admin/AppData/Local/Google/Chrome/Application/chromedriver.exe"
if __name__ == "__main__":
driver = webdriver.Chrome(executable_path=WebPath)
# 设置窗口大小为1275*765
driver.set_window_size(1275, 765)
# 打开链接并得到页面源代码
url = "https://www.baidu.com"
driver.get(url)
# 定位a标签并点击,跳转到贴吧
click_url = driver.find_element(By.XPATH, '//*[@id="s-top-left"]/a[4]')
click_url.click()
# 打开页面后输出所有窗体句柄
all_handles = driver.window_handles
print("当前所有窗体句柄: {}".format(all_handles))
# 从所有句柄的集合中,获取最后那个,也就是最新的
new_handle_tieba = all_handles[-1]
# 执行切换操作
driver.switch_to.window(new_handle_tieba)
# 切换后查看现在的句柄
now_handles = driver.current_window_handle
print("贴吧窗体句柄: {}".format(now_handles))
# 得到贴吧源代码
url_source = str(driver.page_source)
print(url_source)
input("输入回车结束")
driver.quit()
运行后读者可自行查询当前句柄所在位置,如下图所示;
21.9.3 前进后退刷新
在控制页面是我们可能需要使用页面前进后退与刷新功能,前进时可以调用driver.forward()
函数实现,后退调用driver.back()
函数,而刷新则可调用driver.refresh()
函数,功能如下案例所示;
from selenium import webdriver
from selenium.webdriver.common.by import By
WebPath = "C:/Users/admin/AppData/Local/Google/Chrome/Application/chromedriver.exe"
if __name__ == "__main__":
driver = webdriver.Chrome(executable_path=WebPath)
# 设置窗口大小为1275*765
driver.set_window_size(1275, 765)
# 打开链接
driver.get(url="https://www.baidu.com")
driver.get(url="https://www.lyshark.com")
# 后退上一页,等待3秒
driver.implicitly_wait(3)
driver.back()
# 前进下一页,等待3秒
driver.implicitly_wait(3)
driver.forward()
# 刷新页面,等待3秒
driver.implicitly_wait(3)
driver.refresh()
# 获取当前页面句柄,并切换过去
handle = driver.current_window_handle
driver.switch_to.window(handle)
# 得到源代码
url_source = str(driver.page_source)
print(url_source)
# 关闭当前窗口
driver.close()
input("输入回车结束")
driver.quit()
运行后读者可自行观察输出效果,如下图所示;
21.9.4 自动页面采集
如下是一个综合案例,在案例中我们通过使用三种解析库实现了对百度页面中特定关键字的采集,当运行后读者可自行判断是否存在安全验证,如果存在可自行手动绕过检测,并输入y
此时即可实现关键字的采集,当采集完成后自动柏村委html
格式文件。
import re,argparse,requests
from selenium import webdriver
from bs4 import BeautifulSoup
from queue import Queue
WebPath = "C:/Users/admin/AppData/Local/Google/Chrome/Application/chromedriver.exe"
if __name__ == "__main__":
parser = argparse.ArgumentParser()
parser.add_argument("--search",dest="search",help="输入要搜索的语法,inurl:lyshark")
args = parser.parse_args()
if args.search:
driver = webdriver.Chrome(executable_path=WebPath)
driver.set_window_size(1024,768)
queue = Queue()
# 生成链接
for item in range(0,1000,10):
queue.put('https://www.baidu.com/s?wd={}&pn={}'.format(str(args.search),str(item)))
# 每次吐出一个
for item in queue.queue:
driver.get(item)
ret = str(driver.page_source)
# 是否有验证
if driver.title == "百度安全验证":
print("请用户完成验证,并输入y: ")
is_true = input()
if is_true != "y":
driver.close()
soup = BeautifulSoup(ret,'html.parser')
urls = soup.find_all(name='a',attrs={'data-click':re.compile(('.')),'class':None})
for item in urls:
try:
get_url = requests.get(url=item['href'],headers=head,timeout=5)
print(get_url)
if get_url.status_code == 200:
title = re.findall('<title>(.+)</title>', get_url.text)
print("[+] 抓取URL: {} 抓取标题: {}".format(get_url.url,title))
with open("save.html","a+") as fp:
fp.write("<a href={}>{}</a><br>".format(get_url.url,title))
except Exception:
pass
else:
parser.print_help()
运行上述代码,读者可观察输出效果,此时会自动抓取特定页面中的链接,并存储到本地;
21.9 Python 使用Selenium库的更多相关文章
- python爬虫---selenium库的用法
python爬虫---selenium库的用法 selenium是一个自动化测试工具,支持Firefox,Chrome等众多浏览器 在爬虫中的应用主要是用来解决JS渲染的问题. 1.使用前需要安装这个 ...
- 安装python的selenium库和驱动
对于使用selenium来进行python爬虫操作可以简化好多操作,它实际上的运行就是通过打开一个浏览器来一步一步的按照你的代码来执行 如果安装过python编译器后应该pip工具也是有的,验证pyt ...
- 使用Python的selenium库制作脚本,支持后台运行
本文介绍如何使用Python的selenium库制作脚本.概念: Selenium是一个用于测试网站的自动化测试工具,支持各种浏览器包括Chrome.Firefox.Safari等主流界面 ...
- python利用selenium库识别点触验证码
利用selenium库和超级鹰识别点触验证码(学习于静谧大大的书,想自己整理一下思路) 一.超级鹰注册:超级鹰入口 1.首先注册一个超级鹰账号,然后在超级鹰免费测试地方可以关注公众号,领取1000积分 ...
- Python爬虫-- selenium库
selenium库 selenium 是一套完整的web应用程序测试系统,包含了测试的录制(selenium IDE),编写及运行(Selenium Remote Control)和测试的并行处理(S ...
- 解决python 导入selenium 库后自动化运行成功但是报错问题
本章节开始进入自动化的基础教学了,首先我们要对我们的工具有一定的熟练使用程度,做自动化常用的工具一个是搭建 RobotFramework自动化框架,另外一个便是我们最常用的python 工作原理是比较 ...
- Python:利用 selenium 库抓取动态网页示例
前言 在抓取常规的静态网页时,我们直接请求对应的 url 就可以获取到完整的 HTML 页面,但是对于动态页面,网页显示的内容往往是通过 ajax 动态去生成的,所以如果是用 urllib.reque ...
- 浅谈python中selenium库调动webdriver驱动浏览器的实现原理
最近学web自动化时用到selenium库,感觉很神奇,遂琢磨了一下,写了点心得. 当我们输入以下三行代码并执行时,会发现新打开了一个浏览器窗口并访问了百度首页,然而这是怎么做到的呢? from se ...
- 使用python的selenium库刷超星网课
网课很多看不完呀 所以动手做了一个基础的自动答题和下一节的程序 用到了python 3 selenium Chrome 如何自动化Chrome?https://www.cnblogs.com/eter ...
- Python 中 selenium 库
目录 selenium 基础语法 一. 环境配置 1. 安装环境 2. 配置参数 3. 常用参数搭配 4. 分浏览器启动 二. 基本语法 1. 元素定位 2. 控制浏览器操作 3. 操作元素的方法 3 ...
随机推荐
- 【白话科普】聊聊 DNS 的那些小知识
你是否在上网时,遇到过这样的情况:QQ 能正常发送消息,但是网页却打不开,查看网络连接又正常显示.面对这种情况很多小伙伴都感到有些无措.那究竟要怎么处理,这究竟是怎么回事呢? 上网查询得知,一般情况下 ...
- 开源项目因支持乌克兰遭issue刷屏,网友:别用Nginx,别用元素周期表
大家好,我是DD. 昨天,两条科技界的新闻炸了,一条是关于GitHub发文封锁俄罗斯,一条是关于Oracle暂停俄罗斯所有业务.一个是全球最大的开源软件社区,一个是全球最大的数据库软件厂商.似乎巨头的 ...
- 2017年第八届 蓝桥杯C组 C/C++决赛题解
蓝桥杯历年国赛真题汇总:Here 1.哥德巴赫分解 哥德巴赫猜想认为:不小于4的偶数都可以表示为两个素数的和. 你不需要去证明这个定理,但可以通过计算机对有限数量的偶数进行分解,验证是否可行. 实际上 ...
- 2016年第七届蓝桥杯【C++省赛B组】
第一题:煤球数目 有一堆煤球,堆成三角棱锥形.具体: 第一层放1个, 第二层3个(排列成三角形), 第三层6个(排列成三角形), 第四层10个(排列成三角形), .... 如果一共有100层,共有多少 ...
- 共享内存原理与VCS监控采集实战
作者:cluo 一.前言 共享内存广泛用于Redis,Kafka,RabbitMQ 等高性能组件中,本文主要提供一个共享内存在广告埋点数据采集的实战场景. 二.共享内存原理 1.原理 在Linux中, ...
- 深入浅出 ZooKeeper
ZooKeeper 是一个分布式协调服务 ,由 Apache 进行维护. ZooKeeper 可以视为一个高可用的文件系统. ZooKeeper 可以用于发布/订阅.负载均衡.命令服务.分布式协调/通 ...
- vue路由模块化
https://www.bilibili.com/video/BV1Tg411u7oy?from=search&seid=5098139115981575542&spm_id_from ...
- vue如何实现v-model
- python · SQL | MySQL 配置与 python 连接数据库
来存档一下搞 sql 的过程,方便以后查阅. 安装与配置 mysql server:https://blog.csdn.net/zhende_lan/article/details/129318514 ...
- windows mysql安装及常用命令
安装windows版本mysql只是为本地代码调试,不建议用于生产.觉得步骤麻烦也可以直接下载集成环境(如xampp),一键安装即可用.之前本地测试都用一键安装,今天换个方法玩玩,安装步骤如下: my ...