selenium是大家众所周知的web自动化测试框架,主要用来完成web网站项目的自动化测试,但其实如果要实现一个web爬虫,去某些网站爬取数据,其实用selenium来实现也很方便。

比如,我们现在要实现一个这样的需求:打开百度--》输入拉钩--》找到拉钩链接,点击进入拉钩--》选择“全国”站--》输入岗位“自动化测试工程师”--》搜索--》爬取所有的自动化测试岗位信息

用selenium怎么实现呢?

基于chrome谷歌浏览器的自动化代码如下,每一步操作都加了注释标注,大家可以对比理解,这个程序就实现了一个简单的爬虫:

import java.util.List;
import java.util.Set; import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.support.ui.ExpectedConditions;
import org.openqa.selenium.support.ui.WebDriverWait; public class Test3{
private static WebDriver driver;
public static void main(String[] args) throws InterruptedException {
//设置系统变量,指定驱动文件路径
System.setProperty("webdriver.chrome.driver", "src/test/resources/chromedriver.exe");
//初始化driver驱动对象
driver = new ChromeDriver();
//访问拉钩主页获取获取
landLagouAndFetchData();
} /**访问拉钩主页获取获取
* @throws InterruptedException
*/
private static void landLagouAndFetchData() throws InterruptedException {
//访问百度
driver.get("http://www.baidu.com");
//窗口最大化
driver.manage().window().maximize();
//输入查找内容
driver.findElement(By.id("kw")).sendKeys("拉钩");
//点击"百度一下"完成搜索
driver.findElement(By.id("su")).click();
//获取当前页面的句柄
String currentHandle = driver.getWindowHandle();
//点击进入官网
getElement(By.partialLinkText("-专业的互联网招聘平台_找工作_招聘_人才网_求职")).click();
//获取或有打开页面的句柄
Set<String> handles = driver.getWindowHandles();
//循环句柄
for (String handle : handles) {
//获取拉钩页面的句柄
if(!handle.equals(currentHandle)){
driver.switchTo().window(handle);
}
}
try {
//选择全国站
getElement(By.partialLinkText("全国站")).click();
} catch (Throwable e) {
//失败重试机制
landLagouAndFetchData();
}
//输入查询数据
getElement(By.id("search_input")).sendKeys("自动化测试工程师");
//点击"搜索"按钮,完成搜索
getElement(By.id("search_button")).click();
//因为所有岗位信息显示区域样式都一样,因此根据样式获取每页的所有岗位信息<li>...</li>
List<WebElement> webElements =getElements(By.className("default_list"));
//循环处理
for (WebElement webElement : webElements) {
//打印岗位信息,此处也可考虑保存到文件,后面再统一写入到文件
System.out.println(webElement.getText());
//分隔符
System.out.println("-------------------------------");
}
//循环拿到其余每一页的数据
while(true){
//获取"下一页"按钮
WebElement nextPage = getElement(By.className("pager_next"));
//循环执行条件:"下一页"按钮不为空,且可点击
if(nextPage!=null&&nextPage.isEnabled()){
//点击下一页
nextPage.click();
//等待5秒
Thread.sleep(5000);
//根据样式获取每页的所有岗位信息<li>...</li>
List<WebElement> webElements2 =getElements(By.className("default_list"));
//循环打印
for (WebElement webElement : webElements2) {
System.out.println(webElement.getText());
System.out.println("-------------------------------");
}
}else{
//不满足条件则终止循环
break;
}
}
} /**显示等待
* @param locator 元素定位选择器
* @return
*/
private static List<WebElement> getElements(By locator) {
//显示等待wait对象,最长等待时间30秒,默认500毫秒页面轮询一次
WebDriverWait wait = new WebDriverWait(driver, 30);
try {
//调用until方法,传入条件:满足条件的元素列表出现在页面。如果30秒内未找到,则抛出超时异常
List<WebElement> webElements = wait.until(ExpectedConditions.presenceOfAllElementsLocatedBy(locator));
return webElements;
} catch (Exception e) {
System.out.println("定位元素超时了");
}
return null;
} /**显示等待
* @param locator 元素定位选择器
* @return
*/
public static WebElement getElement(By locator){
//显示等待wait对象,最长等待时间30秒,默认500毫秒页面轮询一次
WebDriverWait wait = new WebDriverWait(driver, 30);
try {
//调用until方法,传入条件:满足条件的元素出现在页面。如果30秒内未找到,则抛出超时异常
WebElement webElement = wait.until(ExpectedConditions.presenceOfElementLocated(locator));
return webElement;
} catch (Exception e) {
System.out.println("定位元素超时了");
}
return null; }
}

运行代码,爬取数据如下:

自动化测试工程师
[杭州·天目山…]
1天前发布
10k-15k 经验1-3年 / 大专
武汉佰钧成技术有限公司
移动互联网 / 不需要融资 / 2000人以上
带薪年假 计算机软件 管理规范 定期体检
“善于沟通”
-------------------------------
自动化测试工程师
[上海·浦江]
2018-08-30
10k-15k 经验1-3年 / 本科
泛微
移动互联网,企业服务 / 上市公司 / 2000人以上
Web测试 白盒测试
“五险一金,绩效奖金,免费三餐,员工旅游”
-------------------------------
自动化测试工程师
[厦门·思明区]
3天前发布
8k-15k 经验3-5年 / 大专
准动网络科技
移动互联网,企业服务 / B轮 / 150-500人
精英团队 扁平管理 自由开放 技术大牛
“团队nic,技术大牛,技术交流,弹性工作”
-------------------------------
自动化测试工程师
[杭州·长河]
2天前发布
10k-20k 经验3-5年 / 本科
浙江新再灵科技股份有限公司
移动互联网 / D轮及以上 / 150-500人
脚本
“福利多,环境好,前景佳”
-------------------------------
自动化测试工程师
[天津]
3天前发布
10k-15k 经验3-5年 / 本科
神州商龙
移动互联网,O2O / 上市公司 / 150-500人
技能培训 年底双薪 节日礼物 采暖费
“研发氛围,福利待遇,上升空间”
-------------------------------
自动化测试工程师
[上海·杨浦区]
3天前发布
15k-25k 经验5-10年 / 本科
信用算力
移动互联网,金融 / B轮 / 150-500人
年底双薪 股票期权 带薪年假 绩效奖金
“年终奖丰厚,弹性工作,升职加薪,氛围欢快”
-------------------------------
自动化测试工程师
[上海·张江]
3天前发布
10k-15k 经验3-5年 / 大专
江苏亿科达
移动互联网,金融 / 不需要融资 / 500-2000人
脚本 功能测试 性能测试
“节日礼金,年底奖金,体检旅游,带薪年假”
-------------------------------
自动化测试工程师
[北京·五道口]
3天前发布
15k-25k 经验3-5年 / 本科
商汤科技
移动互联网 / C轮 / 2000人以上
五险一金 弹性工作 丰盛三餐 发展空间大
“技术大牛,资源多”
-------------------------------
自动化测试工程师
[北京·海淀区]
3天前发布
8k-15k 经验3-5年 / 大专
诚迈科技
移动互联网 / 上市公司 / 2000人以上
Web测试 移动端
“互联网公司”
-------------------------------
自动化测试工程师
[长沙·银盆岭]
3天前发布
9k-12k 经验3-5年 / 本科
中和农信
移动互联网,金融 / 不需要融资 / 2000人以上
功能测试 性能测试
“绩效奖金,五险一金,带薪年假,农村金融”
-------------------------------
自动化测试工程师
[珠海·香洲区]
2018-08-28
15k-30k 经验3-5年 / 大专
金山办公软件
移动互联网 / 上市公司 / 2000人以上
年底双薪 节日礼物 技能培训 绩效奖金
“海景办公,免费三餐,六险一金,福利优”
-------------------------------
自动化测试工程师
[北京·上地]
2018-08-30
15k-25k 经验3-5年 / 本科
苏州锦佰安
信息安全 / 天使轮 / 15-50人
信息安全 脚本
“人工智能,前景广阔,福利齐全,技术领先”
-------------------------------
自动化测试工程师
[上海·普陀区]
3天前发布
15k-18k 经验5-10年 / 本科
裕宁科技
移动互联网,金融 / 未融资 / 50-150人
脚本
“测试工程师”
-------------------------------
自动化测试工程师
[广州·龙口]
3天前发布
10k-13k 经验1-3年 / 本科
佛山市宝诗龙精密五金有限公司
移动互联网 / 上市公司 / 500-2000人
Selenium Rft
“六险一金,周末双休,年底发展奖”
-------------------------------
自动化测试工程师
[深圳·蔡屋围]
3天前发布
12k-18k 经验5-10年 / 大专
博奥特科技
移动互联网,金融 / 未融资 / 150-500人
金融 脚本
“周未双休,福田CBD,大咖云集”
-------------------------------
自动化测试工程师
[上海·北新泾]
3天前发布
16k-25k 经验3-5年 / 本科
武汉佰钧成技术有限公司
移动互联网 / 不需要融资 / 2000人以上
脚本
“六险一金,前沿技术,大牛带队,不加班”
-------------------------------
自动化测试工程师
[上海·徐家汇]
3天前发布
10k-20k 经验3-5年 / 本科
Datatist
数据服务,广告营销 / A轮 / 50-150人
软件测试
“硅谷团队,发15m,晋升平台,带薪假期”
-------------------------------
自动化测试工程师
[上海·张江]
2018-08-29
10k-15k 经验1-3年 / 本科
CLPS
数据服务,金融 / 未融资 / 500-2000人
Web测试 测试开发
“年底双薪,五险一金,带薪休假,补充医疗”
-------------------------------
自动化测试工程师
[杭州·西湖区]
2天前发布
8k-12k 经验1-3年 / 本科
美国道富
金融 / 上市公司 / 2000人以上
互联网金融 银行 Web测试 Selenium 功能测试
“优秀团队,英语工作”
-------------------------------
自动化测试工程师
[北京·清河]
3天前发布
15k-25k 经验3-5年 / 本科
AdMaster
数据服务 / 不需要融资 / 500-2000人
脚本
“扁平管理,行业领先,福利完善,氛围轻松”
-------------------------------
自动化测试工程师
[北京·万泉河]
3天前发布
10k-15k 经验1-3年 / 本科
一起考教师
移动互联网,教育 / A轮 / 50-150人
功能测试 性能测试
“地铁周边,弹性工作,扁平管理,公司氛围好”
-------------------------------
自动化测试工程师
[北京·望京]
2天前发布
18k-36k 经验3-5年 / 本科
作业盒子
移动互联网,教育 / C轮 / 500-2000人
技能培训 年底双薪 节日礼物 年度旅游
“六险一金,房补,下午茶,饭补”
-------------------------------
自动化测试工程师
[上海·浦东新…]
3天前发布
12k-24k 经验3-5年 / 本科
爱客CRM
移动互联网 / B轮 / 150-500人
信息安全 脚本
“带教师傅,绩效奖金,周末双休,多次旅游”
-------------------------------
自动化测试工程师
[武汉·花桥]
3天前发布
8k-15k 经验3-5年 / 大专
武汉格事化信息技术有...
移动互联网 / 不需要融资 / 15-50人
游戏 脚本
“五险一金,骨干齐全”
-------------------------------
自动化测试工程师
[上海·浦东新…]
3天前发布
8k-15k 经验1年以下 / 本科
群星金融
金融 / B轮 / 50-150人
年底双薪 带薪年假 定期体检 交通补助
“技术大牛,弹性工作制,免费班车,无限零食”
-------------------------------
自动化测试工程师
[上海·漕宝路]
1天前发布
12k-24k 经验3-5年 / 本科
杏仁医生
移动互联网,O2O / B轮 / 500-2000人
五险一金 弹性工作 岗位晋升 顶尖团队
“发展好,福利好,氛围好,环境好”
-------------------------------
自动化测试工程师
[南京·雨花台…]
2018-08-30
9k-12k 经验1-3年 / 本科
Linkflow
企业服务,广告营销 / A轮 / 15-50人
Web测试 Selenium 测试开发
“弹性工作,技术氛围浓,双休,六险一金”
-------------------------------
自动化测试工程师
[上海·东外滩]
2018-08-27
8k-15k 经验3-5年 / 本科
哔哩哔哩
移动互联网,文化娱乐 / 上市公司 / 2000人以上
带薪年假 绩效奖金 交通补助 午餐补助
“90后最喜欢的弹幕网之一”
-------------------------------
自动化测试工程师
[北京·和平里]
3天前发布
12k-20k 经验3-5年 / 大专
轻松筹
移动互联网,金融 / C轮 / 500-2000人
节日礼物 股票期权 扁平管理 领导好
“技术咖”
-------------------------------
自动化测试工程师
[北京·中关村]
3天前发布
10k-20k 经验5-10年 / 本科
BJCA
信息安全 / 上市公司 / 500-2000人
信息安全
“国企福利,上市企业,15薪,周末双休”
-------------------------------
自动化测试工程师
[广州·天河区]
3天前发布
8k-10k 经验1-3年 / 本科
武汉佰钧成技术有限公司
移动互联网 / 不需要融资 / 2000人以上
Web测试 Selenium 产品测试
“国企,六险一金,弹性工作,高薪”
-------------------------------
自动化测试工程师
[上海·张江]
3天前发布
12k-20k 经验应届毕业生 / 本科
CLPS
数据服务,金融 / 未融资 / 500-2000人
专项奖金 带薪年假 定期体检 交通补助
“外企,六险一金,年假多”
-------------------------------
自动化测试工程师
[上海·曹家渡]
2018-08-30
15k-18k 经验3-5年 / 本科
微知
企业服务,数据服务 / B轮 / 150-500人
企业服务 大数据 Loadrunner Selenium Jmeter
“互联网平台,大数据云服”
-------------------------------
软件自动化测试工程师
[广州·萝岗区]
1天前发布
5k-9k 经验不限 / 不限
巧瞳科技
硬件,移动互联网 / 未融资 / 少于15人
工具软件 企业服务 移动端 产品测试 Android测试 IOS测试
“朝阳行业,老板懂分享,气氛和谐,技术导向”
-------------------------------
自动化测试工程师
[上海·张江]
1天前发布
12k-18k 经验1-3年 / 本科
爱客CRM
移动互联网 / B轮 / 150-500人
信息安全 脚本
“绩效奖金,周末双休,多次旅游”
-------------------------------
自动化测试工程师
[上海·浦东新…]
3天前发布
20k-30k 经验5-10年 / 大专
容易网
电子商务,O2O / 上市公司 / 150-500人
脚本
“高薪,弹性工作”
-------------------------------
自动化测试工程师
[杭州·近江]
2018-08-30
10k-20k 经验3-5年 / 本科
车国
移动互联网,O2O / 不需要融资 / 2000人以上
汽车 金融 脚本
“氛围好,13薪起,额外绩效”
-------------------------------
自动化测试工程师
[上海·张江]
2018-08-30
15k-25k 经验3-5年 / 本科
斑马旅游
电子商务,旅游 / A轮 / 500-2000人
旅游
“绩效奖金,学习型组织,大牛带教,弹性工时”
-------------------------------
自动化测试工程师
[北京·东大桥]
2018-08-30
15k-25k 经验5-10年 / 本科
唯医网
移动互联网,医疗健康 / B轮 / 150-500人
教育 大数据 性能测试
“好老板,年轻团队,培训成长快,福利待遇佳”
-------------------------------
自动化测试工程师
[杭州·西溪]
2018-08-28
8k-12k 经验3-5年 / 本科
江苏亿科达
移动互联网,金融 / 不需要融资 / 500-2000人
金融
“五险一金,员工旅游,员工体检,年底奖金”
-------------------------------
自动化测试工程师
[广州·石牌]
2018-08-24
8k-15k 经验1-3年 / 本科
数沃科技
数据服务,移动互联网 / 不需要融资 / 15-50人
性能测试 脚本
“优秀团队,产品强大,发展空间大,弹性工作”
-------------------------------
自动化测试
[杭州·西溪]
1天前发布
10k-18k 经验1-3年 / 本科
腾展科技
移动互联网,社交网络 / 上市公司 / 50-150人
出国旅游 股票期权 精英团队 强悍的创始人
“节日福利,股票期权,扁平管理,发展空间大”
-------------------------------
自动化测试开发工程师
[北京·酒仙桥]
3天前发布
15k-25k 经验3-5年 / 本科
360
移动互联网,游戏 / 上市公司 / 2000人以上
移动互联网 Android测试
“大牛带,领导好,平台大”
-------------------------------
自动化测试工程师
[北京·朝阳区]
2018-08-27
15k-30k 经验3-5年 / 本科
达闼科技
移动互联网 / B轮 / 150-500人
年底双薪 技能培训 绩效奖金 岗位晋升
“定期体检,弹性工作,带薪年假,节日福利”
-------------------------------
自动化测试
[厦门·前埔医…]
3天前发布
8k-15k 经验1-3年 / 本科
美柚
移动互联网 / D轮及以上 / 500-2000人
绩效奖金 股票期权 年底双薪 专项奖金
“测试,开发”
-------------------------------
自动化测试工程师
[上海·北新泾]
2018-08-30
20k-35k 经验5-10年 / 本科
武汉佰钧成技术有限公司
移动互联网 / 不需要融资 / 2000人以上
脚本
“薪资优厚,前沿技术,双休不加班,节假日福利”
-------------------------------
自动化测试(QA)工程师
[上海·张江]
3天前发布
10k-20k 经验1-3年 / 本科
CLPS
数据服务,金融 / 未融资 / 500-2000人
专项奖金 带薪年假 定期体检 交通补助
“外企,14天年假,六险一金”
-------------------------------
自动化测试工程师
[广州·员村]
2018-08-06
10k-20k 经验3-5年 / 本科
上海中软华腾软件系统有限公司
企业服务,金融 / 上市公司 / 2000人以上
脚本
“双休,弹性工作制,年假,五险一金”
-------------------------------
自动化测试工程师
[北京·上地]
3天前发布
8k-16k 经验3-5年 / 本科
惠赢天下
移动互联网,电子商务 / D轮及以上 / 500-2000人
“14薪,大型企业,弹性工作制,地铁旁”
-------------------------------
自动化测试工程师
[北京·望京]
3天前发布
10k-15k 经验1-3年 / 本科
卡车之家
移动互联网 / C轮 / 150-500人
节日礼物 技能培训 带薪年假 岗位晋升
“手工测试”
-------------------------------
自动化测试工程师
[成都·高新区]
2018-08-30
8k-15k 经验3-5年 / 本科
四川长虹电器股份有限公司
硬件 / 上市公司 / 2000人以上
脚本
“五险一金”
-------------------------------
自动化测试工程师
[深圳·南山区]
3天前发布
8k-12k 经验3-5年 / 大专
汉云科技
数据服务 / 天使轮 / 50-150人
Selenium Web测试
“自动化测试,数据库”
-------------------------------
自动化测试
[武汉·东湖新…]
2018-08-29
8k-15k 经验1-3年 / 本科
诚迈科技
移动互联网 / 上市公司 / 2000人以上
脚本
“发展空间大,加班费,奖金,补贴”
-------------------------------
自动化测试工程师
[深圳·科技园]
3天前发布
8k-16k 经验1-3年 / 本科
JETTECH
金融,其他 / 上市公司 / 500-2000人
银行 脚本
“自动化,java”
-------------------------------
自动化测试工程师
[北京·来广营]
2018-08-30
10k-15k 经验1-3年 / 本科
曜辉科技
移动互联网,企业服务 / 未融资 / 15-50人
Web测试 Selenium 性能测试
“不打卡,扁平化,有零食,发展空间大”
-------------------------------
自动化测试工程师
[北京·海淀区]
2018-08-21
15k-30k 经验3-5年 / 本科
好未来
移动互联网,教育 / 上市公司 / 2000人以上
上市公司 领军企业 五险一金 住福计划
“周末双休,无息贷款,临近地铁”
-------------------------------
自动化测试开发工程师
[上海·斜土路]
3天前发布
8k-16k 经验3-5年 / 本科
江苏亿科达
移动互联网,金融 / 不需要融资 / 500-2000人
脚本
“五险一金,旅游、体检,生日礼金,过节福利”
-------------------------------
自动化测试
[上海·青浦区]
2天前发布
12k-16k 经验3-5年 / 大专
壹米滴答
企业服务,其他 / B轮 / 2000人以上
物流
“晋升机会多,多次调薪,食宿补贴”
-------------------------------
自动化测试工程师
[杭州·西兴]
3天前发布
10k-20k 经验3-5年 / 本科
TELETRAAN
数据服务,企业服务 / 天使轮 / 15-50人
脚本
“五险一金,技术氛围好,发展空间大,弹性工作制”
-------------------------------
自动化测试工程师
[上海·洋泾]
3天前发布
15k-30k 经验3-5年 / 本科
平安金服
金融,数据服务 / 上市公司 / 2000人以上
脚本
“福利待遇佳”
-------------------------------
自动化测试工程师
[武汉·江夏区]
2018-08-30
8k-13k 经验3-5年 / 大专
武汉佰钧成技术有限公司
移动互联网 / 不需要融资 / 2000人以上
汽车 移动互联网 性能测试 Jmeter 脚本
“平台大,稳定,免费班车,车补,食堂”
-------------------------------
自动化测试工程师
[广州·天河城]
2018-08-23
12k-20k 经验3-5年 / 本科
CLPS
数据服务,金融 / 未融资 / 500-2000人
银行 投资/融资 Selenium
“世界五百强,外企银行,自动化测试,敏捷开发”
-------------------------------
自动化测试工程师
[西安·高新技…]
2018-08-16
8k-12k 经验3-5年 / 本科
上海中软华腾软件系统有限公司
企业服务,金融 / 上市公司 / 2000人以上
年底双薪 绩效奖金 带薪年假 定期体检
“全英文环境 有班车”
-------------------------------
自动化测试工程师
[上海·徐汇区]
2018-08-29
15k-28k 经验3-5年 / 大专
鲸鱼智能
移动互联网 / A轮 / 50-150人
功能测试 性能测试
“发展空间大,五险一金,福利好,弹性时间”
-------------------------------
自动化测试工程师
[成都·牛王庙]
2018-08-21
6k-10k 经验1-3年 / 本科
海德智和科技
移动互联网 / 不需要融资 / 15-50人
脚本
“发展大,扁平化,福利好,带薪年假”
-------------------------------
自动化测试
[上海·漕河泾]
3天前发布
10k-15k 经验应届毕业生 / 硕士
瞬联软件科技(北京)有限公司
移动互联网 ,企业服务 / 不需要融资 / 500-2000人
高薪 节日礼物 弹性工作 带薪年假
“500强,六险一金,弹性工作制,漕河泾上班”
-------------------------------
自动化测试工程师(赴西门子)
[苏州·吴中区]
3天前发布
12k-18k 经验3-5年 / 本科
微创
移动互联网,电子商务 / 不需要融资 / 2000人以上
Web测试
“平台好,项目大,发展空间大”
-------------------------------
自动化测试工程师
[北京·中关村]
2018-08-29
18k-25k 经验3-5年 / 本科
智齿科技
移动互联网,企业服务 / C轮 / 150-500人
脚本
“五险一金,带薪年假,弹性工作”
-------------------------------
自动化测试工程师
[北京·朝阳区]
1天前发布
8k-16k 经验1-3年 / 本科
北京润和
移动互联网 / 上市公司 / 50-150人
银行 脚本
“五险一金,带薪年假,年度体检,加班补助”
-------------------------------
自动化测试工程师
[北京·西北旺]
3天前发布
10k-15k 经验1-3年 / 本科
乐知行
教育 / 未融资 / 150-500人
脚本
“发展空间大,五险一金,各种补贴,员工旅游”
-------------------------------
高级自动化测试工程师
[北京·海淀区]
1天前发布
25k-45k 经验3-5年 / 本科
田米科技
移动互联网 / D轮及以上 / 2000人以上
脚本
“薪酬高,环境好,福利好”
-------------------------------
自动化测试
[杭州·仓前]
3天前发布
15k-30k 经验5-10年 / 本科
我在家
移动互联网,电子商务 / B轮 / 150-500人
年底双薪 股票期权 带薪年假 扁平化
“牛人多,顶级资本”
-------------------------------
汉口片区自动化测试工程师
[武汉·二七]
3天前发布
8k-15k 经验5-10年 / 大专
武汉格事化信息技术有...
移动互联网 / 不需要融资 / 15-50人
游戏 脚本
“骨干齐全,扁平化”
-------------------------------
软件自动化测试工程师
[南京·雨花台…]
1天前发布
8k-10k 经验1-3年 / 本科
Dilato
移动互联网,企业服务 / 未融资 / 150-500人
脚本 性能测试
“晋升空间大,技术新,美女帅哥多”
-------------------------------
自动化测试
[北京·酒仙桥]
3天前发布
15k-30k 经验3-5年 / 本科
人人网
社交网络,金融 / 上市公司 / 2000人以上
脚本
“氛围好,弹性工作”
-------------------------------
......

上面只是一部分自动化测试岗位的信息,其他未贴出来(底下省略一万行)。

Web自动化selenium技术快速实现爬虫的更多相关文章

  1. Selenium Web 自动化 - Selenium(Java)环境搭建

    Selenium Web 自动化 - Selenium(Java)环境搭建 2016-07-29 1 下载JDK JDK下载地址:http://www.oracle.com/technetwork/j ...

  2. Selenium Web 自动化 - Selenium常用API

    Selenium Web 自动化 - Selenium常用API 2016-08-01 目录 1 对浏览器操作  1.1 用webdriver打开一个浏览器  1.2 最大化浏览器&关闭浏览器 ...

  3. web自动化-selenium 入门篇

    selenium安装介绍 selenium是web浏览器的自动化工具 官网:https://www.selenium.dev 构成: WebDriver: 浏览器提供的浏览器api来控制浏览器(模拟用 ...

  4. web自动化-selenium+Chrome驱动国内下载地址+驱动对应Chrome版本号

    selenium各版本下载地址 http://selenium-release.storage.googleapis.com/index.html 国内下载:http://npm.taobao.org ...

  5. web自动化,selenium 无法清空输入框默认值继续输入

    有的页面输入框自带默认值,想要修改里面的内容时,先使用clear()再send_keys(),这种方式无法清除只会在默认值后面追加内容,不是我想要的结果 解决方法: 方法一: 先双击,后直接send_ ...

  6. web自动化selenium click()方法失效的解决办法

    使用Python写web-ui自动化脚本时,如果浏览器窗口比较小或者电脑屏幕比较小时, 可能会遇到页面元素的点击click()方法失效的问题,报错如下: Element <span>... ...

  7. Selenium Web 自动化

    1 Selenium Web 自动化 - Selenium(Java)环境搭建 2 Selenium Web 自动化 - 如何找到元素 3 Selenium Web 自动化 - Selenium常用A ...

  8. 使用selenium实现简单网络爬虫抓取MM图片

    撸主听说有个网站叫他趣,里面有个社区,其中有一项叫他趣girl,撸主点进去看了下,还真不错啊,图文并茂,宅男们自己去看看就知道啦~ 接下来当然就是爬取这些妹子的图片啦,不仅仅是图片,撸主发现里面的对话 ...

  9. 爬虫实战:爬虫之 web 自动化终极杀手 ( 上)

    欢迎大家前往腾讯云技术社区,获取更多腾讯海量技术实践干货哦~ 作者:陈象 导语: 最近写了好几个简单的爬虫,踩了好几个深坑,在这里总结一下,给大家在编写爬虫时候能给点思路.本次爬虫内容有:静态页面的爬 ...

随机推荐

  1. js 实现商品放大镜效果

    知识点,需熟悉下面属性及含义: offsetLeft           //获取元素相对左侧的距离 (计算是从最左侧边框外开始) offsetTop           //获取元素相对顶部的距离 ...

  2. UIScrollView的常用属性

    UIScrollView的常用属性

  3. memcache和redis的区别和联系

    一.区别 Memcache : 1,对每个key的数据最大是1M. 2,对各种技术支持比较全面,session可以存储memcache中,各种框架(例如thinkphp)对memcache支持比较好. ...

  4. 关于linux‘RedHat6.9在VMware虚拟机中的安装步骤

    redhat支持多种安装方式:光盘安装,硬盘安装和网络安装等,可以根据个人的实际情况来选择.我在这里选择的是光盘安装的方式安装RHEL6.9.(以下简称6.9) 1.首先准备好6.9的光盘镜像,在安装 ...

  5. 怎么将oracle的sql文件转换成mysql的sql文件

    怎么将sql文件导入PowerDesigner中的方法(将oracle的sql文件转换成mysql的sql文件)呢? 怎么将xx.sql文件的数据库结构导入powerdesigner 的方法呢? 现讲 ...

  6. .Net Core如何在程序的任意位置使用和注入服务

    最近有人问我:我该如何在Startup类之外的地方注入我的服务呢,都写在startup里看着好乱:我该如何在程序的其他地方获取我注入的服务呢: 故我写了这篇博客,文中有不对的地方欢迎指正. 一.如何在 ...

  7. python新手学习之文件读写之修改

    文件除r.w.a方式打开外,还可以有多种组合方式如r+ w+ a+等多种方式 1.r+ 读写模式介绍,开始读是从一行开始读,写永远从最后开始写(类似于追加) # f = open("test ...

  8. Java学习笔记二十:Java中的内部类

    Java中的内部类 一:什么是内部类: (1).什么是内部类呢? 内部类( Inner Class )就是定义在另外一个类里面的类.与之对应,包含内部类的类被称为外部类. (2).那为什么要将一个类定 ...

  9. C 二维数组,以及自定义二维数组

    C 二维数组,以及自定义二维数组 我们通常情况下是这样定义一个二维数组的: int a[10][15]; 我们分别查看一下a,a[0],*a 都是一样的值吧 我们可以这么理解: a是一个数组的数组 a ...

  10. TensorFlow实现线性回归

    from __future__ import print_function import tensorflow as tf import numpy import matplotlib.pyplot ...