phantomjs 开发爬虫框架
函数
- page.childframescount
- page.childframesname
- page.close
- page.currentframename
- page.deletelater
- page.destroyed
- page.evaluate
- page.initialized
- page.injectjs
- page.javascriptalertsent
- page.javascriptconsolemessagesent
- page.loadfinished
- page.loadstarted
- page.openurl
- page.release
- page.render
- page.resourceerror
- page.resourcereceived
- page.resourcerequested
- page.uploadfile
- page.sendevent
- page.setcontent
- page.switchtochildframe
- page.switchtomainframe
- page.switchtoparentframe
- page.addcookie
- page.deletecookie
- page.clearcookies
回调处理程序/
列表中的所有页面的事件:
- oninitialized
- onloadstarted
- onloadfinished
- onurlchanged
- onnavigationrequested
- onrepaintrequested
- onresourcerequested
- onresourcereceived
- onresourceerror
- onresourcetimeout
- onalert
- onconsolemessage
- onclosing
page.onInitialized = function() { | |
console.log("page.onInitialized"); | |
printArgs.apply(this, arguments); | |
}; | |
page.onLoadStarted = function() { | |
console.log("page.onLoadStarted"); | |
printArgs.apply(this, arguments); | |
}; | |
page.onLoadFinished = function() { | |
console.log("page.onLoadFinished"); | |
printArgs.apply(this, arguments); | |
}; | |
page.onUrlChanged = function() { | |
console.log("page.onUrlChanged"); | |
printArgs.apply(this, arguments); | |
}; | |
page.onNavigationRequested = function() { | |
console.log("page.onNavigationRequested"); | |
printArgs.apply(this, arguments); | |
}; | |
page.onRepaintRequested = function() { | |
console.log("page.onRepaintRequested"); | |
printArgs.apply(this, arguments); | |
}; | |
if (logResources === true) { | |
page.onResourceRequested = function() { | |
console.log("page.onResourceRequested"); | |
printArgs.apply(this, arguments); | |
}; | |
page.onResourceReceived = function() { | |
console.log("page.onResourceReceived"); | |
printArgs.apply(this, arguments); | |
}; | |
} | |
page.onClosing = function() { | |
console.log("page.onClosing"); | |
printArgs.apply(this, arguments); | |
}; | |
// window.console.log(msg); | |
page.onConsoleMessage = function() { | |
console.log("page.onConsoleMessage"); | |
printArgs.apply(this, arguments); | |
}; | |
// window.alert(msg); | |
page.onAlert = function() { | |
console.log("page.onAlert"); | |
printArgs.apply(this, arguments); | |
}; | |
// var confirmed = window.confirm(msg); | |
page.onConfirm = function() { | |
console.log("page.onConfirm"); | |
printArgs.apply(this, arguments); | |
}; | |
// var user_value = window.prompt(msg, default_value); | |
page.onPrompt = function() { | |
console.log("page.onPrompt"); | |
printArgs.apply(this, arguments); | |
}; | |
//////////////////////////////////////////////////////////////////////////////// | |
setTimeout(function() { | |
console.log(""); | |
console.log("### STEP 1: Load '" + step1url + "'"); | |
page.open(step1url); | |
}, 0); | |
setTimeout(function() { | |
console.log(""); | |
console.log("### STEP 2: Load '" + step2url + "' (load same URL plus FRAGMENT)"); | |
page.open(step2url); | |
}, 5000); | |
setTimeout(function() { | |
console.log(""); | |
console.log("### STEP 3: Click on page internal link (aka FRAGMENT)"); | |
page.evaluate(function() { | |
var ev = document.createEvent("MouseEvents"); | |
ev.initEvent("click", true, true); | |
document.querySelector("a[href='#Event_object']").dispatchEvent(ev); | |
}); | |
}, 10000); | |
setTimeout(function() { | |
console.log(""); | |
console.log("### STEP 4: Click on page external link"); | |
page.evaluate(function() { | |
var ev = document.createEvent("MouseEvents"); | |
ev.initEvent("click", true, true); | |
document.querySelector("a[title='JavaScript']").dispatchEvent(ev); | |
}); | |
}, 15000); | |
setTimeout(function() { | |
console.log(""); | |
console.log("### STEP 5: Close page and shutdown (with a delay)"); | |
page.close(); | |
setTimeout(function(){ | |
phantom.exit(); | |
}, 100); | |
}, 20000); |
网络监控
var page = require('webpage').create();
page.onResourceRequested = function(request) {
console.log('Request ' + JSON.stringify(request, undefined, ));
};
page.onResourceReceived = function(response) {
console.log('Receive ' + JSON.stringify(response, undefined, ));
};
page.open(url);
phantomjs 开发爬虫框架的更多相关文章
- 《Python3网络爬虫开发实战》PDF+源代码+《精通Python爬虫框架Scrapy》中英文PDF源代码
下载:https://pan.baidu.com/s/1oejHek3Vmu0ZYvp4w9ZLsw <Python 3网络爬虫开发实战>中文PDF+源代码 下载:https://pan. ...
- C# 爬虫框架实现 流程_各个类开发
目录链接:C# 爬虫框架实现 概述 对比通用爬虫结构,我将自己写的爬虫分为五个类实现: Spider主类:负责设置爬虫的各项属性 Scheduler类:负责提供URL到下载类,接收URL并做去重 Do ...
- 学习用java基于webMagic+selenium+phantomjs实现爬虫Demo爬取淘宝搜索页面
由于业务需要,老大要我研究一下爬虫. 团队的技术栈以java为主,并且我的主语言是Java,研究时间不到一周.基于以上原因固放弃python,选择java为语言来进行开发.等之后有时间再尝试pytho ...
- 分布式爬虫框架XXL-CRAWLER
<分布式爬虫框架XXL-CRAWLER> 一.简介 1.1 概述 XXL-CRAWLER 是一个分布式爬虫框架.一行代码开发一个分布式爬虫,拥有"多线程.异步.IP动态代理.分布 ...
- php 爬虫框架
发现两款不错的爬虫框架,极力推荐下: phpspider 一款优秀的PHP开发蜘蛛爬虫 官方下载地址:https://github.com/owner888/phpspider 官方开发手册:http ...
- 洗礼灵魂,修炼python(72)--爬虫篇—爬虫框架:Scrapy
题外话: 前面学了那么多,相信你已经对python很了解了,对爬虫也很有见解了,然后本来的计划是这样的:(请忽略编号和日期,这个是不定数,我在更博会随时改的) 上面截图的是我的草稿 然后当我开始写博文 ...
- Scrapy爬虫框架教程(四)-- 抓取AJAX异步加载网页
欢迎关注博主主页,学习python视频资源,还有大量免费python经典文章 sklearn实战-乳腺癌细胞数据挖掘 https://study.163.com/course/introduction ...
- 教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神
本博文将带领你从入门到精通爬虫框架Scrapy,最终具备爬取任何网页的数据的能力.本文以校花网为例进行爬取,校花网:http://www.xiaohuar.com/,让你体验爬取校花的成就感. Scr ...
- [开源 .NET 跨平台 数据采集 爬虫框架: DotnetSpider] [一] 初衷与架构设计
[DotnetSpider 系列目录] 一.初衷与架构设计 二.基本使用 三.配置式爬虫 四.JSON数据解析与配置系统 为什么要造轮子 同学们可以去各大招聘网站查看一下爬虫工程师的要求,大多是招JA ...
随机推荐
- C++引用指针 & 构造函数
近来回转 C++的学习,脑子又被搞得了一团迷(简直不要忘得太快..... ) 过后静下来想一想,还是因为有些东西没搞清楚导致,所以理了理两个容易搞迷糊的地方. 1. 引用与指针 C++进行传值更 ...
- 数据库 --> sqlite3总结
Sqlite3总结 SQLite,是一款轻型的数据库,是遵守ACID的关系型数据库管理系统,它包含在一个相对小的C库中. sqlite语句 #sqlite3 test.db //设置宽度为2sqlit ...
- 中文分词 sphni与scws
1.安装sphnixcd /usr/local/srcwget http://sphinxsearch.com/files/sphinx-2.2.11-release.tar.gztar -zxvf ...
- APK Multi-Tool强大的APK反编译工具终极教程
一.APK Multi-Tool介绍 APK Multi-Tool 是APK Manager的升级版,是一个强大的APK反编译工具,集多种功能于一身,是居家必备.做ROM必选的工具! 这是 ...
- 多线程 Synchronized关键字和Lock
Synchronized 分为实例锁和全局锁. 实例锁为 synchronized(this) 和 非static synchronized方法. 也加对象锁. 只要一个线程访问这类的一个syn ...
- springMVC框架+POI组件导出Excel
目的:访问url(http://localhost:8080/POIOutputExcel/outputexcel.do)实现excel导出,效果图如下: 文件目录(配置文件就不多说了,跟前面的随笔一 ...
- alpha冲刺第二天
一.合照 二.项目燃尽图 三.项目进展 图形界面基本完成 接口文档框架完成,接下来将会不断细化填充 登录界面向服务器请求数据进行ing 四.明日规划 1.注册登录接口能够完成 2.研究idea实现获得 ...
- 凡事预则立-于Beta冲刺前
凡事预则立,在Beta开始前的描述 在Beta项目冲刺开始之前,我们小组组织了一次活动室的讨论,明确了一下分工和即将来临的Beta冲刺要处理的问题和需要继续改进的地方.顺带补上一直没有的照片: 针对几 ...
- 201621123040《Java程序设计》第十四周学习总结
1.本周学习总结 1.1以你喜欢的方式(思维导图或其他)归纳总结与数据库相关内容. 显示所有数据库: show databases; 创建数据库: create database test; 删除数据 ...
- 用python实现简单购物车功能
all_asset = 0 i1 = input("请输入总资产:") all_asset = int(i1) goods = [ {'name':'电脑','price':199 ...