小文笔记 - phantomjs 视频推荐: http://www.intalesson.com/compedium/phantom 2017-05-13 第一节:安装 Windows安装: 下载解压文件 我的电脑 -> 属性 -> 高级系统设置 点击环境变量 在系统变量窗口中,找到Path变量,选中然后选择编辑 新建后,添加新的环境变量(phantomjs.exe)所在路径 在cmd中,运行phantomjs Mac安装: 下载解压文件 在用户目录下查看ls -a查看全部文件 打开.bash…

The Casper class The easiest way to get a casper instance is to use the module's create() method: 最简单获取casper实例的方法是casper模块的create()方法: var casper = require('casper').create(); But you can also retrieve the main Function and instantiate it by yoursel…

scrollTo() 具体样式: scrollTo(Number x, Number y) New in version 1.1-beta3. Scrolls current document to the coordinates defined by the value of x and y: 当前文档去滑动到被设定的x轴和y轴的坐标轴 casper.start('http://foo.bar/home', function() { this.scrollTo(500, 300); }); N…

笔记-python-selenium,phantomjs 1.      简介 1.1.    selenium selenium是一款自动化测试工具,支持多种语言 为什么爬虫要使用selenium呢? 主要是用来解决javascript渲染的问题. Selenium,作为一个Web应用程序测试的工具,功能显然更加强大.Selenium的核心Selenium Core基于JsUnit,完全由JavaScript编写,因此可运行于任何支持JavaScript的浏览器上. 文档:http://www…

PhantomJS笔记,Node.js集成PhantomJS 转 https://www.linchaoqun.com/html/cms/content.jsp?menu=index&id=1511140432245 http://phantomjs.org/ https://github.com/ariya/phantomjs https://www.npmjs.com/package/phantom https://github.com/amir20/phantomjs-node Phant…

1.debian8里安装phantomjs的方法: 参照:http://www.cnblogs.com/lgh344902118/p/6369054.html a.去https://bitbucket.org/ariya/phantomjs/downloads/ 下载最新的包,例如 wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2 建议用最新的,我试了用1.9.6配合…

0x00 安装PhantomJS(linux环境安装) 将PhantomJS下载在/usr/local/src/packet/目录下(这个看个人喜好) 操作系统:CentOS 7 64-bit 1.下载地址:http://phantomjs.org/download.html 2.文件名:phantomjs-2.1.1-linux-x86_64.tar.bz2 # 下载好后进行解压(由于是bz2格式,要先进行bzip2解压成tar格式,再使用tar解压) bzip2 -d phantomjs-2…

配置pip文件 Windows下pip 配置文件的位置%HOME%/pip/pip.ini linux下安装pip,以Debian Linux为例su -apt-get install python-pip linux下pip的配置文件是$HOME/.pip/pip.conf 验证安装源是否修改成功su -python -m pip install -upgrade pip pip文件内容 [global]index-url = https://pypi.mirrors.ustc.edu.cn/…

Web Scraping with Python读书笔记 标签(空格分隔): web scraping ,python 做数据抓取一定一定要明确:抓取\解析数据不是目的,目的是对数据的利用 一般的数据抓取结构如下: 概要 一个简单的web数据抓取的流程就像下面的图一样 HTML获取 分析工具 Firefox Firebug 工具包 urllib urllib2 Requests phantomjs selenium 反反爬虫策略 动态设置User-Agent Cookie的使用 时间延迟/动态延…

笔记之Python网络数据采集 非原创即采集 一念清净, 烈焰成池, 一念觉醒, 方登彼岸 网络数据采集, 无非就是写一个自动化程序向网络服务器请求数据, 再对数据进行解析, 提取需要的信息 通常, 有api可用, api会比写网络爬虫程序来获取数据更加方便. Part1 创建爬虫 Chapter1 初建网络爬虫 一旦你开始采集网络数据, 就会感受到浏览器为我们所做的所有细节, 它解释了所有的html, css, JavaScript 网络浏览器是一个非常有用的应用, 它创建信息的数据包, 发送…