一:什么是Splash

Splash是一个 JavaScript渲染服务,是一个带有 HTTPAPI 的轻量级浏览器

1 功能介绍

利用 Splash,我们可以实现如下功能:

口异步方式处理多个网页渲染过程;

口 获取渲染后的页面的源代码或截图;

口 通过关闭图片渲染或者使用 Adblock规则来加快页面渲染速度;

口 可执行特定的 JavaScript脚本;

口可通过 Lua 脚本来控制页面渲染过程;

口 获取渲染的详细过程并通过 HAR ( HTTP Archive )格式呈现。

2:安装教程(不做介绍,小伙伴可自行百度,教程很多)

3:Splash使用到的方法:

go()--------------go()方法去加载页,且它可以模拟 GET 和 POST请求,同时支持传入请求头,表单等数据

wait()------------wait()方法可以控制页面的等待时间

evaljs()----------evaljs()方法传入JavaScript脚本并返回最后一条 JavaScript语句的返回结果

wait()----------- wait()方法类似于 Python 中的 sleep(),其参数为等待的秒数。

jsfunc() ------------可以直接调用 JavaScript 定义的方法,但是所调用的方法需要用双中括号包围,这相当于 实现了                                 JavaScript方法到 Lua脚本的转换

runjs()------------runjs()方法可以执行 JavaScript 代码,它与 evaljs()的功能类似,但是更偏向于执行某些动作或声                          明 某些方法

autoload() ------ autoload() 方法可以设置每个页面访问时自动加载的对象

call_later()--------方法可以通过设置定时任务和延迟时间来实现任务延时执行,井且可以在执行前通过 cancel() 方法                            重新执行定时任务

http_get() --------此方法可以模拟发送 HTTP 的 GET请求

http _post()-----http_get()方法类似,此方法用来模拟发送 POST请求,不过多了一个参数 body

set_content() ------此方法用来设置页面的内容

html() ----------此方法用来获取网页的源代码

png() ------------此方法用来获取 PNG 格式的网页截图

jpeg() -----------此方法用来获取 JPEG 格式的网页截图

har() ------------此方法用来获取页面加载过程描述

url() ------------此方法可以获取当前正在访问的 URL

get_cookies() -----此方法可以获取当前页面的 Cookies

add_cookie() -----此方法可以为当前页面添加 Cookie

clear_ cookies() ---此方法可以清除所有的 Cookies

get_viewport_size() ---此方法可以获取当前浏览器页面的大小,即宽高

set_viewport_full() ---此方法可以设置浏览器全屏显示

set_user_agent() ----此方法可以设置浏览器的 User-Agent

set_custom_headers() ---此方法可以设置请求头

select() -------该方法可以选中符合条件的第一个节点,如果有多个节点符合条件, 则只会返回一个,其参数是 css                         选择器

select_all() ------此方法可以选中所有符合条件的节点,其参数是 css 选择器

mouse_click() ------此方法可以模拟鼠标点击操作,传入的参数为坐标值 x 和 y。 此外,也可以直接选中某个节点,                                  然后调用此方法

4:Splash 对象属性

function main(splash, args)
local url = args.url
end

• splash

main()方法的第一个参数是 splash ,这个对象非常重要,它类似于 Selenium 中的 WebDriver 对象,我们可以调用它的一些属性和方法来控制加载过程

• args

该属性可以获取加载时配置的参数

• js_enabled

这个属性是 Splash的JavaScript执行开关,可以将其配置为true或false来控制是否执行JavaScript 代码,默认为 true

• resource_timeout

此属性可以设置加载的超时时间,单位是秒。 如果设置为 0 或 nil (类似 Python 中的 None ),代 表不检测超时

• images_ enabled

此属性可以设置图片是否加载,默认情况下是加载的

• plugins _enabled

此属性可以控制浏览器插件(如 Flash 插件)是否开启 。 默认情况下,此属性是 false,表示不开 启

• scroll_position

通过设置此属性,我们可以控制页面上下或左右滚动。 这是一个比较常用的属性

二:Splash API 调用

• render.html 

此接口用于获取 JavaScript渲染的页面的 HTML 代码,接口地址就是 Splash 的运行地址加此接口 名称,

• render.pug

此接口可以获取网页截图,其参数比 render.html 多了几个,比如通过 width 和 height 来控制宽高, 它返回的是 PNG 格式的图片二进制数据

render.jpeg

此接口和 render.pug类似,不过它返回的是 JPEG 格式的图片二进制数据。
另外, 此接口比 render.png 多了参数 quality,它用来设置罔片质量。

render.bar

此接口用于获取页面加载的 HAR数据,它的运回结果非常多,是一个 JSON 格式的数据,其中包含页面加载过程巾的 HAR数据。

render.json

此接口包含了前面接口的所有功能,返回结果是 JSON 格式

• execute
此接口才是最为强大的接口 。 前面说了很多 Splash Lua脚本的操作,用此接口便可实现与 Lua脚 本的对接。

如果要实现 一些交互操作的话,这里就需要使用 execute 接口了。

Scrapy对接Splash基础知识学习的更多相关文章

  1. (转)Linux基础知识学习

    Linux基础知识学习 原文:http://blog.csdn.net/ye_wei_yang/article/details/52777499 一.Linux的磁盘分区及目录 Linux的配置是通过 ...

  2. GCC基础知识学习

    GCC基础知识学习 一.GCC编译选项解析 常用编译选项 命令格式:gcc [选项] [文件名] -E:仅执行编译预处理: -S:将C代码转换为汇编代码: -c:仅执行编译操作,不进行连接操作: -o ...

  3. Objective-c基础知识学习笔记

    Objective-c基础知识学习笔记(一) 一直有记录笔记的习惯.但非常久没分享一些东西了,正好上半年開始学习IOS了,如今有空写点.因开发须要,公司特意为我们配置了几台新MAC.还让我们自学了2周 ...

  4. AXAJ基础知识学习

    AXAJ基础知识学习 博客首页 Ajax简介 ajxa全称是Asynchronous Javascript And XML ,就是异步的JS 和XML 通过Ajax可以再浏览器中向服务器发送异步请求, ...

  5. Vue2基础知识学习

    Vue2基础知识学习 01.初识 new Vue({ el: '#root', //用于指定当前Vue实例为哪个容器服务,值通常为css选择器符 data () { return { } } }); ...

  6. C#基础知识学习

    C#基础知识整理 学习地址:http://blog.csdn.net/column/details/csarp.html

  7. 韩天峰博客 php基础知识学习记录

    http://rango.swoole.com 写好PHP代码真的不容易,给大家几个建议: 慎用全局变量,全局变量不好管理的,会导致你的代码依赖于全局变量,而耦合度太高. 一定不要复制粘贴代码,可重用 ...

  8. 〖前端开发〗HTML/CSS基础知识学习笔记

    经过一天的学习,把慕课网的HTML/CSS基础知识学完了,笔记整理: 1. 文件结构: HTML文件的固定结构: <html> <head>...</head> & ...

  9. Linq的简介和基础知识学习

    学习LINQ之前,我们要知道LINQ是干什么,解决什么问题的,怎样学习? 一.LINQ简介 1.什么是LINQ? 什么是LINQ?LINQ中文翻译为语言集成查询(Language Integrated ...

随机推荐

  1. 无法从其“Checked”属性的字符串表示形式“checked”创建“System.Boolean”类型

    如果你要在后台进行设置的话...在<input type="radio" id="dd" name="dd" runat=" ...

  2. JS之用ES6 Promise解决回调地狱(这里以小程序为例)

    首先 写一个请求的方法,如: /** * 银行窗口 * 你需要给我提供相关的相关参数我帮你提交到服务器上 * 我会给你一个等待区的编号给你 你去等待区等待,我处理完成会去等待区通知你 * @param ...

  3. JS闭包和引用

    简介 Javascript 中一个最重要的特性就是闭包的使用.因为闭包的使用,当前作用域总可以访问外部的作用域.因为Javascript 没有块级作用域,只有函数作用域,所以闭包的使用与函数是紧密相关 ...

  4. 【代码笔记】Web-JavaScript-JavaScript用法

    一,效果图. 二,代码. <!DOCTYPE html> <html> <head> <meta charset="utf-8"> ...

  5. 关于jQuery出现的新添加元素点击事件无效

    //通常点击写法: $(".div").on('click', function () { var $this = $(this); var isActive = $this.ha ...

  6. React Render Props 模式

    概述 Render Props模式是一种非常灵活复用性非常高的模式,它可以把特定行为或功能封装成一个组件,提供给其他组件使用让其他组件拥有这样的能力,接下来我们一步一步来看React组件中如何实现这样 ...

  7. debian+python3.5环境下安装paramiko模块:

    debian+python3.5环境下安装paramiko模块: 1.确保安装了操作系统安装了libssl-dev,zlib1g-dev  (redhat,centos下这两包包名为openssl-d ...

  8. GDAL获取投影坐标系注意问题

    GDAL提供了获取投影坐标系的C函数GDALGetProjectionRef以及对应的C++函数GetProjectionRef, 但在获取投影坐标系之前需要设置通过CPLSetConfigOptio ...

  9. MySQL MySql连接数与线程池

    MySql连接数与线程池 by:授客 QQ:1033553122 连接数 1.  查看允许的最大并发连接数 SHOW VARIABLES LIKE 'max_connections'; 2.  修改最 ...

  10. LoadRunner11录制脚本出现的问题

    问题一:无法启动IE浏览器 原因:设置录制程序的录制填写错误,因为IE有两个一个是32位的一个是64位的 我们需要设置浏览器为IE 32位即可正常运行 问题二:无法录制百度等官网页面 原因:录制选项中 ...