puppeteer插件

2024-09-02

【每周小项目】使用 puppeteer 插件爬取动态网站

目录 0. 前言问题解决 1. 下载与引包 2. 使用步骤 3. 爬过的几个坑 page.evaluate 的传参问题元素操作问题 0. 前言这两天对爬虫开始感兴趣,最开始是源于天涯的一个房价神贴,盖了上万层,追着读了好久.天涯网页端的"只看楼主"需要会员,手机端可以"只看楼主",但是体验不太好,记录也不方便,于是决定把楼主发言单独爬下来,既可以保存,也可以检索. 最开始想法很简单,对每一页进行元素检索,发帖人与楼主名字匹配的,就把里面的content拷出来

学信网改绑手机号码，但是忘记了老号码怎么办？利用node.js + puppeteer 跑脚本实现改绑手机号

最近登录学信网发现自己学信网上绑定的手机号码不是目前自己使用的手机号码,于是想改绑手机号,但是发现不记得之前的手机号码了: 于是百度各种方法都无济于事:也不想重新注册账号,最后看见一篇文章通过Python写脚本模拟提交这个号段的所有号码做验证,感觉挺靠谱,但是本人不会Python,也不想现学,不过我会node.js,我想通过 node.js + puppeteer 实现相同的功能,于是开干: 第一步:登录"查号吧"查找出匹配老号码的所有号段:传送门输入学信网提示的老号码的前三位与后两

prerender-spa-plugin Vue预渲染配合meta-info优化seo

记录一下解决方案的过程先安装prerender和puppeteer插件这个国外大神写的 github地址就不附上了(百度有) cnpm install prerender-spa-plugin npm install --save puppeteer --ignore-scripts 这里注意一定要用cnpm代理下载不然下载不到chromium 安装好之后注意在package.json上查看版本号不同版本号有不同的写法这个一定要注意(可以上github上查看不同版本的写

借助Chrome和插件爬取数据

工具 Chrome浏览器 TamperMonkey ReRes Chrome浏览器 chrome浏览器是目前最受欢迎的浏览器,没有之一,它兼容大部分的w3c标准和ecma标准,对于前端工程师在开发过程中提供了devtools和插件等工具,非常方便使用.在爬取数据的过程中,最常用的应该是开发工具中的Element.Source和Network功能,分别查看DOM结构,源码和网络请求.同时,有很多基于Chrome浏览器的插件又给我们赋予了浏览器级别的能力,来处理数据. TamperMonkey Ta

web前端自动化测试/爬虫利器puppeteer介绍

web前端自动化测试/爬虫利器puppeteer介绍 Intro Chrome59(linux.macos). Chrome60(windows)之后,Chrome自带headless(无界面)模式很方便做自动化测试或者爬虫.但是如何和headless模式的Chrome交互则是一个问题.通过启动Chrome时的命令行参数仅能实现简易的启动时初始化操作.Selenium.Webdriver等是一种解决方案,但是往往依赖众多,不够扁平. Puppeteer是谷歌官方出品的一个通过DevTools协议

webpack中插件 prerender-spa-plugin 来进行SEO优化(二十四)

vue.react对于开发单页应用来说带来了很好的用户的体验,但是同样有缺点,比如首页加载慢,白屏或SEO等问题的产生.为什么会出现这种情况呢?我们之前开发单页应用是这样开发的,比如首页 index.html页面或许是这样的: <!DOCTYPE html> <html> <head> <title>webpack+vue项目架构</title> <meta charset="utf-8"> <meta na

puppeteer（六）启动参数——浏览器扩展应用的添加及应用

前言最近再做浏览器的自动化,首页是定制化的,是通过extension(扩展)实现的,由于通过puppeteer默认是以无参(即首次以干净的环境)运行的,导致登录页无法正常显示,首先想当然是直接找扩展crx插件,结果是以失败告终,开始以为是调的方式方法不正确,最后询问几个大虾,都一致认为是在userdata下的扩展.如下两张图的对比代码 const puppeteer = require('puppeteer'); //导入模块 const path = require('path'); (a

Puppeteer - 谷歌推出的自动化测试工具库

Puppeteer 是一个 Node 库,它提供了一个高级 API 来通过 DevTools 协议控制无头 Chrome 或 Chromium.它允许你从浏览器之外的环境(即命令行)与Chromium进行交互,可以让用户界面测试自动化变得轻而易举.还可以用来生成网页快照和PDF文件. 在线演示免费下载您可能感兴趣的相关文章网站开发中很有用的 jQuery 效果[附源码] 分享35个让人惊讶的 CSS3 动画效果演示十分惊艳的8个 HTML5 & JavaScript 特效 We

Sketch网页截屏插件设计开发

1.需求在Sketch的Artboard中插入网页截图: 1.1.输入网址,自动截图到Artboard中,并居中显示: 1.2.可截取网页局部图片 2.技术选型技术的选型主要是针对截图功能的选型,插件技术选用sketch-webview-kit. 截图技术主要有phantomjs.puppeteer.html2canvas等技术可以实现截图功能. phantomjs.puppeteer是 headless 浏览器技术,puppeteer依赖于node,它们的主要区别如下:

爬虫利器 Puppeteer

http://wintersmilesb101.online/2017/03/24/use-phantomjs-dynamic/ 一起学爬虫 Node.js 爬虫篇(三)使用 PhantomJS 爬取动态页面 https://www.jianshu.com/p/a9a55c03f768 爬虫利器 Puppeteer 实战 https://jeffjade.com/2017/12/17/134-kinds-of-toss-using-puppeteer/ 大前端神器安利之 Pup

令人惊叹的Chrome浏览器插件

Chrome是一个简洁而又高效(高性能,高消耗)的浏览器.接下来让我吐血推荐一些常用的Chrome插件. 日常插件 uBlock Origin ----- 比Adblock性能更高的广告插件. Adkill and Media Download ----- 针对视频广告过滤,并解析在线视频下载. PS:不一定所有视频网站都适用. Selection Search ----- 强大的搜索插件,包括右键多搜索引擎,划词搜索,顶部输入搜索. 划词翻译 -----支持各种翻译词典语言翻译,划词翻译. 腾

Vue常用插件总结

Vue-router ----- 路由插件 Vue-loader-----webpack的加载器,允许您以称为单文件组件(SFC)的格式创作Vue组件 Vue-resource-----提供了使用XMLHttpRequest或JSONP 发出Web请求和处理响应的服务. Vuex ----- 专为 Vue.js 应用程序开发的状态管理模式 { mapActions, mapState } from "vuex md5 ----- 加密密码 qrcode -----生成二维码

以puppeteer抓取微指数，puppeteer基本示例，docker部署headless

还是直接上代码 https://github.com/cclient/weizhishu-puppeteer 根据关键字获取微博指数早期版本以常规的构造cookie,token,sign的访问api的方式实现,因官方改版失效移动端web逆向反而比桌面端简单,并没有涉及到token,sign,http请求方式已经实现,代码就不方便公开了,一共也就不到100行. 这里主要是尝试另处一种思路,以headless的方式来实现(虽然没必要) 选型 phantomjs 之前写过些自动化工具,开发体验很差

【基于PUPPETEER前端自动化框架】【一】TypeScript+Puppeteer+Jest 整合

前提:掌握Jest + Puppeteer 1.Jest环境配置 2.Jest-MATCHERS匹配器 3.Jest-全局变量设置 4.Puppeteer安装 5.Puppeteer元素获取 6.Puppeteer文本值获取 7.Puppeteer iframe切换 8.Puppeteer 拖拽 9.Puppeteer Js脚本执行一需要安装的插件安装包命令 TypeScript npm install typescript --save-dev Jest npm install jes

Angular杂谈系列1-如何在Angular2中使用jQuery及其插件

jQuery,让我们对dom的操作更加便捷.由于其易用性和可扩展性,jQuer也迅速风靡全球,各种插件也是目不暇接. 我相信很多人并不能直接远离jQuery去做前端,因为它太好用了,我们以前做的东西大多基于jQuery和它的插件.而且现在Angular2的组件生态还不是很完善,我们在编写Angular的时候也许会想要用到jQuery.本篇文章就简单介绍下在Angular2中使用jQuery 如果你不知道怎么搭建Angular2开发环境,请参考我之前写这篇文章:Angular2入门系列教程1-使用

Jenkins 安装的HTML Publisher Plugin 插件无法展示ant生成的JunitReport报告

最近在做基于jenkins ant junit 的测试持续集成,单独ant junit生成的junitreport报告打开正常,使用Jenkins的HTML Publisher Plugin 插件无法正常展示报告内容,仅有三个frame占位框,如下图所示这是由于jenkins一些安全设置导致的展示不全问题,点击F12,可以看到如下报错解决办法方法一:登陆jenkins系统,点击"系统管理"----"脚本命令行",执行如下命令,重新刷新JunitReport日

常用 Gulp 插件汇总 —— 基于 Gulp 的前端集成解决方案（三）

前两篇文章讨论了 Gulp 的安装部署及基本概念,借助于 Gulp 强大的插件生态可以完成很多常见的和不常见的任务.本文主要汇总常用的 Gulp 插件及其基本使用,需要读者对 Gulp 有一个基本的了解.如果你对 Gulp 还不是很了解,可以通过下面两篇文章快速了解 Gulp . 由于几乎所有的插件都有非常友好的使用文档,所以本文不讨论涉及插件使用的东西,仅是一个汇总.排名不分先后. 相关连接导航在windows下安装gulp —— 基于 Gulp 的前端集成解决方案(一) 执行 $Gul

solr服务中集成IKAnalyzer中文分词器、集成dataimportHandler插件

昨天已经在Tomcat容器中成功的部署了solr全文检索引擎系统的服务:今天来分享一下solr服务在海量数据的网站中是如何实现数据的检索. 在solr服务中集成IKAnalyzer中文分词器的步骤: 1.下载IKAnalyzer分词器的压缩包并解压: 2.将IKAnalyzer压缩包中的jar包复制到Tomcat容器中已经部署的solr项目中的WEB-INF/lib目录下: 3.在Tomcat容器的solr项目中的WEB-INF/目录创建一个classes目录(默认该目录是不存在的,需手动创建)

使用Visual Studio SDK制作GLSL词法着色插件

使用Visual Studio SDK制作GLSL词法着色插件我们在Visual Studio上开发OpenGL ES项目时,避免不了写Shader.这时在vs里直接编辑shader就会显得很方便.但是vs默认是不支持GLSL的语法着色的,我们只好自己动手创造.最简单的实现自定义语法着色的方法就是创建一个VSIX插件包,我们只需要安装Visual Studio SDK,使用内置的模版就可以构建一个插件项目. 1. 安装Visual Studio SDK 在http://www.microsof

工欲善其事，必先利其器之 VS2013全攻略(安装，技巧，快捷键，插件）！

如有需要WPF工具的朋友可以移步工欲善其事,必先利其器之 WPF篇: 随着开发轨迹来看高效WPF开发的工具和技巧之前一篇<c++的性能, c#的产能?!鱼和熊掌可以兼得,.NET NATIVE初窥>承蒙大家喜爱和编辑推荐,在此非常感谢大家支持.在回复中我发现很多朋友还在使用老的IDE,当然有些是公司决定的,和个人无关.但是有条件的话还是新的IDE比较适合大家,毕竟新的IDE会有新的特性来减少大家编程时间,加快效率,这样就会挤出更多的时间给大家思考.做.NET, VS是必备的.所以这次我想

puppeteer插件

热门专题