var fs = require('fs');var xpath = require('xpath');var dom = require('xmldom').DOMParser; // Read the file:var data = fs.readFileSync(file, { encoding : 'UTF-8' }); // Create an XMLDom Element:var doc = new dom().parseFromString(data); // Parse XML…

var xpath = require('xpath'); //引用xpath包 var dom = require('xmldom-silent').DOMParser;//引用xmldom包 var request=require('request'); var fs=require('fs'); var urlencode = require('urlencode');//引用url解码和编码包 var headers = { 'User-Agent': 'Mozilla/5.0 (iPh…

测试xpath的工具 http://www.freeformatter.com/xpath-tester.html#ad-output http://www.xpathtester.com/test 教程 http://www.w3school.com.cn/xpath/xpath_syntax.asp 解析xml可以安装这个包 https://github.com/yaronn/xpath.js支持xpath.使用方法大致如下: 首先安装这个包 npm install xpath.js 再安装…

因为一些业务需求需要采集淘宝店铺商品的销售价格,但是淘宝详情页面的价格显示是通过js动态调用显示的.所以就没法通过普通的获取页面html然后通过正则或者xpath的方式获取到想到的信息了. 所幸我们现在有了casperjs.这个是一个基于Phantomjs的库,而Phantomjs则是一个服务器端的js api的webkit浏览器.是不是很神奇?真的是.net的以外的世界很神奇,我们要多走去看看. 好了,现在废话不多说,开始切入正题. 首先就是就是几个相关库的安装.安装过程很简单,相关内容大家百…

nodejs 快要变成爬虫界的王者 爬虫这东西是很多数据采集必须要的东西. 但是现在随着网页不断发展,已经出现了出单纯的网页,到 ajax 网页, 再到 spa , 再到 websocket 应用,一直在变化,爬虫不变化怎么能行呢.爬虫从只爬网页,到ajax,一直工作的很好.而对于现在的 spa和websocket 网页传统的爬虫基本上没有很好的办法进行处理,怎么办. 最新的技术手段进行分析如下: 数据直接从浏览器端拿到,通过 server browser 和 注入脚本.直接在浏览器端执行脚本,…

从零开始nodejs系列文章,将介绍如何利Javascript做为服务端脚本,通过Nodejs框架web开发.Nodejs框架是基于V8的引擎,是目前速度最快的Javascript引擎.chrome浏览器就基于V8,同时打开20-30个网页都很流畅.Nodejs标准的web开发框架Express,可以帮助我们迅速建立web站点,比起PHP的开发效率更高,而且学习曲线更低.非常适合小型网站,个性化网站,我们自己的Geek网站!! 关于作者 张丹(Conan), 程序员Java,R,PHP,Java…

OS Node.js提供了一些基本的底层操作系统的模块OS. API var os = require('os'); console.log('[arch] 操作系统CPU架构'+os.arch()); console.log('[cpus] 每个CPU/内核的信息:'+JSON.stringify(os.cpus())); console.log('[endianness] CPU 的字节序:'+os.endianness()); console.log('[freemem] 操作系统空闲内存…

Path模块 NodeJs提供的Path模块,使得我们可以对文件路径进行简单的操作. API var path = require('path'); var path_str = '\\Users\\Administrator\\Desktop\\event.js'; console.log('文件名带后缀:',path.basename(path_str)); console.log('文件名不带后缀:',path.basename(path_str, '.html')); console.l…

关于调试 当我们只专注于前端的时候,我们习惯性F12,这会给我们带来安全与舒心的感觉. 但是当我们使用NodeJs来开发后台的时候,我想噩梦来了. 但是也别泰国担心,NodeJs的调试是很不方便!这是肯定的. 但是还好,我们有## node-inspector ##来帮助我们解决一部分的调试问题,但是对于异步能力很强的NodeJs它还是有点力不从心. node-inspector 安装node-inspector 依旧是通过npm来全局安装node-inspector npm install -…

环境:ubuntu16.04 ubuntu中安装NodeJs 通过apt-get命令安装后发现只能使用nodejs,而没有node命令 如果想避免这种情况请看下面连接的这种安装方式: 拓展见:Linux下Nodejs安装(完整详细) 如果想解决问题的话,输入下面的命令即可 sudo ln -s /usr/bin/nodejs /usr/bin/node npm intsall安装依赖报错 在package.json中添加: "private": true 拓展见:npm WARN pa…