使用nodejs爬取和讯网高管增减持数据
为了抓取和讯网高管增减持的数据,首先得分析一下数据的来源:
网址: http://stockdata.stock.hexun.com/ggzjc/history.shtml
使用chrome开发者工具,可以发现在切换到第二页时,浏览器向下述地址发起了网络访问请求:
http://stockdata.stock.hexun.com/ggzjc/data/ChangeHistory.aspx?count=30&page=2&callback=hxbase_json5
分析一下上述链接, count表示一页返回的结果数目,page代表页码数,callback表示回调函数的名称.
以下是发起上述URL对应的网络请求返回的数据:
很明显,这是一段javascript代码,不是json数据,无法使用python进行直接解析.为了加快项目进度,减少耦合,可以使用nodejs一步完成,不用将这个数据爬取分为抓取和解析两个步骤.
为了加快爬取速度,我们设置每发起一次请求,返回1000条数据,在给定页码范围的情况下,就可以生成由所有链接构成的数组:
- function get_url_array(start, end) {
- var url_template = "http://stockdata.stock.hexun.com/ggzjc/data/ChangeHistory.aspx?count=1000&page=%d&callback=hxbase_json5"
- var util = require("util")
- var array = new Array()
- for (var i = start; i <= end; i++) {
- var url_one = util.format(url_template, i + 1)
- array.push(url_one)
- }
- return array
- }
对于给定链接,获取该链接的数据并将其转换为javascript对象,取出其中有价值的数据list,对应函数:
- function get_data_from_url(url) {
- var request = require('sync-request');
- var user_agent_list =[
- 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
- 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1',
- 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
- 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
- 'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',
- 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56',
- "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 ",
- "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 ",
- "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 ",
- "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 ",
- "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 ",
- "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 ",
- "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 ",
- "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 ",
- "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 ",
- "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 ",
- "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 ",
- "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 ",
- "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 ",
- "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 ",
- "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36"
- ]
- var pos =randomIntRange(0,user_agent_list.length-1)
- // 增加user-agent
- var res = request('GET', url, {
- 'headers': {
- 'user-agent':user_agent_list[pos],
- 'Host': 'stockdata.stock.hexun.com',
- 'Referer': 'http://stockdata.stock.hexun.com/ggzjc/history.shtml'
- },
- retry : true,
- retryDelay: 10000,
- maxRetries: 5,
- timeout:200000
- });
- var buf = res.getBody()
- var iconv = require("iconv-lite")
- // 使用gb2312编码方式
- var data_str = iconv.decode(buf, 'gb2312')
- data_str = data_str.replace(/上海市浦东新区公共交通投资发\\/g,"上海市浦东新区公共交通投资发")
- var data_list = eval(data_str)
- return data_list.list
- }
这里面有一个小坑,在大概处理第14个链接的时候,服务器返回的数据并不是正确的javascript脚本,在此处有错误:
- //wrong !
- changePeopleTitle: '上海市浦东新区公共交通投资发\'
- //right
- changePeopleTitle: '上海市浦东新区公共交通投资发'
就因为多了一个转义符号,导致整个语句有问题,不能正确利用eval函数进行转换.这背后肯定是某位mm手残的结果.所以需要对这个bug特殊处理,对应上述代码的标红部分.这个抓取程序需要正确设置user-agent,为了防止被卡,我设置了user-agent池,利用random函数随机选取user-agent.
- //随机生成范围在low,high之间的随机数
- function randomIntRange (low, high) {
- return Math.floor(Math.random() * (high - low + 1) + low);
- }
为了解析javascript语句,需要设置和请求对应的回调函数,如下:
- function hxbase_json5(str) {
- var data = eval(str)
- return data
- }
解析javascript对象并将其存入数据库的操作定义在函数save_data_to_mysql() 中,其中利用了sequelize的orm模型来简化实现.
- function save_data_to_mysql() {
- var Sequelize = require('sequelize')
- var sleep = require("sleep")
- var sequelize = new Sequelize(
- 'dbname',
- 'root',
- 'passwd',
- {
- 'dialect': 'mysql',
- 'host': '127.0.0.1',
- 'port': 3306,
- define: {
- charset: 'utf8',
- timestamps: false
- //不定义时间戳
- }
- }
- )
- //高管增减持
- var Ggzjc = sequelize.define(
- 'table_name', {
- 'stock_code': {//股票代码
- 'type': Sequelize.STRING,
- 'allowNull': false,
- 'unique': false
- },
- 'stock_name': {//股票名称
- 'type': Sequelize.STRING,
- 'allowNull': false,
- 'unique': false
- },
- 'changeDate': {//变动日期
- 'type': Sequelize.DATEONLY,
- 'allowNull': true
- },
- 'noticeDate': {//公告日期
- 'type': Sequelize.DATEONLY,
- 'allowNull': true
- },
- 'changeNum': {// 变动数量 万股
- 'type': Sequelize.DOUBLE,
- 'allowNull': true
- },
- 'averagePrice': {//均价
- 'type': Sequelize.DOUBLE,
- 'allowNull': true
- },
- 'price': {//金额
- 'type': Sequelize.DOUBLE,
- 'allowNull': true
- },
- 'shareHoldingNum': {//变动后持股数目
- 'type': Sequelize.DOUBLE,
- 'allowNull': true
- },
- 'changeRatio': {//变动人变动比
- 'type': Sequelize.DOUBLE,
- 'allowNull': true
- },
- 'circulationCapitalRatio': {//占流通股本比例
- 'type': Sequelize.DOUBLE,
- 'allowNull': true
- },
- 'changeWay': {//变动方式
- 'type': Sequelize.STRING,
- 'allowNull': true
- },
- 'changePeople': {//股份变动人
- 'type': Sequelize.STRING,
- 'allowNull': true
- },
- 'changePeopleTitle': {//相关董事高管
- 'type': Sequelize.STRING,
- 'allowNull': true
- },
- 'duties': {//职务
- 'type': Sequelize.STRING,
- 'allowNull': true
- },
- 'relation': {//关系
- 'type': Sequelize.STRING,
- 'allowNull': true
- },
- 'industry': {//行业
- 'type': Sequelize.STRING,
- 'allowNull': true
- },
- }
- )
- Ggzjc.sync({force: true}).then(function () {
- var url_array = get_url_array(1, 58)
- for (var i = 0; i < url_array.length; i++) {
- var data = get_data_from_url(url_array[i])
- sleep.usleep(200000)
- print(i + 1)
- print('complete!')
- for (var j = 0; j < data.length; j++) {
- var changeDate = '20' + data[j].changeDate
- var noticeDate = '20' + data[j].noticeDate
- var str_array = data[j].stockName.split("(")
- var stock_name = str_array[0]
- str_array = str_array[1].split(")")
- var stock_code = str_array[0]
- var changeNum = get_content_from_html(data[j].changeNum)
- if (changeNum != null) {
- if (changeNum == "")
- changeNum = null
- else
- changeNum = parseFloat(changeNum)
- }
- var averagePrice = data[j].averagePrice
- if (averagePrice == ' ')
- averagePrice = null
- else
- averagePrice = parseFloat(averagePrice)
- var price = get_content_from_html(data[j].price)
- if (price != null) {
- if (price == '')
- price = null
- else
- price = parseFloat(price)
- }
- var shareHoldingNum = data[j].shareHoldingNum
- if (shareHoldingNum == ' ')
- shareHoldingNum = null
- else
- shareHoldingNum = parseFloat(shareHoldingNum)
- var changeRatio = data[j].changeRatio
- if (changeRatio == ' ')
- changeRatio = null
- else
- changeRatio = parseFloat(changeRatio)
- var circulationCapitalRatio = data[j].circulationCapitalRatio
- if (circulationCapitalRatio == ' ')
- circulationCapitalRatio = null
- else
- circulationCapitalRatio = parseFloat(circulationCapitalRatio)
- var changeWay = data[j].changeWay
- if (changeWay == ' ')
- changeWay = null
- var changePeople = data[j].changePeople
- // console.log(data[j].changePeople)
- if (changePeople == ' ')
- changePeople = null
- var changePeopleTitle = data[j].changePeopleTitle
- if (changePeopleTitle == ' ')
- changePeopleTitle = null
- var duties = get_content_from_html(data[j].duties)
- if (duties != null && duties == '')
- duties = null
- var relation = get_content_from_html(data[j].relation)
- if (relation != null && relation == '')
- relation = null
- var industry = data[j].industry
- if (industry == ' ')
- industry = null
- var one = Ggzjc.build({
- 'stock_code': stock_code,
- 'stock_name': stock_name,
- 'changeDate': changeDate,
- 'noticeDate': noticeDate,
- 'changeNum': changeNum,
- 'averagePrice': averagePrice,
- 'price': price,
- 'shareHoldingNum': shareHoldingNum,
- 'changeRatio': changeRatio,
- 'circulationCapitalRatio': circulationCapitalRatio,
- 'changeWay': changeWay,
- 'changePeople': changePeople,
- 'changePeopleTitle': changePeopleTitle,
- 'duties': duties,
- 'relation': relation,
- 'industry': industry
- })
- one.save()
- }
- }
- })
- }
需要解析并获取html标签<tag>content</tag>中的content,利用正则表达式取出><中间的文本就可以了.
- function get_content_from_html(str) {
- var pattern = />[\s\S]+?</g
- var res = str.match(pattern)
- if (res == null) {
- return null
- }
- var result = res[0]
- return result.slice(1, result.length - 1)
- }
done!
附注:
借助python execjs和pandas,我实现了以更加优美的姿势爬取上述内容,代码详见我的github:
https://github.com/zhoudayang/get_hexun
使用nodejs爬取和讯网高管增减持数据的更多相关文章
- 网络爬虫之定向爬虫:爬取当当网2015年图书销售排行榜信息(Crawler)
做了个爬虫,爬取当当网--2015年图书销售排行榜 TOP500 爬取的基本思想是:通过浏览网页,列出你所想要获取的信息,然后通过浏览网页的源码和检查(这里用的是chrome)来获相关信息的节点,最后 ...
- 使用python爬取东方财富网机构调研数据
最近有一个需求,需要爬取东方财富网的机构调研数据.数据所在的网页地址为: 机构调研 网页如下所示: 可见数据共有8464页,此处不能直接使用scrapy爬虫进行爬取,因为点击下一页时,浏览器只是发起了 ...
- Node.js爬虫-爬取慕课网课程信息
第一次学习Node.js爬虫,所以这时一个简单的爬虫,Node.js的好处就是可以并发的执行 这个爬虫主要就是获取慕课网的课程信息,并把获得的信息存储到一个文件中,其中要用到cheerio库,它可以让 ...
- python 爬虫之爬取大街网(思路)
由于需要,本人需要对大街网招聘信息进行分析,故写了个爬虫进行爬取.这里我将记录一下,本人爬取大街网的思路. 附:爬取得数据仅供自己分析所用,并未用作其它用途. 附:本篇适合有一定 爬虫基础 crawl ...
- Python爬虫之爬取慕课网课程评分
BS是什么? BeautifulSoup是一个基于标签的文本解析工具.可以根据标签提取想要的内容,很适合处理html和xml这类语言文本.如果你希望了解更多关于BS的介绍和用法,请看Beautiful ...
- 基于爬取百合网的数据,用matplotlib生成图表
爬取百合网的数据链接:http://www.cnblogs.com/YuWeiXiF/p/8439552.html 总共爬了22779条数据.第一次接触matplotlib库,以下代码参考了matpl ...
- 八爪鱼采集器︱爬取外网数据(twitter、facebook)
每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 要想采集海外数据有两种方式:云采集+单机采集. ...
- 爬虫入门(四)——Scrapy框架入门:使用Scrapy框架爬取全书网小说数据
为了入门scrapy框架,昨天写了一个爬取静态小说网站的小程序 下面我们尝试爬取全书网中网游动漫类小说的书籍信息. 一.准备阶段 明确一下爬虫页面分析的思路: 对于书籍列表页:我们需要知道打开单本书籍 ...
- Scrapy爬虫(5)爬取当当网图书畅销榜
本次将会使用Scrapy来爬取当当网的图书畅销榜,其网页截图如下: 我们的爬虫将会把每本书的排名,书名,作者,出版社,价格以及评论数爬取出来,并保存为csv格式的文件.项目的具体创建就不再多讲 ...
随机推荐
- PHPstorm端口配置问题
- usb调试
修改文件:/home/mxy/code/v1/kernel-3.10/drivers/power/mediatek/battery_common.c //bool AutoDebug=true;//x ...
- windows 2003添加删除windows组件中无iis应用程序服务器项的解决方法
解决方法如下: 1.开始 -- 运行,输入 c:\Windows\inf\sysoc.inf,会打开这个文件;在sysoc.inf中找到"[Components]"这一段,并继续找 ...
- sql server 行转列 Pivot UnPivot
SQL Server中行列转换 Pivot UnPivot 本文转自:张志涛 原文地址: http://www.cnblogs.com/zhangzt/archive/2010/07/29/17878 ...
- PHP模板解析类实例
作者:mckee 这篇文章主要介绍了PHP模板解析类,涉及php针对模板文件的解析与字符串处理的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下 <?php class template { ...
- 百度网盘API的操作--PCS 百度个人云存储 上传 ,下载文件
来自http://blog.csdn.net/u014492257/article/details/39856403 另外需要所有API使用方法的请访问本人上传的资源(需要3个下载分的)链接: htt ...
- [Unity]背包效果-使用NGUI实现物品的拖拽效果Drag
背包效果-使用NGUI实现物品的拖拽效果Drag 效果实现如图 对象层级关系图 PacketCell - Right 对象作为单元格背景 PacketContainer 对象作为单元格容器 Packe ...
- Query插件之ajaxFileUpload使用方法——input.change()事件的时候实现文件上传
点击下载 这是HTML <input id="uploadedfile" name="uploadedfile" type="file" ...
- CodeForces 605B Lazy Student
构造.对边的权值排序,权值一样的话,在MST中的边排到前面,否则权值小的排在前面. 然后边一条一条扫过去,如果是1 ,那么连一个点到集合中,如果是0,集合内的边相连. #include<cstd ...
- 左倾堆(C#)
参考:http://www.cnblogs.com/skywang12345/p/3638384.html using System; using System.Collections.Generic ...