菜鸟一枚,业余一直想做个火车票查票的H5,前端页面什么的已经写好了,node+mongoDB 也写了一个车站的接口,但

接下来的爬12306获取车次信息数据一直卡住,网上的爬12306的大部分是python,node的资料比较少,而且本身也不会node.js,

没有任何基础,只能看着文档写几个小demo...

nodejs爬取查票接口,获取json数据,由于12306的查票接口返回的数据是经过加密的,所以要再对result进行解析输出

写这个的时候,找了好多,还学了python,准备用pthon爬虫,python里有urllib爬虫很方便,想要用nodejs爬接口数据,

搜了好多,被网上的一些资料给误导了,一直用https和request请求,设置rejectUnauthorized: false忽略证书认证,还有

什么下载证书,读取证书,结果一直爬不到数据,在这里卡了好久,后来在踩了好多坑以及不断尝试的过程中偶然发现其实很简单(菜鸟o(╥﹏╥)o)

安装superagent

npm install superagent --save

js代码

var superagent = require('superagent')
var express = require('express');
var app = express();
var router = express.Router();
var stationobj = require('../models/query'); router.post("/", function(req,res,next){ // 前端请求用post
var params = req.body
var fromsta = 'BJP';
var tosta = 'HZH';
var listrpage = params.listrpage?params.listrpage:1;
for(let i in stationobj){ // 把车站名解析成三字码
fromsta = stationobj[params.FromStation]
tosta = stationobj[params.ToStation]
}
//获取查询参数
var config = {
time:params.FromDate,//日期格式必须是这样
from_station:fromsta,//始发站车站代码,这里是北京北
end_station:tosta,//车次
}; // https://kyfw.12306.cn/otn/leftTicket/queryO?leftTicketDTO.train_date=2018-10-20&leftTicketDTO.from_station=HZH&leftTicketDTO.to_station=SHH&purpose_codes=ADULT
const url = 'https://kyfw.12306.cn/otn/leftTicket/queryO?leftTicketDTO.train_date='+config.time+'&leftTicketDTO.from_station='+config.from_station+'&leftTicketDTO.to_station='+config.end_station+'&purpose_codes=ADULT' let lists = [] superagent.get(url)
.end(function(response,result){
if (result.statusCode==200) {
const r = result.body
const flag = r.data.flag
const map = r.data.map
const ress = r.data.result let priceParams = {}
ress.forEach((item,index)=>{
console.log(item.split('|'))
let list = {}
list.train_id = item.split('|')[2]
list.train_no = item.split('|')[3]
for(var key in stationobj){
if(stationobj[key]===item.split('|')[4]){
list.from_station_name = key
}
if(stationobj[key]===item.split('|')[7]){
list.to_station_name = key
}
}
list.start_time = item.split('|')[8]
list.arrive_time = item.split('|')[9]
list.duration = item.split('|')[10].split(':')[0]+'时'+item.split('|')[10].split(':')[1]+'分'
list.if_can_by = item.split('|')[11]
list.leave_time = item.split('|')[13]
list.seat_type = item.split('|')[15]
list.seat_types = item.split('|')[35]
list.from_station_no = item.split('|')[16]
list.to_station_no = item.split('|')[17]
// 普通K:21:软卧、 24:无座  25:  26:硬卧  27:硬座  
// 普通T:19:高级软  20:其它  21:软卧  24:无座  26:硬卧  27:硬座
// 普通Z:19:高级软  21:软卧  24:无座  26:硬卧  27:硬座
// 普通Y:22:软座   24:无座  27:硬座
// 高铁G:23:特等   24:无座  28:二等  29:一等  30:商务
// 城际C:23:特等   24:无座  28:二等  29:一等  30:商务 
// 动车D:21:软卧   24:无座  28:二等  29:一等  31:动卧 
if(list.train_no.substr(0,1)=='K'||
list.train_no.substr(0,1)=='T'||
list.train_no.substr(0,1)=='Z'){
list.zc0 = '软卧'
list.zc1 = '硬卧'
list.zc2 = '硬座'
list.zc3 = '无座'
list.num0 = item[23]?'有票':'无票'
list.num1 = item[28]?'有票':'无票'
list.num2 = item[29]?'有票':'无票'
list.num3 = item[26]?'有票':'无票'
}
if(list.train_no.substr(0,1)=='Y'){
list.zc0 = '软座'
list.zc1 = '硬座'
list.zc2 = '无座'
list.zc3 = ''
list.num0 = item[24]?'有票':'无票'
list.num1 = item[29]?'有票':'无票'
list.num2 = item[26]?'有票':'无票'
list.num3 = ''
}
if(list.train_no.substr(0,1)=='D'){
list.zc0 = '一等座'
list.zc1 = '二等座'
list.zc2 = '无座'
list.zc3 = ''
list.num0 = item[31]?'有票':'无票'
list.num1 = item[30]?'有票':'无票'
list.num2 = item[26]?'有票':'无票'
list.num3 = ''
}
if(list.train_no.substr(0,1)=='G'||
list.train_no.substr(0,1)=='C'){
list.zc0 = '商务座'
list.zc1 = '一等座'
list.zc2 = '二等座'
list.zc3 = '无座'
list.num0 = item[32] || item[25]?'有票':'无票'
list.num1 = item[31]?'有票':'无票'
list.num2 = item[30]?'有票':'无票'
list.num3 = item[26]?'有票':'无票'
} lists.push(list) })
res.json({
status:true,
msg:'查询成功',
data: lists
});
} else {
res.json({
status:false,
msg:'查询失败',
data:{}
});
} }) }); module.exports = router;

获取到原始数据,对原始数据还要进行解析,需要获取车站对应信息的json数据,然后对应读取,res.json接口输出

更多代码详情戳 https://github.com/leitingting08/train 更新中,这里为了方便,nodejs服务端代码和前端代码写在同一个项目里,

要启动项目的话先npm install 安装依赖,进入到前端项目命令行运行npm start打开localhost:8088端口查看,如果想查看接口运行

server目录下的文件 node server/bin/www 打开localhost:3000端口查看,localhost:3000/query是查票接口,先这样,前进一小步,后面持续完善...

vue+node+mongoDB火车票H5(七)-- nodejs 爬12306查票接口的更多相关文章

  1. vue+node+mongoDB 火车票H5(六)---城市列表保存到MongoDB数据库并且启用node.js服务

    把车站列表保存到数据库,并且从本地创建服务 node.js创建httpserver 1.搭建基于express的运行环境 全局安装express-gengerator cnpm install -g ...

  2. vue+node+mongoDB 火车票H5(一)---准备工作,基本配置

    前端菜鸟一枚,由于公司项目用到了vue,我虽然参与了,但是很多环境配置和流程还不是特别清楚,就想自己个人业余做个webapp看看, 对于完全新手而言,很多坑会纠结很久,所以想借此机会自己做的同时记录各 ...

  3. vue+node+mongoDB 火车票H5(五)---城市选择

    选择城市,支持搜索,储存选择过城市的历史记录,点击索引能跳到相应位置 1. 父子组件传值,trainCity城市选择组件,选择城市后改变父组件的值 2. 把城市数组按照字母A到Z排序 3.点击字母索引 ...

  4. vue+node+mongoDB 火车票H5(四)---完成静态页面

    各项配置都好了,就可以开始写静态页面了,先别急着写,看一下页面又哪些公用的部分可以提取出来的,统一放到components组件文件夹中 header头部文件夹放一些头部常用组件,如首页的banner切 ...

  5. vue+node+mongoDB 火车票H5(三)---git提交时忽略不想提交的文件

    想要把项目通过git提交到GitHub上,但提交时并不想提交node_modules文件夹,这个文件夹太大 git 提交代码时不提交配置文件夹node_modules 在.gitignore文件中添加 ...

  6. vue+node+mongoDB 火车票H5(二)---vux和less的配置

    vue基本环境配置好之后,就可以开始开发页面了 开发页面之前先了解一下项目结构,原始的目录结构为: config是配置文件,环境配置好了开发阶段可以不再去修改了,node_modules文件夹是打包的 ...

  7. vue+node+mongodb实现的功能

    用vue+node +mongodb实现前后台交互的页面代码,已经上传到github上, 地址是: https://github.com/GainLoss/vue-node-mongodb https ...

  8. 后台管理系统:vue&node&MongoDB(一)

    后台管理系统 使用工具: Vue    Node     Mongodb   Element-ui 一.后台(Node+Mongodb) 前期准备: 需要下载的包: mongooes -------- ...

  9. 学习笔记:Vue+Node+Mongodb构建简单商城系统(一)

    所需前置知识: HTML.CSS.JS.Vue.ES6.Npm.Webpack.Node.Express.Mongodb 项目整体架构: IDE:webstorm: 项目建立过程(cmd常用命令行指令 ...

随机推荐

  1. php 不等待返回的实现方法(异步调用)

    PHP异步执行的常用方式常见的有以下几种,可以根据各自优缺点进行选择: 1.客户端页面采用AJAX技术请求服务器优点:最简单,也最快,就是在返回给客户端的HTML代码中,嵌入AJAX调用,或者,嵌入一 ...

  2. Redis(十三):Redis分布式锁的正确实现方式

    前言 分布式锁一般有三种实现方式:1. 数据库乐观锁:2. 基于Redis的分布式锁:3. 基于ZooKeeper的分布式锁.本篇博客将介绍第二种方式,基于Redis实现分布式锁.虽然网上已经有各种介 ...

  3. java后台分页实例一

    后台框架:jfinal + velocity.前台框架:jquery  页面 <!DOCTYPE html> <html> <head> <meta char ...

  4. vim插件管理利器

    一.pathogen简介 通常情况下安装vim插件,通常是将所有的插件和相关的doc文件都安装在中一文件夹中,如将插件全部安装在/usr/share/vim/vim73/plugin/目录下,将帮助文 ...

  5. Qt 插件综合编程-基于插件的OpenStreetMap瓦片查看器client(1)-墨卡托投影与坐标控制

    (相关的代码能够从https://github.com/goldenhawking/mercator.qtviewer.git直接克隆) 我们如今是准备做一个C/S架构的地图显示控件.就必定牵扯到坐标 ...

  6. Hive Compiler过程

    通过Parser将HiveQL转换成AST,通过Semantic Analyzer将AST转换为QB,通过Logical Plan Generator将QB转换成Operator Tree,通过Log ...

  7. CGPathCreateMutable

      ios 图形与动画学习笔记 构造路径(CGPathCreateMutable) 一系列点放在一起,构成了一个形状.一系列的形状放在一起,构成了一个路径. /* 路径属于我们正在绘制他们的上下文.路 ...

  8. select 5种子句介绍

    一.Where 条件查询 ①where expression 用法:expression为真,则该行取出 运用场合 各种条件查询场合,如按学号查学生,按价格查商品,按发布时间查新闻等 ②select ...

  9. php -- 对象遍历

    对象遍历:foreach,遍历对象的公有属性(将公有属性的值和属性名赋值给对应$value和$key) 遍历某一个属性的数组,实现Iterator接口 接口iterator:类实现Iterator接口 ...

  10. 【BZOJ】2179: FFT快速傅立叶(fft)

    http://www.lydsy.com/JudgeOnline/problem.php?id=2179 fft裸题.... 为嘛我的那么慢....1000多ms.. #include <cst ...