《零起点，python大数据与量化交易》

《零起点，python大数据与量化交易》，这应该是国内第一部，关于python量化交易的书籍。

有出版社约稿，写本量化交易与大数据的书籍，因为好几年没写书了，再加上近期“前海智库·zw大数据”项目，刚刚启动。

因为时间紧，只花了半天时间，整理框架和目录。

说是v0.1版，但核心框架已经ok；从项目角度而言，完成度，已经超过70%，剩下的只是体力活。

完成全本书，需要半年以上连续时间，本人没空，大家不要再问：“什么时间可以完成。”

配合zwPython，这个已经是套完整的：大数据分析、量化交易学习教材；质素方面，相信比市面上90%的同类作品强。

有兴趣的网友，可以自己百度，编写脚本，另外可以加入Q群：124134140(zwPython大数据量化交易).

进群后，请大家多多发言，有时间，我也会和大家互动。

zw量化实盘·魔鬼训练营 金融行业的：生存训练，Win
or Home（要么全赢，要么滚蛋）

http://blog.sina.com.cn/s/blog_7100d4220102w0q5.html

ps，10.21,
刚才百度 没想到zwPython成了关键词： python 量化交易的第一品牌，完全没做任何seo优化 

 

关于关于大数据、高频交易和AI人工智能，字王的观点一向是：

凡是无法通过“足彩数据”实盘测试的大数据方案、算法，都是在耍流氓

http://blog.sina.com.cn/s/blog_7100d4220102vkwb.html

  

关于足彩的几个误区

• 足彩虽然容易与赌球混淆，但却是最好的大数据研究对象，没有之一
• 微软、百度、谷歌，目前都有专业团队，在做足彩大数据，并定期发布
• 说白了，足彩相当于十倍配资的股票
• 国内足彩的确很黑，比欧平低10%左右，
• 彩票的发明人和股票，据说都是同一个英国爵士
• 必胜足彩交易所，成立当年，获得了英国MBA商业创新大奖
• 高盛n年前，就开始足彩套利业务，维基百科有介绍
• 黑天鹅(红牛吧)足彩，是首家公开进行、实盘测试的足彩大数据模型
• 黑天鹅，是业内率先以：盈利率，而不是：胜率（百度目前还是），测试足彩大数据算法模型
• 黑天鹅算法盈利率90-95%，是目前业内最高的，比百度高约20-30%
•  

--------

黑天鹅(红牛吧)足彩·实盘测试·近期数据统计（2015.8-10）

• 8月,单选,胜率：59.41%(101/170),盈利率，121%,二串一(2x1),胜率：46.34%(19/41),盈利率，143.02%,
• 9月,单选,胜率：48.75%(39/80),盈利率，101%,二串一(2x1),胜率：35.%(7/20),盈利率，94.74%
• 10月,单选,胜率：64.71%(11/17),盈利率，135%，二串一(2x1),胜率：33.33%(1/3),盈利率，130%

  目前已经比较稳定，盈利率应该是行业最高的，比百度强，再测试一段就OK了。

 

（python大数据·思维导图）

大数据，量化交易，属于目前比较前沿的IT技术，相关用户，绝大部分是非IT行业的市场管理人员和金融工作者，没有任何编程基础。

同时，更多的普通民众，在日常工作、生活、投资时，例如，购买股票、基金、足彩，也迫切需要一些专业的数据分析知识和软件，作为更加专业的投资工具。

目前，量化投资、高频交易领域，一线操盘手自己编程，将投资策略直接程序化，已经成为国际大投行的标配。

在数据处理领域，特别在量化交易方面，python已成为“统治级”编程语言。

伴随中国政府金融领域的扩张战略，以及与国际金融接轨，大量海龟派金融人员回归，有专家称，“未来五年(2020），专业投资人，不懂python编程，就像不懂英语，不会电脑操作，面临下岗的可能。”

因此，便有了这本：《零起点，python大数据与量化交易》

零起点

• IT零起点，无需任何电脑编程基础，会打字、会word，就能看懂本书，利用本书配套的Python软件包，轻松学会如何利用python，对股票、足彩数据，进行专业分析，量化投资分析
• 投资零起点，无需购买任何专业软件，本书配套的zwPython软件包，采用开源模式，提供100%全功能、全免费的工业级数据分析平台。
• 配置零起点，所有软件、数据，全部采用苹果“开箱即用”模式，绿色版本，无需安装，解压即可，直接运行系统。
• 理财零起点，无需任何专业金融背景，采用通俗易懂的语言，配合大量专业图表，实盘操作案例，轻松掌握各种量化投资策略。
• 数学零起点，全书没有任何复杂数学公式，只有最基本的加减乘除，初中以上文化，即可看懂

根据作者多年一线实践经验，本书在大数据分析领域，首次提出了许多原创的、缘自一线实战的观点和理论，例如：暗数据、“小数据”理论，黑天鹅算法，大部分还附有python源码，方便读者直接使用。

此外，本书还介绍了，采用黑天鹅算法实现的，国内首个通过足彩实盘测试的大数据方案：zw足彩数据分析平台。

【补充说明】

本书内容偏重于数据分析，特别是量化交易方面的数据分析，是因为

• 实践工作中，除了移动、百度、阿里等超大型，数据密集型企业外，99%以上的企业，包括上市公司，并不具备，也不需要真正的TB级大数据分析软件、硬件环境，计算集群和cuda都很少
• 金融领域，国内A股市场，数千股票，历年裸数据合集，不超数据10G，千万级规模
• 目前大数据领域，尚处于萌芽阶段，算法、模型每年变化都很大，因此这方面的内容，以定性为主
• 大数据分析的核心，是数据分析算法，书中介绍的都是经典算法，通用性很强

字王 回复 ：目前忙“黑天鹅”算法的实盘测试，暂时没时间写书。

急的话 自己下个zwPython 带pandas数据分析、demo演示代码，有中文教材，绿色版，解压即可，

配合目录作为大纲，自己边看边学，码码python脚本，效果更好

blog首页“置顶”有百度网盘的下载地址(6月8日 15:36)

《零起点，python大数据与量化交易》目录

第1章、大数据简介

• 大数据思维导图
• • 数据挖掘
  • 计算统计学
  • 语义分析
  • 人工智能
  • 并行运算框架
  • GPU超算平台
• 发展简史
• • 大数据史前模式
  • 从3V到4V
  • 云计算时代
• 大数据主要应用领域
• 大数据技术流派
• • Hadoop生态圈
  • MapReduce
  • NoSQL数据库
  • Storm流处理分布式计算框架
  • SPark内存计算与通用并行计算框架
  • IBM数据流Stream体系
  • Oracle
• Python与大数据
• • Python，统治级数据编程语言
  • Pandas数据分析
  • Nltk文本语义分析
  • Scikit人工智能和机器学习
  • Numpy/scipy矢量数据和科学计算
  • sympy符号计算
  • Gpu并行超速运算
  • Opencv图像视频处理
  • TVTK/mayavi可视化计算

第2章、量化交易简介

• 套利交易
• 金融工程学
• 计量金融学
• 技术分析
• 高频交易
• 足彩，被误解的投资模式
• • 年收益269%的神奇投资术

第3章、小数据更酷

• 失败的经典：啤酒与尿布
• 小数剧理论
• • 龙格现象
  • 孤子分布
  • 哥白尼原则
  • 零膨胀
  • 极值理论
  • • 任何程序化交易系统都有“半衰期”
  • 0与1：计算的本质
  • • 阴阳八卦易经
  • 暗数据与全数据
  • 二八定理
  • • 帕累托分析法
    • 齐夫定律
    • 分析模型比数据规模更重要
    • 实战案例：百万社区数据库
    • 实战案例：神奇的魔鬼英语：500单词看懂原著
  • 大数原则
  • • 平庸原理
    • 实战案例：史上最强网络推广案例：惠普笔记本数码混搭
  • 每次只解决一个问题
  • 量化投资第一季：单一指数模型

第4章、神一般的黑天鹅算法

• 黑天鹅是新常态
• 主要特点
• • 运算速度快一个数量级
  • 数据规模小一个数量级
  • 全数据建模小数据匹配
  • 黑天鹅算法PK现代与传统
  • • 与传统抽样数据库算法比较
    • 与其他大数据方案算法比较
• 黑天鹅算法基本流程
• • 从4V到1V
  • 数据预处理
  • • 衍生数据扩充
    • 指数压缩
    • 数据归一化
    • • 标准分数
      • T-统计量
      • 学生化残差
      • 标准化矩
      • 变异系数
      • 离差指数
  • 建立参数v知识库
  • 建立黑天鹅判别模型库
  • 寻找黑天鹅

第5章、Python，“统治级”数据处理语言

• Hello，zw
• 基础语句
• Basic模式
• Python一卡通
• Python常用模块
• • numPy数据分析
  • Matplotlib可视化计算
• Pandas数据分析平台
• • 内置数据分析函数
  • 数据存读
  • 数据聚合
  • 时间序列分析
  • 股票数据分析
  • 足彩数据分析
• 大数据与Python十倍速性能优化
• • 软加速：矢量优先
  • 软加速：cpython
  • SSD加速大法
  • KBD全内存数据库
  • Gpu终极加速方案

第6章、大数据十大经典算法Python版

• AdaBoost机器学习迭代分析算法
• Apriori关联分析算法
• C4.5分类决策树算法
• CART分类回归树算法
• decision tree
  决策树数据分类算法
• EM最大期望关联分析算法
• kNN 机器学习最近邻分类算法
• k-means聚类分析算法
• Na?ve
  Bayes朴素贝叶斯数据分类算法
• PageRank引用分析算法
• SVM向量机数据分类算法
• 其他经典算法
• • Apriori框架的图挖掘算法
  • • AGM图论节点图数据挖掘算法
    • FSG图论边框数据挖掘算法
  • Pattern-growth框架图挖掘算法
  • • gSpan右路径扩展算法
  • 闭合子图挖掘算法
  • • CLOSEGRAPH图挖掘算法
  • 闭合完全连通子图挖掘算法
  • • CLAN图挖掘算法
    • Cocain图挖掘算法
  • FP-Growth模式树分类算法
  • logistic回归算法
  • Affinity
    propagation聚类算法
  • LDA模型
  • HMM隐性马可夫模型
  • SOA模型

第7章、数据源与在线数据采集

• 案例：搜索引擎链接数
• 案例：百度TOP100指数
• 案例：行业关键词与衍生关键词
• 案例：企业竞争情报搜集
• 常用在线数据API接口

第8章、从故事开始学统计

• 趣味统计学
• • 尔斯伯格悖论
  • 生日问题
  • 蒙特卡罗方法
  • 德国坦克问题
  • 无限猴子定理
  • 墨菲定律
• 常用统计数值编程
• • 极值:极大值,极小值,极差/全距
  • 均值:算术平均数,几何平均数,调和平均数,希罗平均数,加权平均数,幂平均/赫尔德平均,毕达哥拉斯平均,平均数不等式
  • 方差等：均方差，平均差，偏度，峰度
  • 其他统计值：累积和、总数,众数，中位数，四分位数
• 常用统计图表
• • 四种基本图表：直方图Histogram，长条图Bar Chart，圆饼图/比例图Pie Chart，折线图/趋势图Line chart
  • 金融类图表：K线图Candlestick chart，均线图Moving Average chart，布林带图Bollinger Bands，BBands
  • 统计类图表：箱形图，双标图，标准九分图，概率图，半对数线图，散点图，茎叶统计图，统计地图
  • 其他图表：时间轴图表，流程图，山形图Area_chart，瀑布图Waterfall chart，量化波形图Streamgraph，落差图GapChart，泡泡图Bubble chart，极区图，雷达图Radar_chart，示意地图Cartogram

第9章、从故事开始学量化交易

• 趣味理财学
• • 一月效应
  • DCA懒人理财术
  • 兴登堡凶兆
  • 死猫反弹
  • 布拉普预测
  • 祖鲁法则
  • Gordon高登模型
  • 奥卡姆剃刀与KISS法则
  • 神奇公式
  • MM定理
• 混沌理论
• 三种基础模型：资产配置模型，行业模型，股票模型。
• 四大特点：纪律性，系统性，套利思想，概率取胜
• 量化投资策略
• • 量化选股：估值法，趋势法，资金法
• 量化择时
• 股指期货套利：现货构建，套利定价，保证金管理，冲击成本，成分股调整
• 商品期货套利
• 统计套利：
• • β中性策略
  • 协整策略
  • 期权套利：水平套利，垂直套利，转换套利，反向转换套利，跨式套利，蝶式套利，飞鹰式套利
• 算法交易：被动型算法交易，主动型算法交易，综合型算法交易
• 组合投资与资产配置
• 其他策略
• • 股票价差套利
  • 博彩套利
  • ETF套利
  • 衍生品套利
  • 公司并购套利
  • 市政债券套利
• 宽客兵器谱
• • KDB内存数据库
  • Quant交易数据分析平台
  • Q语言
  • Matlab
  • Python
• HFT高频交易常用策略和技术
• • 造市交易
  • 收报机交易
  • 事件套利
  • 统计套利
  • 新闻交易
  • 低延迟策略
  • 订单属性策略
  • 夺取优先权
  • 算法监听
  • 监听大买卖盘
  • 黑池交易平台
  • 信号触发
  • 触发补偿

第10章、统计学与数据分析基础

• 概率分布
• • 离散分布：均匀分布，二项分布，正态分布，几何分布，超几何分布，超几何分布和二项分布的关系，泊松分布，泊松分布近似，泊松试验，复合泊松分布
  • 连续分布：均匀分布，指数分布，对数分布，伽马分布，高斯/正态分布，肥尾分布，重尾分布，正态分布和二项分布，帕斯卡分布，韦伯分布，伯努利分布
  • 其他统计分布模式：Gamma伽玛分布，卡方分布，F分布，Β分布，β-二项式分布，稳定分布，三角形分布，联合分布，条件概率分布，柯西分布，
• 统计检验
• • 皮尔森卡方检定,学生t检验
  • 假设检验
  • 交叉验证
  • 零假设检验
  • F检验
  • Jarque-Bera检验
  • 柯尔莫诺夫-斯米尔诺夫检验
  • 迪基-福勒检验,扩张的Dickey-Fuller检定
  • 核密度估计
  • 邹检验
• 其他统计分析方法
• • 抽样
  • 置信区间
  • 贝叶斯概率
  • 最大似然估计
  • 赤池信息量准则
• 回归分析
• • 线性回归：简单线性回归，最小二乘法，复回归分析，对数线性回归
  • 非线性回归：逻辑回归，偏回归，自回归，ARMA自回归滑动平均模型，ARIMA差分自回归滑动平均模型，格兰杰因果关系，向量自回归模型，曲线拟合分析，分量回归，泊松回归
• 零膨胀
• 过拟合
• 方差分析
• • 方差：协方差，自协方差，互协方差，均方差，异方差，偏差，SD标准差，CV标准离差率，最小方差无偏估计，最小均方差估计
  • 方差和：SST总平方和，SSM模型平方和
  • R2回归系数
  • 变异量（数）
  • 期望值
• 时间序列分析
• • RATS模型
  • ARCH模型
• 数据关联分析
• • 常用关联参数：耦合，显著性差异，净相关，Gamma相关系数，Spearman等级相关系数，Kappa一致性系数，Kendall等级相关系数，Kendall和谐系数，Pearson相关系数，Phi相关系数，列联相关系数，四分相关系数，点二系列相关系数，二系列相关系数，皮尔逊积差系数，斯皮尔曼等级相关系数
  • 关联分析模型：杜宾-瓦特森统计量，邻里成分分析，朴素贝叶斯分类器，PCC皮尔逊积矩相关系数，自相关函数，关联式规则，ROC曲线
• 数据关联度分析
• • 三大主流方法：最小平方误差，MLE极大似然，贝叶斯相关
  • 其他方法：MME矩关联度，Cramér-Rao不等式，MMSE最小均方差，MAP最大后验概率，MVUE最小方差非偏关联度，BLUE最佳线性非偏关联度，非偏关联度，Particle filter，MCMC，卡尔曼滤波，维纳滤波
• 聚类分析
• • 核心关联度函数：欧式距离，曼哈顿距离，infinity norm，马氏距离，余弦相似性，汉明距离
  • QT聚类算法
  • 图论聚类算法
  • 线性判别分析
  • PCA主成分分析
• 常用统计分析模型
• • 维纳过程
  • 布莱克-舒尔斯模型
  • 赫尔怀特模型
  • 马尔可夫过程
  • 陈琳模型

第11章、现代投资组合理论

第12章、趋势为王

• 趋势判断型量化投资策略
• 波动率判断型量化投资策略

第13章、三大基本建模策略

• 顺势系统
• 逆势系统
• 形态操作

第14章、三大量化投资模型

• 单元交易模型
• 双元交易模型：长短线模型
• 三元及多元模型

第15章、组合交易策略

• 价值策略组合
• 动量策略组合
• 融合策略组合
• 混合策略组合

第16章、无风险套利交易策略

• ETF套利交易策略
• 股指期货期现套利交易策略
• 国债期货套利交易策略

第17章、风险套利交易策略

• 阿尔法套利
• 统计套利

第18章、交易模型主要考核指标

• 利润率V
• 胜率/盈亏比率k
• 最大单次盈利
• 最大单次亏损
• 最大连续盈利次数
• 最大连续亏损次数

第19章、足彩数据分析

• 凯利指数
• 同注分彩法

第20章、量化投资常用实盘操作策略

第21章、日内交易

• GFTD日内程序化交易策略

第22章、常用量化投资策略

• 阿尔法回报策略
• Beta贝塔系数策略
• • smart beta策略
• CAPM资产定价模型
• crb指数模型
• Dynamic Breakout 策略
• EMH效率市场模型
• EPS每股盈余模型
• IFATS交易策略
• GARCH交易模型
• TWAP时间加权平均策略
• Pivot Points策略
• R-Breaker交易策略
• VWAP成交量加权平均策略

第23章、分析图表类

• K线图交易策略
• • 美国线交易策略
  • 开盘区间突破策略
• 一目均衡表交易策略
• 趋势线交易策略
• • CMI趋势性交易策略
  • 趋势追踪选股模型
  • MA移动平均线策略
  • 支撑线和压力线交易策略
  • n日突破交易策略
  • 移动止赢交易策略
  • 移动止损交易策略
  • 牛熊线择时模型
• BBands布林带交易策略
• • 夹板交易模型
• 点线图交易策略
• 艾略特波浪理论
• 型态学交易策略
• 道氏理论
• 轴点分析策略
• • 0轴交易策略
  • 中点交易策略
• 半衰交易策略
• 夏普比率策略

第24章、投资指数类

• BIAS乖离率交易策略
• EP盈利收益率策略
• Kdj交易策略
• rsi 交易策略
• 波动率交易策略
• Kurtosis峰值交易策略
• Skewing偏度交易策略
• Macd交易策略
• PBR市净率
• PER市盈率
• PEG收益率
• WACC加权平均资本成本
• ROA资产收益率
• ROE股本回报率
• NPV净现值
• 真实波动幅度均值
• 累积／分布指数

第25章、其他交易策略

• 蝶式套利策略
• 三角套利策略
• 机会点策略
• 海龟交易法则
• 多因子选股模型
• 盈利预期模型
• 戴尔指数
• • 基尼系数
  • 劳伦茨曲线
• 黄金分割点
• 斐波那契回调
• 赫斯特指数
• 费雪方程式
• 三因子模型
• 詹森指数
• 凯斯-席勒指数
• 抛物线指标
• 商品通道指数
• 金钱流
• OBV平衡成交量／能量潮
• OMAV交易策略
• Trix指标
• 威廉指标
• 振荡指标
• 价值型策略
• 收益型策略
• m2行业轮动策略
• 市场情绪轮动策略
• 资金流选股策略
• 动量选股策略和反转选股策略
• 一致预期模型
• 筹码选股模型
• 情绪指标择时策略
• 有效资金择时模型
• svm择时模型
• swarch模型

第26章、人工智能量化交易算法

• 模式识别短线择时算法
• rbf神经网络股价预测
• 基于遗传算法的新股预测
• 金融时序数据预测
• 趋势拐点预测
• 灰色马尔可夫链股市预测

第27章、、黑天鹅算法2.0实战

• 数据预处理
• • 衍生数据扩充
  • 指数压缩
  • 数据归一化
  • • 标准分数
    • T-统计量
    • 学生化残差
    • 标准化矩
    • 变异系数
    • 离差指数
• 建立参数v知识库
• 建立黑天鹅判别模型库
• 寻找黑天鹅
• 数据回溯与验证

附录，zwPython用户手册