Stata是统计学专业软件,可以很方便的对数据处理,但几乎只能按照整行整列进行,而且每次只能加载一个矩阵(dta文件),如果要用到多个矩阵数据进行操作或进行复杂的循环控制,就力不从心了。

而Matlab工业界广泛使用的数据分析处理工具,对矩阵支持良好,除了可以像c语言一样完成底层的操作之外,还包含很多函数库,囊括工控、信号处理、金融、人工智能各个行业。虽然没有Stata内置的统计学函数全面,但在底层操作方面具有明显优势。

因此,在一次帮助别人完成金融数据分析时,尝试使用Stata对数据进行预处理,Matlab完成运算之后再由Stata完成进一步的加标签等操作。

Stata完成数据预处理

Stata参考资料不多,主要参考了《应用Stata做统计分析》前两章基本操作部分,还有搜索。

待处理的数据为大盘行情与个股行情,从数据库下载到的数据为xls格式。使用

import excel *.xls

可以加载excel文件,当然在加载之前最好改变workspace到所在目录。

数据中一列为“1991-01-01”格式的日期数据,可以使用

generate dated=date(date1,YMD)

把日期同意换算成消逝日期,即相对于1960年元旦的天数。

而date、month、year等函数可以由消逝天数计算出当天的年月日。

导入的数据均为字符串类型,要把字符串转换为数字,要使用

encode x gen(y)

为了完成把数据导入Matlab进行处理,可以新建一个xlsx(Office2007格式)文件,Stata中输入browse查看数据,将数据复制进入Excel,保存。而在Matlab中点击导入数据完成导入,导入之后别忘了重命名。可以导入多个文件。

如果多个dta文件具有相同的列结构,可以采用下列命令合并:

use data1
append use data2
save data12

drop,replace,ls,rename命令也经常用到。

Matlab完成数据处理

Matlab中m文件编程可以完成很多操作,这次新学习到一个命令

try
...
catch
...
end

这样如果对多个数据进行处理,单个数据由于不完整等原因出错时可以继续运行下去。

这次操作,用到了polyfit和polyval命令,分别是进行单变量多项式拟合和估计。

程序代码如下:

%company is sorted, need to change to no-sort
%ind=563 company=[681,17902,563] is wrong,stock price's date may out of
%range
load('jr.mat')
[m,n]=size(company);
acum_index=zeros(m,1);
errcompany=zeros(1,3);%error for which can't find stock price
errind=1;
for ind=1:m
arit=zeros(40,1);
com_id=company(ind,1);%company code
com_date=company(ind,2);%company board date
index_date_ind=find(ind399108(:,1)==com_date,1);%pointer to index
if isempty(index_date_ind)
index_date_ind=find(ind399108(:,1)==com_date+1,1);
if isempty(index_date_ind)
index_date_ind=find(ind399108(:,1)==com_date+2,1);
end
end
% index 40befor 40after
index_befor=ind399108(index_date_ind-40:index_date_ind-1,2);
index_after=ind399108(index_date_ind:index_date_ind+39,2);
%calc stock increase
stock_tmp=stock(find(stock(:,1)==com_id,1,'first'):find(stock(:,1)==com_id,1,'last'),:);
stock_tmp_ind=find(stock_tmp(:,2)==com_date,1);
if isempty(stock_tmp_ind)
stock_tmp_ind=find(stock_tmp(:,2)==com_date+1,1);
if isempty(stock_tmp_ind)
stock_tmp_ind=find(stock_tmp(:,2)==com_date+2,1);
end
end
if isempty(stock_tmp_ind)
errcompany(errind,:)=company(ind,:);
errind=errind+1;
acum_index(ind)=inf;
continue
end
try
stock_index_befor=(stock_tmp(stock_tmp_ind-40:stock_tmp_ind-1,2)-stock_tmp(stock_tmp_ind-40-1:stock_tmp_ind-1-1,2))./stock_tmp(stock_tmp_ind-40-1:stock_tmp_ind-1-1,2);
stock_index_after=(stock_tmp(stock_tmp_ind:stock_tmp_ind+39,2)-stock_tmp(stock_tmp_ind-1:stock_tmp_ind+39-1,2))./stock_tmp(stock_tmp_ind-1:stock_tmp_ind+39-1,2);
catch
display(company(ind,:));
display(ind);
acum_index(ind)=inf;
continue;
end
%use index_befor stock_index_befor index_after stock_index_after to
%calc
p=polyfit(index_befor,stock_index_befor,1);
arit=stock_index_after-polyval(p,index_after);
acum_index(ind)=sum(arit);
end
outdata=[company,acum_index];

完成处理后,使用

xlswrite('x.xls',x)

可以把数组x写入xls文件。

之后可以在Stata中把消逝天数转换为日期,给变量重命名,就完成了操作。

R语言

这次工作完成的非常吃力,主要是工具的原因,Stata无法很好的完成循环控制等底层操作,Matlab虽然可以完成所有操作但Matlab中的字符串和日期操作非我所长,R语言作为专业统计语言,完成这些数据处理和计算应该是十分方便的。很期待R的表现。

Stata和Matlab联合处理金融数据的更多相关文章

  1. 转 Visual C++6.0 与matlab联合编程(2)----Visual C++6.0 环境下编译和调试MEX文件

    我的最初想法是利用matlab的mex命令调用C++程序生成动态链接库的,但是测试程序(文中另附)通过了,自己的实际应用程序却没有过.还是把方法贴在这儿,以便自己以后进行整理. http://shij ...

  2. matlab中读取txt数据文件(txt文本文档)

    matlab中读取txt数据文件(txt文本文档) 根据txt文档不同种类介绍不同的读取数据方法 一.纯数据文件(没有字母和中文,纯数字) 对于这种txt文档,从matalb中读取就简单多了 例如te ...

  3. Mybatis oracle多表联合查询分页数据重复的问题

    Mybatis oracle多表联合查询分页数据重复的问题 多表联合查询分页获取数据时出现一个诡异的现象:数据总条数正确,但有些记录多了,有些记录却又少了甚至没了.针对这个问题找了好久,最后发现是由于 ...

  4. python爬虫项目-爬取雪球网金融数据(关注、持续更新)

    (一)python金融数据爬虫项目 爬取目标:雪球网(起始url:https://xueqiu.com/hq#exchange=CN&firstName=1&secondName=1_ ...

  5. 金融数据分析 - 利用 Tushare Pro 平台 获取金融数据

    Tushare金融大数据开放社区 免费提供各类金融数据和区块链数据 , 助力智能投资与创新型投资. 详见 https://tushare.pro/

  6. [转] 利用Matlab提取图片中曲线数据

    原文地址 网易博客 前一段时间看到一篇文章"利用Matlab提取图图片中的数据",觉得思路挺好,遂下载下来研究了一番,发现作者所编写的程序没有考虑原始图片非水 平放置的情况,而实际 ...

  7. R语言实现金融数据的时间序列分析及建模

    R语言实现金融数据的时间序列分析及建模 一 移动平均    移动平均能消除数据中的季节变动和不规则变动.若序列中存在周期变动,则通常以周期为移动平均项数.移动平均法可以通过数据显示出数据长期趋势的变动 ...

  8. Python 数据分析中金融数据的来源库和简单操作

    目录 金融数据 pandas-datareader TuShare 金融学图表 案例 金融数据 数据分析离不开数据的获取,这里介绍几种常用的获取金融方面数据的方法. pandas-datareader ...

  9. 释放DT时代释放金融数据价值,驱动金融商业裂变

    摘要:客户微细分模型上线华为云ModelArts,看如何以AI科技挖掘金融数据价值. 当前信息化浪潮席卷全球,新一轮的科技革命和产业革命推动金融行业发展到全新阶段.人工智能2.0时代,智慧金融方兴未艾 ...

随机推荐

  1. jQuery1.9(辅助函数)学习之——.serialize();

    $("form").serialize();  返回一个String 描述: 将用作提交的表单元素的值编译成字符串,这个方法不接受任何参数. .serialize(); 方法使用标 ...

  2. C语言初学 if-else语句判断俩数的最大值

    #include<stdio.h> main() { float a,b; printf("输入俩个任意实数\n"); scanf("%f%f",& ...

  3. SPI协议总结

    四种工作模式: Mode 0 CPOL=0, CPHA=0 Mode 1 CPOL=0, CPHA=1Mode 2 CPOL=1, CPHA=0 Mode 3 CPOL=1, CPHA=1 常使用Mo ...

  4. 【南阳OJ分类之语言入门】80题题目+AC代码汇总

    小技巧:本文之前由csdn自动生成了一个目录,不必下拉一个一个去找,可通过目录标题直接定位. 本文转载自本人的csdn博客,复制过来的,排版就不弄了,欢迎转载. 声明: 题目部分皆为南阳OJ题目. 代 ...

  5. Java学习笔记--注解

    注解的使用与实例:http://www.cnblogs.com/pepcod/archive/2013/02/16/2913474.html 注解的作用及使用方法:http://wenku.baidu ...

  6. 当开始输入文字以及完成文字输入时,变换text field的背景以及系统自带一键删除的 叉叉

    当开始输入文字以及完成文字输入时,变换text field的背景. -(BOOL) textFieldShouldBeginEditing:(UITextField *)textField{ [tex ...

  7. SaltStack运行任务卡住了,怎么办?

    将相关的JOB ID杀死即可. salt-run jobs.active salt "*" saltutil.signal_job JOBID 15

  8. keil C语言与汇编语言混合编程

    C与汇编混合编程主要有以下几种:(1)C语言中嵌入汇编(2)无参数传递的函数调用(3)有参数传递的函数调用 一.C语言中嵌入汇编 1.在 C 文件中要嵌入汇编代码片以如下方式加入汇编代码: #prag ...

  9. 装饰者模式 - OK

    装饰模式(Decorator),动态地给一个对象添加一些额外的职责,就增加功能来说,装饰模式比生成子类更为灵活.  装饰者模式隐含的是通过一条条装饰链去实现具体对象,每一条装饰链都始于一个Compon ...

  10. mysql join 的同时可以筛选数据

    看sql ) ) group by a.id; 这里面用了多个子查询,与join关联. 其中 不仅有关联条件,还对sh_mall_goods表进行了筛选,只选出mall_id为9的数据,进行关联. 这 ...