TuShare是个获取股票数据的模块包,我们进行分析,需要将股票数据保存到本地,避免每次都从网上获取,由于本机装有ORCALE,以ORACLE为例介绍如何保存股票数据到本地。

一、大致思路:我们先获取沪深的所有股票信息,保存到数据库中,主要使用的是dataframe的to_sql函数。

to_sql(self, name, con, flavor='sqlite', schema=None, if_exists='fail',
               index=True, index_label=None, chunksize=None, dtype=None):

if_exists参数值有三个,fail:如果表存在返回,append:在表后面追加数据;replace:把表替换掉

二、具体实现:

1、股票价格明细表

create table IQ_STOCK
(
  op_time      VARCHAR2(10),
  open         FLOAT,
  high         FLOAT,
  close        FLOAT,
  low          FLOAT,
  volume       FLOAT,
  price_change FLOAT,
  p_change     FLOAT,
  ma5          FLOAT,
  ma10         FLOAT,
  ma20         FLOAT,
  v_ma5        FLOAT,
  v_ma10       FLOAT,
  v_ma20       FLOAT,
  turnover     FLOAT,
  stockid      VARCHAR2(10),
  ktype        VARCHAR2(1)
)

2、股票基本信息表

create table IQ_STOCK_BASE
(
  code               VARCHAR2(10),
  name               VARCHAR2(100),
  industry           VARCHAR2(100),
  area               VARCHAR2(100),
  pe                 FLOAT,
  outstanding        FLOAT,
  totals             FLOAT,
  "totalAssets"      FLOAT,
  "liquidAssets"     FLOAT,
  "fixedAssets"      FLOAT,
  reserved           FLOAT,
  "reservedPerShare" FLOAT,
  esp                FLOAT,
  bvps               FLOAT,
  pb                 FLOAT,
  "timeToMarket"     NUMBER(19),
  undp               FLOAT,
  perundp            FLOAT,
  rev                FLOAT,
  profit             FLOAT,
  gpr                FLOAT,
  npr                FLOAT,
  holders            NUMBER(19)
)

3、先获取股票的基本信息:

def Get_Stock_List():
    ##取得股票基本信息
    df = ts.get_stock_basics()
    #股票数据保存
    engine = create_engine('oracle+cx_oracle://user:password@localhost/orcl')
    cnx = engine.connect()   
    ##先清空
    strSql = 'truncate table iq_stock_base'
    cnx.execute(strSql)
    df.to_sql('iq_stock_base', cnx,if_exists='append',chunksize=500)   
    cnx.close()
    return df

4、更新近30天的K线数据,此处更新的是周K线

def Update_StockData():
    ##开始日期 format:YYYY-MM-DD 为空时取到API所提供的最早日期数据
    p_start=time.strftime('%Y-%m-%d',time.localtime(time.time()-24*60*60*30))
    p_ktype='W'
    #股票数据保存
    engine = create_engine('oracle+cx_oracle://xulp:yiyi2009A!@localhost/orcl')
    cnx = engine.connect() 
   
    #取出股票基本数据
    result=pd.read_sql('select * from iq_stock_base',cnx)
    for row in result['code']:
        try:
            ##避免重复先删除
            strSql = 'delete from iq_stock where stockid=\'{}\' and ktype=\'{}\' and op_time>=\'{}\''.format(row,p_ktype,p_start)
            cnx.execute(strSql)
            df=ts.get_hist_data(code=row,start=p_start,ktype=p_ktype)
            df.index.names = ['op_time']
            df['STOCKID']= row
            df['ktype']= p_ktype
            df.to_sql('iq_stock', cnx,if_exists='append') 
            print('code:{}'.format(row)) 
        except:
            print('Exception',":",row)
       
    cnx.close()

Python使用TuShare将股票数据保存到Oracle数据的更多相关文章

  1. 快速将excel数据保存到Oracle数据库中【转】

    我们在工作中,也许会碰到以下情况,客户或者同事发来需要调查的数据,并不是dmp文件,而是excel文件,此时通常是一张表,少量几条记录.最近我恰好碰到了这种情况,所以做了些调查,不敢藏私,拿出来跟大家 ...

  2. 吴裕雄--天生自然python数据清洗与数据可视化:MYSQL、MongoDB数据库连接与查询、爬取天猫连衣裙数据保存到MongoDB

    本博文使用的数据库是MySQL和MongoDB数据库.安装MySQL可以参照我的这篇博文:https://www.cnblogs.com/tszr/p/12112777.html 其中操作Mysql使 ...

  3. 1.scrapy爬取的数据保存到es中

    先建立es的mapping,也就是建立在es中建立一个空的Index,代码如下:执行后就会在es建lagou 这个index.     from datetime import datetime fr ...

  4. 我用C#调用C编译的dll中有这样一个函数,函数大概的功能就是把数据保存到buf缓冲区中:

    我用C#调用C编译的dll中有这样一个函数,函数大概的功能就是把数据保存到buf缓冲区中: C/C++ code   ? 1 int retrieve(int scanno,void* buf); 在 ...

  5. Excel文件数据保存到SQL中

    1.获取DataTable /// <summary> /// 查询Excel文件中的数据 /// </summary> /// <param name="st ...

  6. 将爬取的数据保存到mysql中

    为了把数据保存到mysql费了很多周折,早上再来折腾,终于折腾好了 安装数据库 1.pip install pymysql(根据版本来装) 2.创建数据 打开终端 键入mysql -u root -p ...

  7. mysql触发器的使用 想让b字段在更新的时候把旧数据保存到a字段中

    使用mysql希望数据库自动触发一些规则,进行更新数据的时候,就需要用触发器了,比如 将旧数据保存到额外字段中,如何做呢? 在abc表中 name更新的时候 我希望把name的老数据保存到 old_n ...

  8. 简单抓取安居客房产数据,并保存到Oracle数据库

    思路和上一篇差不多,先获取网站html文件,使用BeautifulSoup进行解析,将对应属性取出,逐一处理,最后把整理出的记录保存到oracle中,持久化储存. '''Created on 2017 ...

  9. 为什么查询出来的数据保存到Arraylist?插入删除数据为啥用LinkedList?

    引言:这是我在回答集合体系时,被问到的一个问题,也是因为没有深入学习所以回答的并不是很好,所以这两天看了一下,以下是我的一些回答与学习方法. 学习方法:我们学习,系统性的学习肯定是比零散的学习更有效的 ...

随机推荐

  1. Lintcode答案&笔记

    1.A+B问题 给出两个整数a和b, 求他们的和, 但不能使用 + 等数学运算符 思路:作异或得到未进位和,作与并向左移1位得到进位,随后再重复操作俩结果,直到进位为0,适合用递归 public in ...

  2. Linux部署jar包

    当我们把java程序打成jar包后,放到linux上通过putty或其它终端执行的时候,如果按照:java -jar xxxx.jar执行,当我们退出putty或终端的时候,xxxx.jar这个程序也 ...

  3. oracle数据泵导入

    假设将dmp放到/data目录下,首先在数据库中创建directory目录SQL> create directory exp as '/data/'在操作系统命令执行导入命令.impdp sys ...

  4. mac搭建测试服务器

    代码可以参考: https://github.com/BigShow1949/MyServe  这里也有jar包 一.下载一个jar包 点击链接下载服务器端[moco服务端] https://repo ...

  5. 关于我-dinphy简介

    别   名:孜_行 英文名:dinphy QQ交流群:588266650 兴趣爱好:听音乐.打篮球.热衷于诗词文学 专    业:计算机 了    解:windows及Linux.android的基本 ...

  6. Android——Adapter

    Adapter——本身只是一个接口.Adapter是将数据绑定到UI界面上的桥接类.Adapter负责创建显示每个项目的子View和提供对下层数据的访问. 数据适配器作用:把复杂的数据(数组.链表.数 ...

  7. js杂项

    css是 下划线命名法:table_sub ;javascript ,net ,sql 全部是camel命名法 找临界点 1.elem.checked 有两个值,true,false . 页面中< ...

  8. iOS 10.0适配之旅

    1.升级Xcode体验 升级到Xcode之后,调试程序好多东西都不是太适应 控制台莫名给你打印一堆不是太好理解的东西 之前使用 Alcatraz 下载的插件都不能用(如何使用Alcatraz) 打开麦 ...

  9. js取当前周几

    纯javascript取当前周几 var dayNames = new Array("星期天","星期一","星期二","星期三& ...

  10. MVC学习随笔----如何在页面中添加JS和CSS文件

    http://blog.csdn.net/xxjoy_777/article/details/39050011 1.如何在页面中添加Js和CSS文件. 我们只需要在模板页中添加JS和CSS文件,然后子 ...