from urllib.request import urlretrieve f = open('SHA.csv', 'r')for line in f: data = line.split(',') stock_no = '0' + data[0].strip() start_date = data[1].strip().replace('-','') url = 'http://quotes.money.163.com/service/chddata.html?code=' + stock_…

前言: 编写一个爬虫脚本,用于爬取东方财富网的上海股票代码,并通过爬取百度股票的单个股票数据,将所有上海股票数据爬取下来并保存到本地文件中 系统环境: 64位win10系统,64位python3.6,IDE位pycharm 预备知识: BeautifulSoup的基本知识,re正则表达式的基本知识 代码: import requests from bs4 import BeautifulSoup import traceback import re def getHTMLText(url): t…

TuShare是个获取股票数据的模块包,我们进行分析,需要将股票数据保存到本地,避免每次都从网上获取,由于本机装有ORCALE,以ORACLE为例介绍如何保存股票数据到本地. 一.大致思路:我们先获取沪深的所有股票信息,保存到数据库中,主要使用的是dataframe的to_sql函数. to_sql(self, name, con, flavor='sqlite', schema=None, if_exists='fail',               index=True, index_la…

一.概述 1.1 关于JSON数据格式 JSON (JavaScript Object Notation), specified by RFC 7159 (which obsoletes RFC 4627) and by ECMA-404, is a lightweight data interchange format inspired by JavaScript object literal syntax (although it is not a strict subset of Java…

最近在做一个项目,主要是基于股票市场来验证一些model,看看能否做量化交易.那么如何获取数据呢?因为客户这边前期是不想花钱买数据的,只能自己想办法了,从sina和yahoo财经频道爬到一些数据,但是有些数据比较难找,看到了知乎上面的一个帖子,于是就尝试一下. tushare的介绍. 使用前提,安装anaconda. 按照好了之后,如何开发呢?选择什么样的IDE呢?如何基于anaconda搭建IDE环境. 安装tushare:windows下打开cmd.exe,OS X下打开terminal,p…

Python爬虫可以说是好玩又好用了.现想利用Python爬取网页股票数据保存到本地csv数据文件中,同时想把股票数据保存到MySQL数据库中.需求有了,剩下的就是实现了. 在开始之前,保证已经安装好了MySQL并需要启动本地MySQL数据库服务.提到安装MySQL数据库,前两天在一台电脑上安装MySQL5.7时,死活装不上,总是提示缺少Visual Studio 2013 Redistributable,但是很疑惑,明明已经安装了呀,原来问题出在版本上,更换一个版本后就可以了.小问题大苦恼,不…

人们常说Python语言简单,编写简单程序时好像也确实如此.但实际上Python绝不简单,它也是一种很复杂的语言,其功能特征非常丰富,能支持多种编程风格,在几乎所有方面都能深度定制.要想用好Python,用它解决复杂问题,开发功能正确的.效率高的程序,需要很好地理解上面说明的许多高级概念和特征,还需要理解这门语言的内在性质. Python虽说是目前非常热门的一种编程语言,但有关Python编程和应用的书籍,虽不能说是汗牛充栋.铺天盖地,也是林林总总.选择很多.<程序员学Python>与其他书籍…

matplotlib有一个finance子模块提供了一个获取雅虎股票数据的api接口:quotes_historical_yahoo_ochl 感觉非常好用! 示例一 获取数据并作折线图 import matplotlib.pyplot as plt from matplotlib.finance import quotes_historical_yahoo_ochl from matplotlib.dates import YearLocator, MonthLocator, DateForm…

最近在做一个项目,需要用到股票的数据,我在网上查了很久,最终发现在股票数据上面还是tushare比较专业,而且对于将来做金融行业的大数据这一块的,tushare绝对是你的一个好帮手,所以下面我就简单介绍一下. 一.Tushare Pro简介 Tushare旧的版本运行了三年,在旧的版本运行了三年之后,Tushare Pro被发布,相对于之前的版本,它更加稳定质量更好,而且有了前三年的运行经验,Pro用起来更加流畅,而且将数据扩大到了股票.基金.期货.债券.外汇.行业大数据等区块链的数据,数据量更…

复习 重点: 1.进制转换:二进制 与十六进制 2.内存分布:栈区 与堆区 # 二进制1111转换十六进制 => 8 4 2 1 => f 10101100111011 => 2a77 abf1 => 1010101111110001 # 计算机原理:控制器 运算器 储存器 input设备 output设备 IO流 # 三大核心:CPU 内存 硬盘 # 操作系统 今日内容 1.编程语言介绍 2.python语言介绍 3.安装官方cpython解释器 - - 版本共存 4.运行pyt…