商品现货数据不好拿?商品季节性难跟踪?一键解决没烦恼的Python爬虫分享
更多精彩内容,欢迎关注公众号:数量技术宅。探讨数据分析、量化投资问题,请加技术宅微信:sljsz01
季节性在大宗商品的交易中至关重要
大宗商品交易中,特别是在期货市场,由于商品价格周期的存在,季节性作为一种确定性相对较高的周期波动,对于某些品种,比如农产品,季节性对于行情的影响有时候是决定性的。我们在做交易决策的时候,必须要把季节性考虑在内。那么,如何把握一个品种的季节性,如何了解一个品种季节性走势规律呢?就要从数据当中寻找答案。
保存原始数据
我们的数据来源选自生意社,这个网站上面有着很多大宗商品品种和口径一致的高质量现货报价。我们的爬虫需要想办法从网站上把原始数据爬下来。
第一步、导入需要的包
第二步、设定基础变量,爬虫开始运作
第三步、获得数据之后,将数据保存到本地
我们看到,数据正一点一点收取下来,整个过程程序都是自动运行的,这个时候你就可以泡一杯咖啡,喝口茶,等待数据收取完毕。
数据“整形”
在保存好了原始数据之后,我们需要对数据进行“整形”,使我们更加方便对原始数据进行分析。
为了直观体现季节性的走势,我们对于历年现货数据进行了平均化,从而得到了每个品种的季节性指数。
作图的原理也不复杂,总览图采用subplots函数,框定了7行8列的图片框架。
数据可视化
通过平铺的方式,我们直观展现出了品种的季节性。基于现货数据的季节性指数由于和期货市场是两个维度,因此相对而言更加具备参考价值。
我们来看几组数据的比较:
同为金属板块的锡和镍有着相仿的季节性,都是在2月进入季节性高点,同时整体走势偏弱。
对比一下同为畜牧产品的生猪和鸡蛋,我们也能发现它们具备类似的季节性特征,即8月9月明显呈现季节性旺季,主要是由于国庆中秋双节带动消费的效应。
我们再看看动力煤和铁矿石,8月,作为铁矿石的季节性旺季,同时也是动力煤的季节性低点。
对比一下化工的PTA、PVC季节性对比,可以发现两者走势整体上比较一致,但PTA季节性波动更大。
我们再来看看同为能源品的柴油和汽油的对比,很明显,两者季节性相关度很高,都是7月低点,10月高点。
小结
这样的图我们还可以做出很多,有了从数据抓取到可视化的程序化处理之后,可以持续地对数据进行跟踪,方便动态地进行更新。当然了,如果需要更多品种合并到一张图中,也是可以非常方便地完成,只需要选择更多的品种序列加入到作图的数据中就可以了。
如果对本次技术宅分享的Python爬虫、季节性计算代码感兴趣,欢迎加小编微信(sljsz01),找我领取
往期干货分享推荐阅读
【数量技术宅|金融数据分析系列分享】如何正确抄底商品期货、大宗商品
【数量技术宅|量化投资策略系列分享】股指期货IF分钟波动率统计策略
【数量技术宅 | Python爬虫系列分享】实时监控股市重大公告的Python爬虫
商品现货数据不好拿?商品季节性难跟踪?一键解决没烦恼的Python爬虫分享的更多相关文章
- 实时获取股票数据,免费!——Python爬虫Sina Stock实战
更多精彩内容,欢迎关注公众号:数量技术宅,也可添加技术宅个人微信号:sljsz01,与我交流. 实时股票数据的重要性 对于四大可交易资产:股票.期货.期权.数字货币来说,期货.期权.数字货币,可以从交 ...
- Python爬虫丨大众点评数据爬虫教程(1)
大众点评数据获取 --- 基础版本 大众点评是一款非常受普罗大众喜爱的一个第三方的美食相关的点评网站. 因此,该网站的数据也就非常有价值.优惠,评价数量,好评度等数据也就非常受数据公司的欢迎. 今天就 ...
- Python爬虫库Scrapy入门1--爬取当当网商品数据
1.关于scrapy库的介绍,可以查看其官方文档:http://scrapy-chs.readthedocs.io/zh_CN/latest/ 2.安装:pip install scrapy 注意这 ...
- 7- vue django restful framework 打造生鲜超市 -商品类别数据展示(上)
Vue+Django REST framework实战 搭建一个前后端分离的生鲜超市网站 Django rtf 完成 商品列表页 并没有将列表页的数据json 与前端的页面展示结合起来 讲解如果将dr ...
- 用Python爬取分析【某东618】畅销商品销量数据,带你看看大家都喜欢买什么!
618购物节,辰哥准备分析一波购物节大家都喜欢买什么?本文以某东为例,Python爬取618活动的畅销商品数据,并进行数据清洗,最后以可视化的方式从不同角度去了解畅销商品中,名列前茅的商品是哪些?销售 ...
- Java生鲜电商平台-商品基础业务架构设计-商品设计
Java生鲜电商平台-商品基础业务架构设计-商品设计 在生鲜电商的商品中心,在电子商务公司一般是后台管理商品的地方.在前端而言,是商家为了展示商品信息给用户的地方,它是承担了商品的数据,订单,营销活动 ...
- react 从商品详情页返回到商品列表页,列表自动滚动上次浏览的位置
现状:目前从商品详情页返回到商品列表页,还需要再去请求服务数据,还需要用户再去等待获取数据的过程,这样用户体验非常不好, 遇到的问题: 1:如何将数据缓存, 2:如何获取和保存列表滑动的高度, 3:判 ...
- Python爬虫 获得淘宝商品评论
自从写了第一个sina爬虫,便一发不可收拾.进入淘宝评论爬虫正题: 在做这个的时候,也没有深思到底爬取商品评论有什么用,后来,爬下来了数据.觉得这些数据可以用于帮助分析商品的评论,从而为用户选择商品提 ...
- Vue小案例 之 商品管理------批量删除与商品数量的调整
通过索引进行删除,进行测试,是否获取其索引: 测试效果: 测试代码,在vue中定义一个空的数组,以便后面进行数据的绑定: data:{ imgUrl:'../res/images/', imgName ...
随机推荐
- ORA-01455: converting column overflows integer datatypes.
系统执行抛了一个ORA-01455: converting column overflows integer datatypes.把当时执行的SQL取出来,在plsql developer里面执行是没 ...
- composer分析(二)结合PSR-4
composer分析(二)结合PSR-4 PSR-4提供了一种文件和路径映射关系,非常类似文件系统的组织结构 全限定类名 \<NamespaceName>(\<SubNamespac ...
- JAVA集合类简要笔记 - 内部类 包装类 Object类 String类 BigDecimal类 system类
常用类 内部类 成员内部类.静态内部类.局部内部类.匿名内部类 概念:在一个类的内部再定义一个完整的类 特点: 编译之后可生成独立的字节码文件 内部类可直接访问外部类私有成员,而不破坏封装 可为外部类 ...
- Mac系统下php.ini的位置
http://blog.csdn.net/meegomeego/article/details/25704645 /private/etc/php.ini /usr/local/etc/php/5.5 ...
- Jemter响应数据乱码
问题分析: 请求响应数据出现中文时,通过查看jemter的察看结果树中的响应数据信息,出现乱码.经过查看jemter的配置文件jmeter.properties发现其默认字符集编码为ISO-8859- ...
- Zabbix下查看参数的小技巧
我们在管理.维护Zabbix的时候,经常需要查看配置文件下的一些参数信息.下面介绍一些常用的小技巧. 1:我想知道zabbix_server.conf文件中配置了那些参数. # grep '^[a-Z ...
- zookeeper与分布式系统
1.1. 分布式系统基础知识 一个tomcat打天下的时代,不能说完全淘汰了,在一个管理系统,小型项目中还经常使用,这并不过分,出于成本的考虑,这反而值得提倡. 1.1.1. 分布式系统是什么 分 ...
- 关于Vue-loader的那些事儿
什么是Vue-loader 一个webpack的加载器,负责将vue组件编译成普通的JavaScript模块. 关于webpack的介绍 这里呢?用到webpack,在项目的编译打包的过程中,将复杂的 ...
- leetcode刷题-57插入区间
题目 给出一个无重叠的 ,按照区间起始端点排序的区间列表. 在列表中插入一个新的区间,你需要确保列表中的区间仍然有序且不重叠(如果有必要的话,可以合并区间). 示例 1: 输入:intervals = ...
- why哥被阿里一道基础面试题给干懵了,一气之下写出万字长文。
这是why的第 65 篇原创文章 荒腔走板 大家好,我是 why,欢迎来到我连续周更优质原创文章的第 65 篇.老规矩,先荒腔走板聊聊技术之外的东西. 上面这图是去年的成都马拉松赛道上,摄影师抓拍的我 ...