先扯点闲篇儿,直取干货者,可以点击这里. 我曾误打误撞的搞过一年多的量化交易,期间尝试过做价格和涨跌的预测,当时全凭一腔热血,拿到行情数据就迫不及待地开始测试各种算法. 最基本的算法是技术指标类型的,原生的技术指标,改版的技术指标,以技术指标为特征构造机器学习算法,都做过.不论哪种方法,都绕不开一件事——如何使用历史数据验证算法的性能. 当时我是纯纯的小白,对数据集划分完全没有概念,一个很自然的想法就是拿全量数据跑回测,看资金曲线的年华收益.最大回撤.sharpe什么的.那时国内很多量化平台正在…

sklearn数据集划分方法有如下方法: KFold,GroupKFold,StratifiedKFold,LeaveOneGroupOut,LeavePGroupsOut,LeaveOneOut,LeavePOut,ShuffleSplit,GroupShuffleSplit,StratifiedShuffleSplit,PredefinedSplit,TimeSeriesSplit, ①数据集划分方法——K折交叉验证:KFold,GroupKFold,StratifiedKFold, 将全部…

机器学习 数据挖掘 数据集划分 训练集 验证集 测试集 Q:如何将数据集划分为测试数据集和训练数据集? A:three ways: 1.像sklearn一样,提供一个将数据集切分成训练集和测试集的函数: 默认是把数据集的75%作为训练集,把数据集的25%作为测试集. 2.交叉验证(一般取十折交叉验证:10-fold cross validation) k个子集,每个子集均做一次测试集,其余的作为训练集. 交叉验证重复k次,每次选择一个子集作为测试集,并将k次的平均交叉验证识别正确率作为结果. 3…

在SKLearn中,StratifiedShuffleSplit 类实现了对数据集进行洗牌.分割的功能.但在今晚的实际使用中,发现该类及其方法split()仅能够对二分类样本有效. 一个简单的例子如下: 1 import numpy as np 2 from sklearn.model_selection import StratifiedShuffleSplit 3 4 l4 = np.array([[1,2],[3,4],[1,4],[3,5]]) 5 l5 = np.array([0,1,…

简单记录一下自己使用caffe的过程和遇到的一些问题. 下载caffe以及安装不具体叙述了. 可參照 http://caffe.berkeleyvision.org/installation.html. 以下准备数据集和训练的过程參照imagenet的过程:可參考  http://drubiano.github.io/2014/06/18/caffe-custom-data.html 1. 将数据集分为train和validate, 分别写到train.txt和val.txt中. 格式每一行文件…

之前用过sklearn提供的划分数据集的函数,觉得超级方便.但是在使用TensorFlow和Pytorch的时候一直找不到类似的功能,之前搜索的关键字都是"pytorch split dataset"之类的,但是搜出来还是没有我想要的.结果今天见鬼了突然看见了这么一个函数torch.utils.data.Subset.我的天,为什么超级开心hhhh.终于不用每次都手动划分数据集了. torch.utils.data Pytorch提供的对数据集进行操作的函数详见:https://pyt…

sklearn数据集划分方法有如下方法: KFold,GroupKFold,StratifiedKFold,LeaveOneGroupOut,LeavePGroupsOut,LeaveOneOut,LeavePOut,ShuffleSplit,GroupShuffleSplit,StratifiedShuffleSplit,PredefinedSplit,TimeSeriesSplit, ①数据集划分方法——K折交叉验证:KFold,GroupKFold,StratifiedKFold, 将全部…

之前的数据集的train和test是直接按照网上下载的数据的前7000个作为训练集,后2212个作为测试集.看得出来,这个数据集是由开车录制视频转换来的图片数据,后面2000多个图片的场景和前面的场景不太一样.所以将整个数据集随机打乱,随机分配7000个训练集和2212个测试集.下面是代码: import random import os image_index = [] with open('/home/bnrc/all_image_index.txt','r') as f: for line…

鸢尾花数据集的导入及查看: ①鸢尾花数据集的导入: from sklearn.datasets import load_iris ②查看鸢尾花数据集: iris=load_iris()print("鸢尾花数据集:\n",iris)print("查看数据集描述:\n", iris.DESCR)print("查看特征值的名字:\n",iris.feature_names)print("查看特征数据:\n",iris.data,ir…

使用sklearn进行数据挖掘系列文章: 1.使用sklearn进行数据挖掘-房价预测(1) 2.使用sklearn进行数据挖掘-房价预测(2)-划分测试集 3.使用sklearn进行数据挖掘-房价预测(3)-绘制数据的分布 4.使用sklearn进行数据挖掘-房价预测(4)-数据预处理 5.使用sklearn进行数据挖掘-房价预测(5)-训练模型 6.使用sklearn进行数据挖掘-房价预测(6)-模型调优 上一节我们对数据集进行了了解,知道了数据集大小.特征个数及类型和数据分布等信息.做数据…