机器学习中的train valid test以及交叉验证

转自 https://www.cnblogs.com/rainsoul/p/6373385.html

在以前的网络训练中，有关于验证集一直比较疑惑，在一些机器学习的教程中，都会提到，将数据集分为三部分，即训练集，验证集与测试集，但是由于工作中涉及到的都是神经网络的训练，大部分的情况是将数据集分为train以及test两部分，直接用train set进行网络的训练，test set进行accuracy的测试，最后在选取accuracy最高的迭代次数所对应的模型使用，一直延续的就是这样一个套路，对于验证集的疑惑一直没有得到解决。

今天看到了一篇博客，对于这个问题的分析较为透彻，我才弄明白了一点，下面是自己的一点理解，写在这里，供以后查阅，也希望看到的网友们能够给我指点错误，共同学习。

首先要明确的一点是，验证集以及交叉验证是用于模型选取过程中的，而不是模型训练过程中的！

我的疑问产生的原因是，我没有完整的走完整个机器学习的全过程，正常情况下，采用机器学习的方法解决一个实际问题的过程应该大致包括以下几个步骤：问题抽象-》模型选择-》模型训练-》模型应用。但是由于我一开始接触机器学习就是神经网络方面的东西，通常都是拿到一个公认的性能比较好的网络模型，用自己的数据集进行训练，调整模型的参数，使该模型适用与我们当前的数据集。这样的一个过程实际上相当于承认了我所选择的神经网络的网络架构是一个“最优”的模型了（这个“最优”是大牛们验证得到的结果），将“问题抽象-》模型选择”这两个步骤都省略掉了（大牛们替我做过了），只做了后面的两个步骤，那么此时根本就没有模型选取的过程，也就没有采用验证集的必要性了，这也就是我为什么没有见过验证集出现的原因了。

这里附上莫烦的教程，检验神经网络，从why和how两个维度展开。

明确了上面的原因之后，那么验证集以及交叉验证等方法就可以按照下面的过程进行理解了：

1、有一个实际问题需要用机器学习的方式进行求解，首先对该问题进行数学上的抽象（用数学语言进行描述，向量化特征表示等过程）；

2、对于该问题，采取机器学习的方式进行解决的话，有n个可供选择的模型model1, model2,......modeln（比如这n个模型可以是不同阶次的拟合多项式）；

3、将我们所拥有的数据集分为三部分（数据集充足的前提下，不充足的时候则用交叉验证的手段），分别对这n个模型的性能进行评估，得到“最优”的模型modelk；

4、将所有数据都用作训练集，对modelk进行训练，得到modelk的最优参数。

总结一句，就是验证集合是在没有确定什么模型最优的时候采用的，确定下来之后，就可以将所有的数据集都用作训练，得到最优的模型参数。