数据挖掘经典算法之KNN

KNN也称为k近邻算法，本质思想：物以类聚。

在分类或者预测中，待分类或预测的样本的类别和走势将直接参考与该样本最“近邻”的k个邻居。

在这种思路下，KNN注定会遇到3个问题：

(1): 谁是我的邻居：距离度量

(2): 参考多少个邻居作为参考：K值的选择，越多越好吗？ 不一定。

(3): 有了k个最近邻居了，如何进行决策：分类决策规则

 

距离度量：闵可夫斯基 || 曼哈顿 || 欧式 || 切比雪夫，具体公式可参考wiki百科

另外：在多维数据中，不同的维度的值差异可能较大，为了平等处理每个特征，需要进行归一化。（每个维度的差值都除该维度最大最小值的差），也可根据情况，加权各个特征。

 

K值的选择：本人目前知识范围内，没有具体的方法来对k进行计算。 通过实验进行选取吧。K=1,2,3,4,8...

 

如何进行决策：在选出了K个邻居后，可以通过多数表决或者加权的方式，来获得最终的结果。

 

总结：

在该方法中，不会有提前从训练数据集中训练出的模型的，但是可以提前训练出K值 + 距离度量方法 + 决策方法。

缺点：在计算邻居时，算法时间复杂度较大，特别是当样本大时，从样本中找出k个与当前样本最近的节点时间复杂度为O(n²)，为了解决时间效率为题，有2种解决思路：

• 使用新的数据结构：KD树（程序员喜欢、适合大数据潮流）
• 对数据进行清洗，去掉一些不必要的样本（大数据思想，好像不太喜欢这个方案）

 

对与KNN，先写到这。 关于KD树，可以参考一下链接：

http://blog.csdn.net/qll125596718/article/details/8426458