独热编码（One-Hot）的理解

https://www.imooc.com/article/35900

参考上面大神的原文，说的非常透彻。非常便于理解。感谢 感谢

自己做个小笔记，便于自己学习

特征值是离散的，无序的。

如：

• 性别特征：["男"，"女"]

• 祖国特征：["中国"，"美国，"法国"]

• 运动特征：["足球"，"篮球"，"羽毛球"，"乒乓球"]

假如某个样本（某个人），他的特征是这样的["男","中国","乒乓球"]，我们完全可以用 [0,0,4] 来表示。
但是这样的特征处理并不能直接放入机器学习算法中。因为类别之间是无序的（运动数据就是任意排序的）。不理解没关系。

怎么转化成独热码呢？

用独热码来表示就是

男  =>  10

女  =>  01

祖国特征：["中国"，"美国，"法国"]（这里N=3）：

中国  =>  100

美国  =>  010

法国  =>  001

运动特征：["足球"，"篮球"，"羽毛球"，"乒乓球"]（这里N=4）：

足球  =>  1000

篮球  =>  0100

羽毛球  =>  0010

乒乓球  =>  0001

所以，当一个样本为["男","中国","乒乓球"]的时候，完整的特征数字化的结果为：

[1，0，1，0，0，0，0，0，1]

下图可能会更好理解：

这样做的优势 是什么呢？

对于祖国特征：["中国"，"美国，"法国"]

重点 重点 重点！

如果按照  中国 0 ，美国 1，法国2  普通编码的话

那么  中国和法国之间的距离是2，中国和美国的距离是1，美国和法国的距离是1，但是实际上，这种距离是因为我们编码的顺序导致的。中国和法国并不是真的 距离是2 。

而在机器学习中需要计算两者之间的距离（欧氏距离）。这种普通的编码方式并不能表示清楚距离。

而如果用独热码来编码

中国 1 0 0

美国 0 1 0

法国 0 0 1

相当于我搭建了一个三维的空间

那么 任意两国的距离都是 sqrt（2），距离都是相等的！      这才是关键 关键！

相当于 中国在 x+点处，美国 在y+点处，法国在 z+点处。那么三者之间的距离是不是相等呢？

关于机器学习

在one hot representation编码的每个单词都是一个维度，彼此独立。

这里我们可以看到One hot方式处理的数据

1、会产生大量冗余的稀疏矩阵

2、维度（单词）间的关系，没有得到体现

要是one hot encoding的类别数目不太多，建议优先考虑

最后再次感谢 NateHuang