Word2Vec总结

摘要：

　　1.算法概述

　　2.算法要点与推导

　　3.算法特性及优缺点

　　4.注意事项

　　5.实现和具体例子

　　6.适用场合

内容：

　　1.算法概述

　　Word2Vec是一个可以将语言中的字词转换为向量表达（Vector Respresentations）的模型,Word2vec可以将字词转为连续值的向量表达，并且其中意义相近的词将被映射到向量空间中相近的位置。其主要依赖的假设是Distributional Hypothesis,即在相同语境中出现的词其语义也相近。Word2vec主要分为CBOW(Continuous Bag of Words)和Skip Gram两种模式，其中CBOW是从原始数据推测目标字词；而Skip-Gram是从目标字词推测原始语句，其中CBOW对小型数据比较合适，而Skip-Gram在大型预料中表现得更好。

　　2.算法要点与推导

　　Word2Vec的CBOW模型是一个二分类模型，用来区分真是的目标词汇和噪声词汇两类，其中噪声词汇是通过负样本采样（Negative Sampling,随机选择k个词汇）方法构造得来。Word2Vec使用Noise-Constrastive Estimation Loss,在tf.nn.nce_loss()方法中有实现。

　　3.算法特性及优缺点

　　4.注意事项

　　5.实现和具体例子

　　　　《TensorFlow实战》实现Word2Vec

　　6.适用场合