word2vec浅析

本文是參考神经网络语言模型、word2vec相关论文和网上博客等资料整理的学习笔记。仅记录

自己的学习历程，欢迎拍砖。

word2vec是2013年google提出的一种神经网络的语言模型，通过神经网络来学习词语的联合概率分布。

同一时候能够得到词向量，有了词向量能够做非常多NLP相关的事情。事实上，早在2000年初就有学者在用神经网络

来学习语言模型了，通过多年的改进、演变。得到我们如今知道的word2vec。word2vec事实上并没实用多层的

神经网络。近些年来DL方法也在NLP领域有越来越多的研究进展。

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZnJlZWxpYW8=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZnJlZWxpYW8=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZnJlZWxpYW8=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">

參考文献

https://code.google.com/p/word2vec/

lMikolov,Tomas, et al. "Efficient estimation of word representations in vectorspace." arXiv preprint arXiv:1301.3781 (2013).

Mikolov,Tomas, et al. "Distributed representations of words and phrases and theircompositionality." Advances in Neural Information ProcessingSystems. 2013.

lBengio,Yoshua, et al. "Neural probabilistic language models." Innovationsin Machine Learning. Springer Berlin Heidelberg, 2006. 137-186.

lhttp://blog.csdn.net/itplus/article/category/1686185

http://licstar.net/archives/328

http://blog.csdn.net/mytestmy/article/category/1465487