Word2vec 讨论

我没有在自然语言处理完成。但基于Deep Learning 关注，自然知道一些Word2vec强大。

Word2vec 是google 在2013年提供的一款将词表征为实数值向量的高效工具。而Word2vec输出的词向量可用于做NLP 相关的工作。比方聚类、找同义词、词性分析等。Word2vec 大受欢迎的一个原因是其高效性。
Tomas Mikolov  在[1] 中指出一个优化的单机版本号一天能够训练上千亿词（汗！

）。

关于词的概念。这里的词能够并不一定真的就是单词，全然能够是具有一定意义的单元块，比方国外音乐站点就用word2vec来训练用户的听歌记录。这里的单元块就是歌曲编号。假设用户对音乐类型的喜好是一致的，那么训练后就能找到与某个歌曲相似的歌曲，这样就能给用户进行推荐了。相信类似这种样例还有非常多。

（关于这点思考：词能够使一个标号或者理解为一个类的对象！

）

先上图：

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvaGFuemloYW4xMjM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

个人感觉这个解说的非常具体~

注意：1。 输入为一个窗体的待预測上下文

2. 输入层Wj 是维度为K的列向量，（syn0 编码？）如有 N个输入词。则输入大小为k*N

3. 隐层 Tk 是输入层Wj 的加权，隐层大小为N*k

4. 输出层的叶节点是语料里的词，如红楼梦分词后的独立词

5. 叶节点有唯一的编码。从根节点開始算第一层（二叉树构建算法 Huffman树）

理解非常浅显~

以后持续更新~

參考：

[1]Distributed Representations of Words and Phrases
and their Compositionality  （经典论文）

[2] Felven----再谈word2vec  (Felven word2vec 系列非常实践)

[3] Felven----关键词聚类

[4] Felven-----红楼梦人物关系

[5] word2vec傻瓜剖析     （个人认为还是先看看Felven的实验后。再看这个比較有感觉点！）

[6] 有道的word2vec 解说  （非常具体。几个DL大牛的关系图非常有意思！

）

[7] word2vec 代码解说，英文的！

[8]深度学习Word2vec 笔记之算法具体解释！

[9] word2vec 的Windows 编译的版本号

[10] word2vec使用指导 (zhoubl668的博客，有好几篇是介绍Word2vec的，值得推荐。)

[11] Deep Learning in NLP （一）词向量和语言模型 (非常具体！

)

如转载，请标明转自：http://write.blog.csdn.net/postedit/41078835

版权声明：本文博客原创文章，博客，未经同意，不得转载。