最近测试OpenNRE,没有GPU服务器,bert的跑不动,于是考虑用word2vec,捡起fasttext 下载安装 先clone代码 git clone https://github.com/facebookresearch/fastText.git 然后make编译: make 编译后,将生成的fastText移到bin cp fasttext /usr/local/bin/ 训练word2vec 先讲语料分好词,比如保存到sent_train.txt,文件内容是中文分词后的内容: 楚穆王…

本篇博客是Gensim的进阶教程,主要介绍用于词向量建模的word2vec模型和用于长文本向量建模的doc2vec模型在Gensim中的实现. Word2vec Word2vec并不是一个模型--它其实是2013年Mikolov开源的一款用于计算词向量的工具.关于Word2vec更多的原理性的介绍,可以参见我的另一篇博客:word2vec前世今生 在Gensim中实现word2vec模型非常简单.首先,我们需要将原始的训练语料转化成一个sentence的迭代器:每一次迭代返回的sentence是…

真正掌握一种算法,最实际的方法,完全手写出来. LSTM(Long Short Tem Memory)特殊递归神经网络,神经元保存历史记忆,解决自然语言处理统计方法只能考虑最近n个词语而忽略更久前词语的问题.用途:word representation(embedding)(词语向量).sequence to sequence learning(输入句子预测句子).机器翻译.语音识别等. 100多行原始python代码实现基于LSTM二进制加法器.https://iamtrask.github.…

本文是讲述怎样使用word2vec的基础教程.文章比較基础,希望对你有所帮助! 官网C语言下载地址:http://word2vec.googlecode.com/svn/trunk/ 官网Python下载地址:http://radimrehurek.com/gensim/models/word2vec.html 1.简介 參考:<Word2vec的核心架构及其应用 · 熊富林.邓怡豪,唐晓晟 · 北邮2015年>           <Word2vec的工作原理及应用探究 · 周练 ·…

今天参考网上的博客,用gensim训练了word2vec词向量.训练的语料是著名科幻小说<三体>,这部小说我一直没有看,所以这次拿来折腾一下. <三体>这本小说里有不少人名和一些特殊名词,我从网上搜了一些,作为字典,加入到jieba里,以提高分词的准确性. 一.gensim中关于word2vec的参数说明 这一部分其他博客整理的比较清楚了,我也就不抄过来了.看这个链接: https://www.cnblogs.com/pinard/p/7278324.html 二.gensim训练…

官方给出的faster R-CNN的源码python版:https://github.com/rbgirshick/py-faster-rcnn 先来分析一下 整个文件,根目录下的文件 caffe-fast-rcnn 存放caffe框架 data 下面有两个文件夹,第一个是demo,放了5张用于测试的图片.第二个是scripts,里面放了三个脚本文件,分别为下载在VOC2007上训练的Faster R-CNN模型.下载预训练的分类模型(ZF或者VGG16) 和设置数据集的符号链接的脚本文件. e…

Github地址:Mask_RCNN 『计算机视觉』Mask-RCNN_论文学习 『计算机视觉』Mask-RCNN_项目文档翻译 『计算机视觉』Mask-RCNN_推断网络其一:总览 『计算机视觉』Mask-RCNN_推断网络其二:基于ReNet101的FPN共享网络 『计算机视觉』Mask-RCNN_推断网络其三:RPN锚框处理和Proposal生成 『计算机视觉』Mask-RCNN_推断网络其四:FPN和ROIAlign的耦合 『计算机视觉』Mask-RCNN_推断网络其五:目标检测结果精炼…

P1193 洛谷团队训练VS传统团队训练 题目背景 “在中学的信息学教育领域,洛谷无疑是一个相当受欢迎的辅助网站.同时有百余所学校正在通过洛谷进行信息学竞赛(以后简称OI)的教育.洛谷之所以如此受欢迎,是因为洛谷创新的将OI教育的几乎每一个环节都搬到了线上,无论是学校的竞赛教练还是学生,均可以仅仅使用这一个网站来进行练习,提升自己的能力.” ——摘自<厦门中小学教育科学研究>,2015年2月号. 题目描述 XX中学的两位信息组的教练正在为学校信息组是否应当将洛谷作为主要的训练工具而争论不休,最…

Comparison of FastText and Word2Vec   Facebook Research open sourced a great project yesterday - fastText, a fast (no surprise) and effective method to learn word representations and perform text classification. I was curious about comparing these em…

数据集与词性标注 数据集是NLP中的重要一环. 但是提到数据集,很多人的第一个想法可能是:"这玩意从网上下载就好了,不用管". 真的不用管?最开始我也是这么认为的 于是我直奔CoNLL-2003去下载数据集.地址如下:https://www.clips.uantwerpen.be/conll2003/ner/ 但是经过了解,该数据集的来源是新闻报纸之类的内容,与我要应用NLP的领域严重不符. 所以,除非你的NLP任务与网络上已经公布的.较多人实现的任务重合,否则数据集一般不能直接使用…