最近在做知识图谱相关工作,源数据主要来自百度百科,互动百科,中文维基百科等.其中中文维基百科提供数据库下载,下文主要讨论如何处理Wiki数据. 1. 中文维基数据下载 下载dump:https://dumps.wikimedia.org/zhwiki/latest/,维基数据主要包含以下几部分 zhwiki-latest-pages-articles.xml.bz2       词条正文 zhwiki-latest-redirect.sql  词条重定向(同义词) zhwiki-latest-p…

一.利用wiki中文语料进行word2vec模型构建 1)数据获取 到wiki官网下载中文语料,下载完成后会得到命名为zhwiki-latest-pages-articles.xml.bz2的文件,里面是一个XML文件 下载地址如下:https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2 其中:https://dumps.wikimedia.org/zhwiki/latest/提供wiki各种文…

本文利用gensim进行LDA主题模型实验,第一部分是基于前文的wiki语料,第二部分是基于Sogou新闻语料. 1. 基于wiki语料的LDA实验 上一文得到了wiki纯文本已分词语料 wiki.zh.seg.utf.txt,去停止词后可进行LDA实验. import codecs from gensim.models import LdaModel from gensim.corpora import Dictionary train = [] stopwords = codecs.open…

word2vec使用说明   转自:http://jacoxu.com/?p=1084. Google的word2vec官网:https://code.google.com/p/word2vec/ 下载下来的Demo源码文件共有如下几个: word2vec – Revision 41: /trunk … LICENSE //Apache LICENSE README.txt //工具使用说明 compute-accuracy.c demo-analogy.sh  // demo-classes.…

求职目标:NLP工程师 为什么想换工作? 除了技术相关书籍,我没读过太多其他类型的书,其中有一本内容短但是对我影响特别大的书--<谁动了我的奶酪>.出门问问是我毕业后的第一份工作,无论是工作内容还是团队氛围,我很满意在出门问问的工作,但是考虑到自己已经在出门问问工作了将近3年半,一直在从事人机对话NLU相关工作,我很难确定几年以后自己的能力和技术是否还有足够的竞争力?虽然继续在出门问问工作依然能够提升自己,但是我觉得如果换一个环境能够更大程度的提升自己,所以感觉是时候强迫自己去探索下一个&qu…

环境: win7+python3.5 1. 下载wiki中文分词语料   使用迅雷下载会快不少,大小为1个多G      https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2  2. 安装opencc用于中文的简繁替换    安装exe的版本   到https://bintray.com/package/files/byvoid/opencc/OpenCC 中下载 opencc-1.0.1-w…

最近试了一下Word2Vec, GloVe 以及对应的python版本 gensim word2vec 和 python-glove,就有心在一个更大规模的语料上测试一下,自然而然维基百科的语料进入了视线.维基百科官方提供了一个很好的维基百科数据源:https://dumps.wikimedia.org,可以方便的下载多种语言多种格式的维基百科数据.此前通过gensim的玩过英文的维基百科语料并训练LSI,LDA模型来计算两个文档的相似度,所以想看看gensim有没有提供一种简便的方式来处理维基…

在上一篇对中文维基百科语料处理将其转换成.txt的文本文档的基础上,我们要将为文本转换成向量,首先都要对文本进行预处理 步骤四:由于得到的中文维基百科中有许多繁体字,所以我们现在就是将繁体字转换成简体字 opencc工具进行繁简转换,首先去下载opencc:https://bintray.com/package/files/byvoid/opencc/OpenCC 下载完成之后解压即可,随后使用命令: opencc -i wiki.zh.text -o wiki.zh.jian.text -c…

在进行自然语言处理之前,首先需要一个语料,这里选择维基百科中文语料,由于维基百科是 .xml.bz2文件,所以要将其转换成.txt文件,下面就是相关步骤: 步骤一:下载维基百科中文语料 https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2 然后解压文件 文件夹里是一个这个文件 步骤二:安装依赖库 我们需要安装一些依赖库,有numpy.scipy以及gensim,安装gensim依赖于scipy…

Python NLTK 获取文本语料和词汇资源 作者:白宁超 2016年11月7日13:15:24 摘要:NLTK是由宾夕法尼亚大学计算机和信息科学使用python语言实现的一种自然语言工具包,其收集的大量公开数据集.模型上提供了全面.易用的接口,涵盖了分词.词性标注(Part-Of-Speech tag, POS-tag).命名实体识别(Named Entity Recognition, NER).句法分析(Syntactic Parse)等各项 NLP 领域的功能.本文主要介绍NLTK(Na…

本文由ilanniweb提供友情赞助,首发于烂泥行天下 想要获得更多的文章,可以关注我的微信ilanniweb confluence是一个专业的企业知识管理与协同软件,可以用于构建企业wiki.通过它可以实现团队成员之间的协作和知识共享. 网上有关confluence的教程比较多,在此我们以confluence5.6.6版本为例进行相关的实验. 一.环境准备 confluence的运行是依赖java环境的,也就是说需要安装jdk并且要是1.7以上版本,如下: java -version 除此之外…

前期准备 PHP http://windows.php.net/download   WinCache Extension for PHP URL:http://sourceforge.net/projects/wincache/?source=typ_redirect Features: PHP 5.2 and PHP 5.3 and PHP 5.4 and PHP 5.5 and PHP 5.6 support Configurable file cache Configurable PHP…

Confluence Wiki 中 [页面设置] 应该如何理解? 当一个用户有这个权限后,这个用户可以对一个页面做限制,可以限制这个页面不能被其他用户浏览或编辑: 反之,如果没有这个权限,那么这个用户不能限制这个页面被其他用户浏览或编辑:…

fitnesse提供一个简单易用的wiki创建一个web页面用于测试.测试页面有一个button,允许所有的测试在这个页面运行,因此任何人在任何时间都可以去这个页面点击这个按钮,查看测试是否通过.fitnesse提供自动运行测试的方式,因此它可以简单的添加用例到自动化脚本构建中. 测试页面看起来应该是什么样子?一个测试页面应该是 页面名称>两个或两个以上串级单词组成结构的wiki单词,每个单词以大写字母开始. 尽管fitnesse是写验收测试的工具,但是你可能想去学习一些使用wiki的技巧: 编…

在Wiki安装完成后,就wiki会提示下载LocalSettings.php文件,这是wiki的设置文件,当我们要对wiki进行设置的时候,就需要用到这个文件. 下面对常用的操作设置做简要讲解: ——禁止匿名用户编辑 #$wgGroupPermissions = array(); $wgGroupPermissions['*']['createaccount']   = false; $wgGroupPermissions['*']['read']            = true; $wgG…

我们推荐使用Mediawiki. MediaWiki是基于php环境的,所以如果需要使用该类wiki,就要先部署php的环境. wiki下载: https://www.mediawiki.org/wiki/Download 安装步骤: 一.下载之后解压,将解压的文件夹移动至php的web工作目录中,为了访问方便,我们可以把wiki目录的名称修改为mediawiki或wiki. 二.在浏览器中打开http://localhost/mediawiki,安装提示完成安装即可使用了.…

Wiki是一种高效的知识管理系统. 我们可以使用wiki构建自己的个人知识管理系统.…

https://github.com/kokoabim/iOSOpenDev/wiki/Troubleshoot http://blog.csdn.net/bluesky_03/article/details/41911613 从theos到iosopendev.iosopendev可以使用xcode来完成插件开发. --------------begin 多余的theos{安装iosopendev,不需要安装theos,下面的做法不是必需的:[  // 获取theos,在这里并不是必须的exp…

使用gensim的word2vec训练了一个词向量. 语料是1G多的维基百科,感觉词向量的质量还不错,共享出来,希望对大家有用. 下载地址是: http://pan.baidu.com/s/1boPm2x5 包含训练代码.使用词向量代码.词向量文件(3个文件) 因为机器内存足够,也没有分批训练.所以代码非常简单.也在共享文件里面,就不贴在这里了.…

参考: 让MoinMoin支持上传中文文件名的附件 http://www.linuxsir.org/bbs/thread368571.html 在1.9.7中修改解决.   MOINMOINWIKI1.9.7+WIN2012 X64   # -*- coding: iso-8859-1 -*- """     MoinMoin - AttachFile action       This action lets a page have multiple attachment…

Source: https://en.wikipedia.org/wiki/Brodmann_area Lateral surface Medial serface Areas 3, 1 & 2 – Primary Somatosensory Cortex (frequently referred to as Areas 3, 1, 2 by convention) Area 4 – Primary Motor Cortex Area 5 – Somatosensory Association…

还有一种比较不错的wiki工具MediaWiki 安装教程参考 http://pangge.blog.51cto.com/6013757/1560249 我是按照上面的教程搭建的 还有几篇不错的文章 jira的部署文章:http://www.ilanni.com/?p=12119   confluence的部署文章:   http://www.ilanni.com/?p=11989       confluence 基础教程: http://wenku.baidu.com/link?url=qz…

https://www.mediawiki.org/wiki/Help:Images/zh https://www.mediawiki.org/wiki/Manual_talk:Image_administration 下面是我装完mediawiki的设置,版本是1.14.等我熟悉wiki后,以后这些文档,就用wiki来写,比较方便. 1:允许上传图片 缺省是不能上传图片.需要修改LocalSettings.php 81 $wgEnableUploads = false; 把false 改为tr…

SnakeYAML Documentation This documentation is very brief and incomplete. Feel free to fix or improve it. Installation If you use Maven just add a dependency as described here. If you do not use Maven download the latest JAR and put it to the classpat…

https://wiki.unrealengine.com/Assets_Naming_Convention…

Simple Matching LPeg is a powerful notation for matching text data, which is more capable than Lua string patterns and standard regular expressions. However, like any language you need to know the basic words and how to combine them. The best way to…

About this project This project was developed after I had to find out that controlling my RGB ambient light with the normal infrared remote control was complicated and not reliable. Within a few months I build this solution that enabled controlling m…

The AlphaGo Replication Wiki 摘自:https://github.com/Rochester-NRT/RocAlphaGo/wiki/01.-Home Contents :  Home 01. Home 02. Code 03. Data 04. Neural Networks and Training 05. Supervised Policy Network (Phase I) 06. Reinforcement Policy Network (Phase II)…

比较完整面向对象的语法格式,     外表cms,内在wiki的系统   http://enanocms.org/features   比较老,php4的语法…

1 设置淘宝的gem镜像 1.1 不用镜像的痛苦 如果直接用官网的话,会有如下的错误信息,添加源.安装gem都是一样的错误,就算能连上也会很慢: $ gem sources -a https://rubygems.org/ Error fetching https://rubygems.org/: Errno::ECONNRESET: Connection reset by peer - SSL_connect (https://api.rubygems.org/specs.4.8.gz) 1.…