[moses笔记]编译含有nplm的moses解码器
ACL2014的best paper Fast and Robust Neural Network Joint Models for Statistical Machine Translation在SMT中使用深度学习知识,提出了一种neural network joint model(事实上就是融合源端语言知识去做语言模型),论文实验给出的结果宣称大幅度提高了以往基于n-gram语言模型翻译系统的翻译性能。
开源机器翻译系统moses也实现并集成了上述研究成果。參见[1]中
An implementation of Devlin
et al. (2014), a neural network language model that uses a target-side history as well as source-side context, is implemented in Moses as
BilingualLM. It uses NPLM as back-end (check its
installation instructions).
只是moses自己对他命名为Bilingual Neural LM(双语神经网络语言模型)。
和其它语言模型一样,moses将其视为一个翻译特征(feature)融合到自己的解码器中。
特征的集成參见[1]。可是假设心急,只改改moses配置文件mose.ini。在训练和解码阶段,使用曾经普通的moses解码器(一般都是使用KenLM或者Srilm作为语言模型),moses解码器会报错无法识别那个特征。
參见[1], 正确做法是:
1. 安装神经网络语言模型工具(a neural network language model toolkit)nplm。
2. 在编译的时候带上參数
- --with-nplm=<root dir of the NPLM toolkit>
可是我在安装过程中遇到问题:
Unable to load Boost.Build: could not find "boost-build.jam"
-----------------------------------------------------
Attempted search from /path/to/mosesdecoder up to the root at /path/to/mosesdecoder/share/boost-build. and in these directories from BOOST_BUILD_PATH and BOOST_ROOT: /usr/share/boost-build
開始。遇到这个问题。我一直以为是boost库安装错误。
參考[2],[3]等,对boost一阵着折腾。没有不论什么效果....
在加上我之前安装nlpm成功。并依照[1]上的方法成功训练出Bilingual
Neural LM,我更加确定是boost库的问题。
boost版本号各种换,boost安装方法各种尝试等,一直折腾到凌晨3点半。晕。
**推荐使用[4]中方法
./bootstrap.sh
./b2 -j4 --prefix=$PWD --libdir=$PWD/lib64 --layout=system link=static install || echo FAILURE
次日,我又一次编译moses,不带nlpm參数。居然成功了。
这也就是说编译boost库是没有问题的。到这个时候,我才開始回过头来考虑是否是nlpm在和moses一起编译的时候是否有问题。
但详细是哪里出问题,仍然一无所知。
偶然地,我发现编译的时候有一个错误:
/home/xwang/11.Moses/nplm-master/src/neuralLM.h:10:23: fatal error: Eigen/Dense: No such file or directory
查看出错的地方
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">
Eigen这个包事实上是放在nlpm根文件夹下的3rdparty文件夹下。
在编译nlpm的时候,须要在makefile文件里指定一些依赖包的路径(boost、Eigen等)。
此处,我手动地给改掉出错的地方。将nplm的src中头文件和cpp文件手动改动Eigen头...
改动后为:
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">
注意。全部出错的地方都要改动。查看出错的地方:
然后带上nlpm编译,编译通过,成功。
參考:
[1] http://www.statmt.org/moses/?n=FactoredTraining.BuildingLanguageModel#ntoc38
[2] http://comments.gmane.org/gmane.comp.nlp.moses.user/6322
[3] http://comments.gmane.org/gmane.comp.nlp.moses.user/11461
[4] http://www.statmt.org/moses/?
n=Development.GetStarted
[moses笔记]编译含有nplm的moses解码器的更多相关文章
- blfs(systemv版本)学习笔记-编译安装i3-wm平铺式窗口管理器
我的邮箱地址:zytrenren@163.com欢迎大家交流学习纠错! i3-wm项目的官网:https://i3wm.org/ 首先需要lfs基础上编译安装完整的xorg服务 我的xorg服务编译安 ...
- 如何在Eclipse CDT中编译含有多个main函数的项目
最近在杭电ACM上做题,使用的C++工具是Eclipse,但是Eclipse CDT不能同时存在多个main函数的文件,上网也搜了很多资料,但是按他们的步骤来,还是不能实现自己想要的效果.经过一下午的 ...
- blfs(systemd版本)学习笔记-编译安装配置dhcpcd
我的邮箱地址:zytrenren@163.com欢迎大家交流学习纠错! dhcpcd项目地址:http://www.linuxfromscratch.org/blfs/view/stable-syst ...
- JVM笔记——编译期的优化
一.编译过程 解析和填充符号表的过程 插入注解处理器的注解处理过程 语义分析与字节码生成过程 二.解析和填充符号表 解析包含两个过程:词法分析和语法分析 (一)词法分析 将源代码的字符流转变成标记(T ...
- blfs(systemd版本)学习笔记-编译安装openssh软件包
我的邮箱地址:zytrenren@163.com欢迎大家交流学习纠错! openssh项目地址:http://www.linuxfromscratch.org/blfs/view/stable/pos ...
- blfs(systemd版本)学习笔记-编译安装sudo并创建普通用户配置sudo权限
我的邮箱地址:zytrenren@163.com欢迎大家交流学习纠错! blfs书中sudo的安装配置章节:http://www.linuxfromscratch.org/blfs/view/stab ...
- blfs(systemv版本)学习笔记-编译安装ligtdm显示管理器
我的邮箱地址:zytrenren@163.com欢迎大家交流学习纠错! ligtdm带有显示管理器和登录器,参照我的笔记安装xorg和i3后安装lightdm,就可以组成一个简易的桌面环境了 下面是l ...
- blfs(systemv版本)学习笔记-编译安装配置dhcpcd
我的邮箱地址:zytrenren@163.com欢迎大家交流学习纠错! dhcpcd项目地址:http://www.linuxfromscratch.org/blfs/view/8.3/basicne ...
- blfs(systemv版本)学习笔记-编译安装openssh软件包
我的邮箱地址:zytrenren@163.com欢迎大家交流学习纠错! openssh项目地址:http://www.linuxfromscratch.org/blfs/view/8.3/postlf ...
随机推荐
- Struts2中的设计模式
http://blog.csdn.net/significantfrank/article/details/7712053 1. Command Pattern 基本定义: 把Command(Requ ...
- HDU 5636 Shortest Path 暴力
Shortest Path 题目连接: http://acm.hdu.edu.cn/showproblem.php?pid=5636 Description There is a path graph ...
- 每天一个linux命令21之ln: linux 下的软链和硬链
首先理解一下一下inode:Unix/Linux系统内部不使用文件名,而使用inode号码来识别文件. 表面上,用户通过文件名,打开文件.实际上,系统内部这个过程分成三步:首先,系统找到这个文件名对应 ...
- 源码安装redis初始化实例脚本
#!/bin/bash - #Date: -- #Auth: Jin version='2.8.7' progname='redis' pkgname="${progname}-${vers ...
- mysql常见故障问题汇总
Auth: JinDate: 20140414 UpdateDate: 继续更新 导库字符集的问题http://www.cnblogs.com/diege/p/3640618.htmlmysql-pr ...
- Mysql客户端下载地址
官网:http://dev.mysql.com/downloads/mysql/ 上述千万不要下载免安装版本. 千万记住一定要下载MSI安装版本.
- 深入学习 History 对象管理浏览器会话历史
History对象允许我们操作浏览器会话历史,即加载当前页面的标签页窗口或frame窗口的访问历史.之前有同学咨询我如何实现拦截用户跳转页面并强制用户返回首页后重新请求页面,于是有了本篇博客的主题,本 ...
- java nio最白话理解
JAVA NIO是同步非阻塞io.同步和异步说的是消息的通知机制,阻塞非阻塞说的是线程的状态 .下面说说我的理解,client和服务器建立了socket连接:1.同步阻塞io:client在调用rea ...
- Toad 常用快捷键
F9 执行全部sql Ctrl_Enter 执行当前sql Ctrl+T 补全table_name ...
- Java_导出Excel
导出的Excel标题.Sheet名称.数据内容都可以使用中文 一.pom.xml引入jar包 1 2 3 4 5 <dependency> <groupId ...