Moses训练与测试
参考：http://cache.baiducontent.com/c?m=9d78d513d9991cf00ffa940f47408f711925df252bd6a0502294ca5f92140d1a0771e3ca7c6251428d9a6b6770f4091dacae6965367337b7eddf893a82e8d36e78c83034015dd70149915feedc46549167cb04bfb81897adf04484afa28d804352ba44050d97f1fb1b5a03ca1ee71447f4a7e913025f61eafa3115e859003e9e5301e650f890256e7096f7ad0d10d42aa17611e1b834c07805b562b31f6c3003e012be52176072f74e54e2597841d7fc5d902d791c7df45fb3ce90eaf616df80bf76cbaf9cb82fe33fbb93bda72a1e2545fa53f8f6e0ec643f0315d9bc85568574e2a5fbba3ab24896560fe40325693093378382f904ae344df4912ebe7271783f0aa9ef29b92e2c3a2c&p=8562c54ad5c34bf543f6d52d02148e&newp=9f34c54ad5c34beb2ab1c02d021496231610db2151d4d4103ba6cf1c&user=baidu&fm=sc&query=/home/xdj/mtworkdir/irstlm/irstlm-master/scripts/build-lm.sh+-i+b.sb.cn+-t+./tmp+-p+-s+improved-knes&qid=b51a28c7000049a6&p1=1
http://blog.csdn.net/han_xiaoyang/article/details/10109053
http://www.leexiang.com/how-to-run-moses
http://wenku.baidu.com/link?url=QvfbyTEEdOIrtvnxuh4NZLA8UqMq4stOiq6TUafNNmyC4qBChQJ3CVHL4_23c-GI4tX9wlC85aSfLa1dxHNNTP1DPaLdgzQSXY-mTSU5n3q
在构造测试文本。
在终端文件夹~/mtworkdir/mosesdecoder/lixiang1中：
/home/xdj/mtworkdir/mosesdecoder/scripts/tokenizer/tokenizer.perl -l en <b.en> b.tok.en
/home/xdj/mtworkdir/mosesdecoder/scripts/tokenizer/tokenizer.perl -l en <b.cn> b.tok.cn
/home/xdj/mtworkdir/mosesdecoder/scripts/recaser/train-truecaser.perl --corpus b.tok.en --model b.model.en
/home/xdj/mtworkdir/mosesdecoder/scripts/recaser/train-truecaser.perl --corpus b.tok.cn --model b.model.cn
/home/xdj/mtworkdir/mosesdecoder/scripts/recaser/truecase.perl --model b.model.en<b.tok.en>b.true.en
/home/xdj/mtworkdir/mosesdecoder/scripts/recaser/truecase.perl --model b.model.cn<b.tok.cn>b.true.cn
/home/xdj/mtworkdir/mosesdecoder/scripts/training/clean-corpus-n.perl b.true cn en b.clean 1 80
80代表分词的个数。本数据可取30。
/home/xdj/mtworkdir/irstlm/irstlm-master/scripts/add-start-end.sh <b.clean.cn>b.sb.cn
/home/xdj/mtworkdir/irstlm/irstlm-master/scripts/add-start-end.sh <b.clean.en>b.sb.en
运行时报错如下：
Set irstlm
这里要声明IRSTLM的安装路径：
export IRSTLM=/home/xdj/mtworkdir/irstlm
/home/xdj/mtworkdir/irstlm/irstlm-master/scripts/build-lm.sh -i b.sb.cn -t ./tmp -p -s improved-kneser-ney -o b.lm.cn
/home/xdj/mtworkdir/irstlm/irstlm-master/scripts/build-lm.sh -i b.sb.en -t ./tmp -p -s improved-kneser-ney -o b.lm.en
/home/xdj/mtworkdir/irstlm/bin/compile-lm --\text=yes b.lm.cn.gz b.arpa.cn
/home/xdj/mtworkdir/irstlm/bin/compile-lm --\text=yes b.lm.en.gz b.arpa.en
关键参考：https://github.com/irstlm-team/irstlm/issues/2
/home/xdj/mtworkdir/mosesdecoder/bin/build_binary b.arpa.cn b.blm.cn
/home/xdj/mtworkdir/mosesdecoder/bin/build_binary b.arpa.en b.blm.en
测试一下训练的模型
echo "我 果断 放弃 了 那幅 图 。" | /home/xdj/mtworkdir/mosesdecoder/bin/query b.blm.en
nohup nice /home/xdj/mtworkdir/mosesdecoder/scripts/training/train-model.perl -cores 1-parallel -root-dir train -corpus /home/xdj/mtworkdir/mosesdecoder/lixiang1/b.clean -f cn -e en -alignment grow-diag-fial-and -reordering msd-bidirectional-fe -lm 0:3:/home/xdj/mtworkdir/mosesdecoder/lixiang1/b.blm.en:8 -enternal-bin-dir /home/xdj/mtworkdir/giza-pp/GIZA++-v2>&training.out&
cd mtworkdir/mosesdecoder/lixiang1/working
nohup nice /home/xdj/mtworkdir/mosesdecoder/scripts/training/train-model.perl -cores 1 -root-dir train-\corpus /home/xdj/mtworkdir/mosesdecoder/lixiang1/b.clean -f cn -e en-alignment grow-diag-fial-and-\reordering msd-bidirectional-fe-lm 0:3:/home/xdj/mtworkdir/mosesdecoder/lixiang1/b.blm.en:8 -external-bin-dir /home/xdj/mtworkdir/giza-pp/GIZA++-v2/giza >& training.out &
nohup nice /home/yaoqiang/moses/moses_binary/scripts/training/train-model.perl -cores 8 -root-dir train
-\ corpus /data/train_500m_data/all_movie_data_20130422.clean -f zh -e en
-alignment grow-diag-final-and
-\reordering msd- bidirectional-fe
-lm 0:3:/data/train_500m_data/all_movie_data_20130422.blm.en:8
-external-bin-\dir /home/yaoqiang/moses/moses_binary/training-tools/giza >& training_log.out &
nohup nice /home/xdj/mtworkdir/mosesdecoder/scripts/training/train-model.perl
-scripts-root-dir /home/user/moses/scripts/target/scripts-20100105-1600
-root-dir /home/xdj/mtworkdir/mosesdecoder/lixiang1/working
-corpus /home/xdj/mtworkdir/mosesdecoder/lixiang1/working/train -e eng -f chn
-max-phrase-length 10
-alignment-factors grow-diag-final-and
-reordering msd-bidirectional-fe
-lm 0:5:/home/xdj/mtworkdir/mosesdecoder/lixiang1/working/train.chn.gz
nohup nice /home/yaoqiang/moses/moses_binary/scripts/training/train-model.perl -cores 8 -root-dir train -\ corpus /data/train_500m_data/b.clean -f zh -e en -alignment grow-diag-final-and -\reordering msd-
bidirectional-fe -lm 0:3:/data/train_500m_data/all_movie_data_20130422.blm.en:8 -external-bin-\
dir /home/yaoqiang/moses/moses_binary/training-tools/giza >& training_log.out &
其中参数-cores 8将服务器中8个cpu全都用上了。
nohup nice /home/xdj/mtworkdir/mosesdecoder/scripts/training/train-model.perl -cores 1 -root-dir train --corpus /home/xdj/mtworkdir/mosesdecoder/lixiang/b.clean -f cn -e en --alignment grow-diag-fial-and-\reordering msd-bidirectional-fe --lm 0:3:/home/xdj/mtworkdir/mosesdecoder/lixiang/b.blm.en:8 -external-bin-dir /home/xdj/mtworkdir/external-nal>& training.out &
nohup nice /home/xdj/mtworkdir/mosesdecoder/scripts/training/train-model.perl -cores 1 -root-dir train --corpus /home/xdj/mtworkdir/mosesdecoder/lixiang1/b.clean -f cn -e en --alignment grow-diag-fial-and-\reordering msd-bidirectional-fe --lm 0:3:/home/xdj/mtworkdir/mosesdecoder/lixiang1/b.blm.en:8 -external-bin-dir /home/xdj/mtworkdir/external-nal &>training.out&
echo "我 果断 放弃 了 那幅 图 。" | /home/xdj/mtworkdir/mosesdecoder/bin/moses -f /home/xdj/mtworkdir/mosesdecoder/lixiang1/working/train/model/moses.ini >out
遇到lm/read_arpa.cc:151 in void lm::PositiveProbWarn::Warn(float) threw > FormatLoadException'. > Positive log probability 2.40965e-07 in the model. This is a bug in > IRSTLM; you can set config.positive_log_probability = SILENT or pass > -i to build_binary to substitute 0.0 for the log probability. Error > in the 3-gram at byte 195895800 Byte: 195895800 File: 2000.arpa.ar
解决：/home/xdj/mtworkdir/mosesdecoder/bin/build_binary -i b.arpa.en b.blm.en
调优：
/home/xdj/mtworkdir/mosesdecoder/scripts/tokenizer/tokenizer.perl -l en <btune.en> btune.tok.en
/home/xdj/mtworkdir/mosesdecoder/scripts/tokenizer/tokenizer.perl -l en <btune.cn> btune.tok.cn
/home/xdj/mtworkdir/mosesdecoder/scripts/recaser/train-truecaser.perl --corpus btune.tok.en --model btune.model.en
/home/xdj/mtworkdir/mosesdecoder/scripts/recaser/train-truecaser.perl --corpus btune.tok.cn --model btune.model.cn
/home/xdj/mtworkdir/mosesdecoder/scripts/recaser/truecase.perl --model btune.model.en<btune.tok.en>btune.true.en
/home/xdj/mtworkdir/mosesdecoder/scripts/recaser/truecase.perl --model btune.model.cn<btune.tok.cn>btune.true.cn
nohup nice /home/xdj/mtworkdir/mosesdecoder/scripts/training/mert-moses.pl btune.true.cn btune.true.en /home/xdj/mtworkdir/mosesdecoder/lixiang1/working/train/model/moses.ini --mertdir /home/xdj/mtworkdir/mosesdecoder/bin/ &>mert.out&
运行：
/home/xdj/mtworkdir/mosesdecoder/bin/moses -f /home/xdj/mtworkdir/mosesdecoder/lixiang1/working/train/model/moses.ini </home/xdj/mtworkdir/mosesdecoder/lixiang1/working/in > out
Moses训练与测试的更多相关文章
- Caffe初试（二）windows下的cafee训练和测试mnist数据集
一.mnist数据集 mnist是一个手写数字数据库,由Google实验室的Corinna Cortes和纽约大学柯朗研究院的Yann LeCun等人建立,它有60000个训练样本集和10000个测试 ...
- caffe学习系列（2）：训练和测试自己的图片
参考:http://www.cnblogs.com/denny402/p/5083300.html 上述主要介绍的是从自己的原始图片转为lmdb数据,再到训练.测试的整个流程(另外可参考薛开宇的笔记) ...
- windows+caffe(四)——创建模型并编写配置文件+训练和测试
1.模型就用程序自带的caffenet模型,位置在 models/bvlc_reference_caffenet/文件夹下, 将需要的两个配置文件,复制到myfile文件夹内 2. 修改solver. ...
- Caffe学习系列(12)：训练和测试自己的图片
学习caffe的目的,不是简单的做几个练习,最终还是要用到自己的实际项目或科研中.因此,本文介绍一下,从自己的原始图片到lmdb数据,再到训练和测试模型的整个流程. 一.准备数据 有条件的同学,可以去 ...
- 不要怂，就是GAN (生成式对抗网络) （四）：训练和测试 GAN
在 /home/your_name/TensorFlow/DCGAN/ 下新建文件 train.py,同时新建文件夹 logs 和文件夹 samples,前者用来保存训练过程中的日志和模型,后者用来保 ...
- 转 Caffe学习系列(12)：训练和测试自己的图片
学习caffe的目的,不是简单的做几个练习,最终还是要用到自己的实际项目或科研中.因此,本文介绍一下,从自己的原始图片到lmdb数据,再到训练和测试模型的整个流程. 一.准备数据 有条件的同学,可以去 ...
- pytorch: 准备、训练和测试自己的图片数据
大部分的pytorch入门教程,都是使用torchvision里面的数据进行训练和测试.如果我们是自己的图片数据,又该怎么做呢? 一.我的数据 我在学习的时候,使用的是fashion-mnist.这个 ...
- 机器学习入门06 - 训练集和测试集 (Training and Test Sets)
原文链接:https://developers.google.com/machine-learning/crash-course/training-and-test-sets 测试集是用于评估根据训练 ...
- 机器学习基础：(Python)训练集测试集分割与交叉验证
在上一篇关于Python中的线性回归的文章之后,我想再写一篇关于训练测试分割和交叉验证的文章.在数据科学和数据分析领域中,这两个概念经常被用作防止或最小化过度拟合的工具.我会解释当使用统计模型时,通常 ...
随机推荐
- PHPThumb处理图片，生成缩略图，图片尺寸调整，图片截取，图片加水印，图片旋转
[强烈推荐]下载地址(github.com/masterexploder/PHPThumb). 注意这个类库有一个重名的叫phpThumb,只是大小写的差别,所以查找文档的时候千万注意. 在网站建设过 ...
- T-SQL备忘-表连接更新
1.update a inner join b on a.id=b.id set a.name=b.name where ... 2.update table1 set a.name = b.na ...
- windows vim修改字体
C:\Program Files (x86)\Vim\vim74 目录下,在vimrc_example.vim和mswin.vim中添加: set guifont=Consolas:h11
- 未备案域名打开国内服务器上的网站（绑定国外空间并判断url后跳转引用）
场景:由于域名没备案不能绑定国内服务器,通过先绑定国外空间,在空间着陆页判断当前url,打开不同的页面.页面上通过iframe引用国内服务器上的目标网站. 实现:未备案域名打开国内服务器上的网站. 国 ...
- poj 2503(字符串)
http://poj.org/problem?id=2503 题意:就是翻译,给你一个字典,然后再查找单词,找得到的就输出单词,找不到的输出eh,用Map水题一个,但这个题有点意思的就是输入的问题 # ...
- MySQL 5.7 学习：功能性能的提升
背景: 继上次介绍 初识 MySQL 5.6 新功能.参数完之后,刚好MySQL 5.7又GA了,在官方测试里看到,MySQL5.7在功能.性能.可用性.安全和监控上又提升了很高.现在看看和MySQL ...
- JavaScript高级程序设计学习笔记--BOM
window对象 BOM的核心对象是window,它表示浏览器的一个实例.在浏览器中,window对象有双重角色,它既是通过JavaScript访问浏览器窗口的一个接口,又是ECMScript规定的G ...
- 严重: Error configuring application listener of class org.springframework.web.context.ContextLoaderLis
一个让我崩溃的问题 感谢:http://blog.csdn.net/itlionwoo/article/details/17523371
- .NET LINQ基本查询操作
获取数据源 在 LINQ 查询中,第一步是指定数据源.像在大多数编程语言中一样,在 C# 中,必须先声明变量,才能使用它.在 LINQ 查询中,最先使用 from 子句的目的是引入数据源 ( ...
- Java笔记：对象，方法，类
1.数据类型(类) 对象名; 这里要求数据类型必须为复合数据类型,基本数据类型声明的结构只能称为变量,而不能称为对象. 对象的初始化 对象名= new 构造方法(参数); 2.方法: 访问控制符 [修 ...