语义分析之ansj_seg+word2vec的使用

语义分析，我是一个初学者，有很多东西，需要理论和实践结合后，才能理解的相对清楚。

今天，我就在语义理解中基于背景语料的情况，实现语义上下文的预测，比如，我说“王宝强”，你会想到什么？别告诉没有“马蓉”，别告诉我没有“泰囧”， 再比如，我说“白百何”， 不要说你没有想到“出轨”两个字。。。这就是语义预测，也就是相关信息的映射。这个，就是word2vec的功劳了。

word2vec是谷歌开源的一个语义预测框架。主要是将词映射到一个维度空间上，每个词都有n个不同维度的信息，用vector表示，词与词之间的关系，就用vec之间的cosine值来表示，consine值越大，说明这两个词之间的关系越近。详细的word2vec的介绍，自行查阅相关资料。

不过，这里，有必要说一下的就是word2vec有两个重要的模型：

• CBOW（Continuous Bag-of-Words Model）是一种根据上下文的词语预测当前词语的出现概率的模型，其图示如下图左。CBOW是已知上下文，估算当前词语的语言模型；
• 而Skip-gram只是逆转了CBOW的因果关系而已，即已知当前词语，预测上下文，其图示如下图右；

这两个模型，对应不同的使用场景。

word2vec的一个重要数据逻辑，就是贝叶斯定律，通俗的说，这个定理就是指：在某件事情发生的前提下，再发生另外一件事情的概率。具体的理论，自行学习去吧！

ansj_seg,是中科院开源的一个中文分词工具。这是一个ictclas的java实现.基本上重写了所有的数据结构和算法.词典是用的开源版的ictclas所提供的.并且进行了部分的人工优化。

今天这篇博文的主要内容，就是通过ansj_seg对搜狗实验室的语料进行分词，然后用word2vec的skip-gram模型进行预测上下文。正如前面说的，说到王宝强，白百何之类的人物名称，你会得到什么信息。。。

下载sogou实验室的语料，地址：http://www.sogou.com/labs/resource/ca.php

关于这个语料的内容，直接去搜狗实验室的网站上了解吧。这里不多说。我直接下载的zip包。

下载ansj_seg的jar包，这里我用的是最新版本5.1.1.下载地址：http://central.maven.org/maven2/org/ansj/ansj_seg/5.1.1/ansj_seg-5.1.1.jar

获取这个jar包，官方要求最好配合最新版本的nlp-lang一起用，我这里也是最新版本。这个的下载地址：http://central.maven.org/maven2/org/nlpcn/nlp-lang/1.7.2/nlp-lang-1.7.2.jar

下载word2vec的源码，这里下载的是github上的master版本。下载地址：https://github.com/svn2github/word2vec

下面进行具体的操作。

1》将语料进行预处理，取出其中的content。

cat news_tensite_xml.dat | iconv -f gbk -t utf-8 -c | grep "<content>" > corpus.txt

这里，iconv指令需要了解一点点基础知识，他是一个字符集转换工具，-f表示源字符集，-t表示转换后的编码字符集，上述指令中是将gbk字符集转换为utf-8的字符集，-c表示丢弃任何无效的字符（基于字符集）

2》通过java程序，处理content，基于ansj将其中的内容进行分词。

java代码如下：

/**
 * @author "shihuc"
 * @date   2017年4月12日
 */
package ansjDemo;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.PrintWriter;
import java.io.Reader;
import java.util.HashSet;
import java.util.Set;

import org.ansj.domain.Result;
import org.ansj.domain.Term;
import org.ansj.splitWord.analysis.ToAnalysis;

/**
 * @author chengsh05
 *
 */
public class AnsjSegDemo {

    /**
     * @param args
     */
     private static final String TAG_START_CONTENT = "<content>";
        private static final String TAG_END_CONTENT = "</content>";
        private static final String INPUT_FILE = "./src/ansjDemo/corpus.txt";
        private static final String OUTPUT_FILE = "./src/ansjDemo/corpus_out.txt";

        public static void main(String[] args) throws Exception {
            BufferedReader reader = null;
            PrintWriter pw = null;
            Reader fr = null;
            try {
                System.out.println("开始处理分词...");
                File file = new File(INPUT_FILE);
                fr =  new FileReader(file);
                reader = new BufferedReader(fr);
                pw = new PrintWriter(OUTPUT_FILE);
                long start = System.currentTimeMillis();
                int totalCharactorLength = ;
                int totalTermCount = ;
                Set<String> set = new HashSet<String>();
                String temp = null;
                while ((temp = reader.readLine()) != null) {
                    temp = temp.trim();
                    if (temp.startsWith(TAG_START_CONTENT)) {
                        //System.out.println("处理文本:" + temp);
                        int end = temp.indexOf(TAG_END_CONTENT);
                        String content = temp.substring(TAG_START_CONTENT.length(), end);
                        totalCharactorLength += content.length();
                        Result result = ToAnalysis.parse(content);
                        for (Term term : result) {
                            String item = term.getName().trim();
                            totalTermCount++;
                            pw.print(item + " ");
                            set.add(item);
                        }
                        pw.println();
                    }
                }

                long end = System.currentTimeMillis();
                System.out.println("共" + totalTermCount + "个Term，共"
                    + set.size() + "个不同的Term，共 "
                    + totalCharactorLength + "个字符，每秒处理字符数:"
                    + (totalCharactorLength * 1000.0 / (end - start)));
            } finally {
                if(fr != null){
                    fr.close();
                }
                if(reader != null){
                    reader.close();
                }
                if(pw != null){
                    pw.close();
                }
            }
        }

}

编译的日志输出，可以反映出一些逻辑：

开始处理分词...
log4j:WARN No such property [datePattern] in org.apache.log4j.RollingFileAppender.
[-- ::] [ WARN] [main] [org.ansj.util.MyStaticValue.<clinit>(MyStaticValue.java:)] - not find library.properties in classpath use it by default !
  [-- ::] [ INFO] [main] [org.ansj.dic.impl.File2Stream.toStream(File2Stream.java:)] - path to stream library/ambiguity.dic
  [-- ::] [ERROR] [main] [org.ansj.library.AmbiguityLibrary.init(AmbiguityLibrary.java:)] - Init ambiguity library error :org.ansj.exception.LibraryException:  path :library/ambiguity.dic file:E:\\workwps\RProject\library\ambiguity.dic not found or can not to read, path: library/ambiguity.dic
  [-- ::] [DEBUG] [main] [org.ansj.library.DicLibrary.init(DicLibrary.java:)] - begin init dic !
  [-- ::] [ INFO] [main] [org.ansj.dic.impl.File2Stream.toStream(File2Stream.java:)] - path to stream library/default.dic
  [-- ::] [ERROR] [main] [org.ansj.library.DicLibrary.init(DicLibrary.java:)] - Init ambiguity library error :org.ansj.exception.LibraryException:  path :library/default.dic file:E:\\workwps\RProject\library\default.dic not found or can not to read, path: library/default.dic
  [-- ::] [ INFO] [main] [org.ansj.library.DATDictionary.loadDAT(DATDictionary.java:)] - init core library ok use time :
  [-- ::] [ INFO] [main] [org.ansj.library.NgramLibrary.<clinit>(NgramLibrary.java:)] - init ngram ok use time :
  共388487481个Term，共941062个不同的Term，共 622383693个字符，每秒处理字符数:1461210.679044084

3》编译word2vec

编译之前，看看我的机器配置吧，个人觉得还是不错的机器。

[root@localhost word2vec-master]# cat /proc/cpuinfo| grep "processor"| wc -l

[root@localhost word2vec-master]# free -h
              total        used        free      shared  buff/cache   available
Mem:            31G        .9G         17G         33M         10G         27G
Swap:           15G          0B         15G

现在，开始对源码进行编译。

[root@localhost word2vec-master]# make
gcc word2vec.c -o word2vec -lm -pthread -O3 -march=native -Wall -funroll-loops -Wno-unused-result
gcc word2phrase.c -o word2phrase -lm -pthread -O3 -march=native -Wall -funroll-loops -Wno-unused-result
gcc distance.c -o distance -lm -pthread -O3 -march=native -Wall -funroll-loops -Wno-unused-result
distance.c: In function ‘main’:
distance.c::: warning: unused variable ‘ch’ [-Wunused-variable]
   char ch;
        ^
gcc word-analogy.c -o word-analogy -lm -pthread -O3 -march=native -Wall -funroll-loops -Wno-unused-result
word-analogy.c: In function ‘main’:
word-analogy.c::: warning: unused variable ‘ch’ [-Wunused-variable]
   char ch;
        ^
gcc compute-accuracy.c -o compute-accuracy -lm -pthread -O3 -march=native -Wall -funroll-loops -Wno-unused-result
compute-accuracy.c: In function ‘main’:
compute-accuracy.c::: warning: unused variable ‘ch’ [-Wunused-variable]
   char st1[max_size], st2[max_size], st3[max_size], st4[max_size], bestw[N][max_size], file_name[max_size], ch;
                                                                                                             ^
chmod +x *.sh

4》对java分词后的文件，基于word2vec进行训练预测，主要基于skip-gram。

[root@localhost resouce]# bash word2vec_train.sh
Starting training using file corpus_out.txt
Vocab size:
Words in train file:
Alpha: 0.000002  Progress: 100.00%  Words/thread/sec: .20k  begin:
end:
gap:   

下面，看看我的word2vec_train.sh的内容是啥吧：

#!/bin/bash

BEGIN_TIME=`date +"%Y-%m-%d %H:%M:%S"`

word2vec -train corpus_out.txt -output vectors.bin -cbow 0 -size 200 -window 5 -negative 0 -hs 1 -sample 1e-3 -threads 50 -binary 1

END_TIME=`date +"%Y-%m-%d %H:%M:%S"`
time1=`date -d "$BEGIN_TIME" +%s`
time2=`date -d "$END_TIME" +%s`

gap=$[$time2-$time1]

echo "begin: $time1"
echo "end:   $time2"
echo "gap:   $gap"

说明下上面红色部分的含义：

-train 训练数据
-output 结果输入文件，即每个词的向量
-cbow 是否使用cbow模型，0表示使用skip-gram模型，1表示使用cbow模型，默认情况下是skip-gram模型，cbow模型快一些，skip-gram模型效果好一些
-size 表示输出的词向量维数
-window 为训练的窗口大小，5表示每个词考虑前5个词与后5个词（实际代码中还有一个随机选窗口的过程，窗口大小<=)
-negative 表示是否使用负例采样方法0表示不使用，其它的值目前还不是很清楚
-hs 是否使用Hierarchical Softmax方法，0表示不使用，1表示使用
-sample 表示采样的阈值，如果一个词在训练样本中出现的频率越大，那么就越会被采样
-binary 表示输出的结果文件是否采用二进制存储，0表示不使用（即普通的文本存储，可以打开查看），1表示使用，即vectors.bin的存储类型

从我的shell脚本，可以看出，这个将近2G的文本，在24核，几十G内存，我起50个线程。将CPU全都跑满的情况下，也跑了7500多秒。

5》验证效果