paip.禁用IKAnalyzer 的默认词库.仅仅使用自定义词库.

paip.禁用IKAnalyzer 的默认词库.仅仅使用自定义词库.





作者Attilax  艾龙，  EMAIL:1466519819@qq.com 

来源：attilax的专栏

地址：http://blog.csdn.net/attilax





ver:2012

IKAnalyzer 的默认词库的匹配度可能不好..可以使用扩展词库...





但是,更好的办法是,禁用IKAnalyzer 的默认词库.仅仅使用自定义词库.





需要实现Configuration接口,实现getMainDictionary以及getQuantifierDicionary俩个方法..都返回空的走ok兰..





Configuration cfg = new mycfg();

 // 加载词库

cfg.setUseSmart(true); // 设置智能分词

Dictionary.initial(cfg);





Dictionary dictionary = Dictionary.getSingleton();

 

List<String>  = ftc.getListFromFile(wordLibs);

 

 

dictionary.addWords(ext); // 自动添加自定义词







// 创建分词对象 isMaxWordLength

Analyzer anal = new IKAnalyzer(true);//true也标示最大词长

StringReader reader = new StringReader(text);

// 分词

TokenStream ts = anal.tokenStream("", reader);

 

 

CharTermAttribute term = ts.getAttribute(CharTermAttribute.class);

// 遍历分词数据

String rc0 = "";

while (ts.incrementToken()) {

// System.out.print(term.toString() + "     ");

rc0 = rc0 + term.toString() + "|";

}