LTP 分词算法实践

参考链接：

https://github.com/HIT-SCIR/ltp/blob/master/doc/install.rst

http://www.xfyun.cn/index.php/services/ltp/detail?&app_id=NTZmYzg5ZWE=

http://www.ltp-cloud.com/document/#api_rest_format_json

其他分词算法参考链接：

NLPIR:http://www.nlpir.org/ http://www.datatang.com/data/13483

bosonnlp: http://bosonnlp.com/

下面针对LTP分词算法实践

1.登录官网获取授权码api_key

2.分词接口操作

接口参数：

 StringBuilder sb = new StringBuilder();

            sb.Append(" 本报讯 （记者 王少勇）3月28日，国土资源部部长、党组书记、国家土地总督察姜大明主持召开第10次部党组会议，传达学习习xx总书记在北京市考察工作时的重要讲话精神。会议提出，要深刻理解习xx总书记重要讲话精神，充分发挥国土资源部门的服务和保障作用，推进京津冀协同发展。  xx平总书记高度重视北京发展和京津冀协同发展，今年2月下旬专程到北京市调研考察，并发表重要讲话，从做好北京发展和管理工作、推动京津冀协同发展两个方面进行了深刻阐述。会议指出，习xx总书记的重要讲话，对于实现京津冀优势互补、促进环渤海经济区发展、带动北方腹地发展，意义重大、影响深远，要认真学习，深刻领会。 会议提出，国土资源部门要进一步解放思想，加大改革创新力度，");

            string url = "http://ltpapi.voicecloud.cn/analysis/";

            string data = "api_key=xxx&text=" + sb.ToString() + "&pattern=ws&format=xml";

            string returnValue= HttpHelper.HttpPost(url,data);

            Console.WriteLine(returnValue);

            Console.ReadKey();

 /// <summary>

        /// Post请求 webClient

        /// </summary>

        /// <param name="Url">地址</param>

        /// <param name="postString">这里即为传递的参数，可以用工具抓包分析，也可以自己分析，主要是form里面每一个name都要加进来  </param>

        /// <returns></returns>

        public static string HttpPost(string url, string postString)

        {

            byte[] postData = Encoding.UTF8.GetBytes(postString);//编码，尤其是汉字，事先要看下抓取网页的编码方式

            WebClient webClient = new WebClient();

            webClient.Headers.Add("Content-Type", "application/x-www-form-urlencoded");//采取POST方式必须加的header，如果改为GET方式的话就去掉这句话即可

            byte[] responseData = webClient.UploadData(url, "POST", postData);//得到返回字符流

            string srcString = Encoding.UTF8.GetString(responseData);//解码

            return srcString;

        }

3.测试结果

<?xml version="1.0" encoding="utf-8" ?>

<xml4nlp>

    <note sent="y" word="y" pos="n" ne="n" parser="n" wsd="n" srl="n" />

    <doc>

        <para id="">

            <sent id="" cont="本报讯 （记者 王少勇）3月28日，国土资源部部长、党

组书记、国家土地总督察姜大明主持召开第10次部党组会议，传达学习习xx总书记在北京

市考察工作时的重要讲话精神。">

                <word id="" cont="本报" />

                <word id="" cont="讯" />

                <word id="" cont="（" />

                <word id="" cont="记者" />

                <word id="" cont="王少勇" />

                <word id="" cont="）" />

                <word id="" cont="3月" />

                <word id="" cont="28日" />

                <word id="" cont="，" />

                <word id="" cont="国土" />

                <word id="" cont="资源部" />

                <word id="" cont="部长" />

                <word id="" cont="、" />

                <word id="" cont="党组" />

                <word id="" cont="书记" />

                <word id="" cont="、" />

                <word id="" cont="国家" />

                <word id="" cont="土地" />

                <word id="" cont="总督" />

                <word id="" cont="察姜" />

                <word id="" cont="大明" />

                <word id="" cont="主持" />

                <word id="" cont="召开" />

                <word id="" cont="第10" />

                <word id="" cont="次" />

                <word id="" cont="部党组" />

                <word id="" cont="会议" />

                <word id="" cont="，" />

                <word id="" cont="传达" />

                <word id="" cont="学习" />

                <word id="" cont="习" />

                <word id="" cont="近平" />

                <word id="" cont="总书记" />

                <word id="" cont="在" />

                <word id="" cont="北京市" />

                <word id="" cont="考察" />

                <word id="" cont="工作" />

                <word id="" cont="时" />

                <word id="" cont="的" />

                <word id="" cont="重要" />

                <word id="" cont="讲话" />

                <word id="" cont="精神" />

                <word id="" cont="。" />

            </sent>

            <sent id="" cont="会议提出，要深刻理解习xx总书记重要讲话精神，充

分发挥国土资源部门的服务和保障作用，推进京津冀协同发展。">

                <word id="" cont="会议" />

                <word id="" cont="提出" />

                <word id="" cont="，" />

                <word id="" cont="要" />

                <word id="" cont="深刻" />

                <word id="" cont="理解" />

                <word id="" cont="习" />

                <word id="" cont="近平" />

                <word id="" cont="总书记" />

                <word id="" cont="重要" />

                <word id="" cont="讲话" />

                <word id="" cont="精神" />

                <word id="" cont="，" />

                <word id="" cont="充分" />

                <word id="" cont="发挥" />

                <word id="" cont="国土" />

                <word id="" cont="资源" />

                <word id="" cont="部门" />

                <word id="" cont="的" />

                <word id="" cont="服务" />

                <word id="" cont="和" />

                <word id="" cont="保障" />

                <word id="" cont="作用" />

                <word id="" cont="，" />

                <word id="" cont="推进" />

                <word id="" cont="京" />

                <word id="" cont="津" />

                <word id="" cont="冀" />

                <word id="" cont="协同" />

                <word id="" cont="发展" />

                <word id="" cont="。" />

            </sent>

            <sent id="" cont="习xx总书记高度重视北京发展和京津冀协同发展，今

年2月下旬专程到北京市调研考察，并发表重要讲话，从做好北京发展和管理工作、推动京

津冀协同发展两个方面进行了深刻阐述。">

                <word id="" cont="习" />

                <word id="" cont="近平" />

                <word id="" cont="总书记" />

                <word id="" cont="高度" />

                <word id="" cont="重视" />

                <word id="" cont="北京" />

                <word id="" cont="发展" />

                <word id="" cont="和" />

                <word id="" cont="京" />

                <word id="" cont="津" />

                <word id="" cont="冀" />

                <word id="" cont="协同" />

                <word id="" cont="发展" />

                <word id="" cont="，" />

                <word id="" cont="今年" />

                <word id="" cont="2月" />

                <word id="" cont="下旬" />

                <word id="" cont="专程" />

                <word id="" cont="到" />

                <word id="" cont="北京市" />

                <word id="" cont="调研" />

                <word id="" cont="考察" />

                <word id="" cont="，" />

                <word id="" cont="并" />

                <word id="" cont="发表" />

                <word id="" cont="重要" />

                <word id="" cont="讲话" />

                <word id="" cont="，" />

                <word id="" cont="从" />

                <word id="" cont="做好" />

                <word id="" cont="北京" />

                <word id="" cont="发展" />

                <word id="" cont="和" />

                <word id="" cont="管理" />

                <word id="" cont="工作" />

                <word id="" cont="、" />

                <word id="" cont="推动" />

                <word id="" cont="京" />

                <word id="" cont="津" />

                <word id="" cont="冀" />

                <word id="" cont="协同" />

                <word id="" cont="发展" />

                <word id="" cont="两" />

                <word id="" cont="个" />

                <word id="" cont="方面" />

                <word id="" cont="进行" />

                <word id="" cont="了" />

                <word id="" cont="深刻" />

                <word id="" cont="阐述" />

                <word id="" cont="。" />

            </sent>

            <sent id="" cont="会议指出，习xx总书记的重要讲话，对于实现京津冀

优势互补、促进环渤海经济区发展、带动北方腹地发展，意义重大、影响深远，要认真学习

，深刻领会。">

                <word id="" cont="会议" />

                <word id="" cont="指出" />

                <word id="" cont="，" />

                <word id="" cont="习xx" />

                <word id="" cont="总书记" />

                <word id="" cont="的" />

                <word id="" cont="重要" />

                <word id="" cont="讲话" />

                <word id="" cont="，" />

                <word id="" cont="对于" />

                <word id="" cont="实现" />

                <word id="" cont="京" />

                <word id="" cont="津" />

                <word id="" cont="冀" />

                <word id="" cont="优势" />

                <word id="" cont="互补" />

                <word id="" cont="、" />

                <word id="" cont="促进" />

                <word id="" cont="环" />

                <word id="" cont="渤海" />

                <word id="" cont="经济区" />

                <word id="" cont="发展" />

                <word id="" cont="、" />

                <word id="" cont="带动" />

                <word id="" cont="北方" />

                <word id="" cont="腹地" />

                <word id="" cont="发展" />

                <word id="" cont="，" />

                <word id="" cont="意义" />

                <word id="" cont="重大" />

                <word id="" cont="、" />

                <word id="" cont="影响" />

                <word id="" cont="深远" />

                <word id="" cont="，" />

                <word id="" cont="要" />

                <word id="" cont="认真" />

                <word id="" cont="学习" />

                <word id="" cont="，" />

                <word id="" cont="深刻" />

                <word id="" cont="领会" />

                <word id="" cont="。" />

            </sent>

            <sent id="" cont="会议提出，国土资源部门要进一步解放思想，加大改革

创新力度，">

                <word id="" cont="会议" />

                <word id="" cont="提出" />

                <word id="" cont="，" />

                <word id="" cont="国土" />

                <word id="" cont="资源" />

                <word id="" cont="部门" />

                <word id="" cont="要" />

                <word id="" cont="进一步" />

                <word id="" cont="解放思想" />

                <word id="" cont="，" />

                <word id="" cont="加大" />

                <word id="" cont="改革" />

                <word id="" cont="创新" />

                <word id="" cont="力度" />

                <word id="" cont="，" />

            </sent>

        </para>

    </doc>

</xml4nlp>

LTP 分词算法实践的更多相关文章

【NLP】中文分词：原理及分词算法
一.中文分词词是最小的能够独立活动的有意义的语言成分,英文单词之间是以空格作为自然分界符的,而汉语是以字为基本的书写单位,词语之间没有明显的区分标记,因此,中文词语分析是中文信息处理的基础与关键. ...
Mmseg中文分词算法解析
Mmseg中文分词算法解析 @author linjiexing 开发中文搜索和中文词库语义自己主动识别的时候,我採用都是基于mmseg中文分词算法开发的Jcseg开源project.使用场景涉及搜索 ...
IK分词算法设计总结
IK分词算法设计思考加载词典 IK分词算法初始化时加载了“敏感词”.“主词典”.“停词”.“量词”,如果这些词语的数量很多,怎么保证加载的时候内存不溢出分词缓冲区在分词缓冲区中进行分词操作,怎么 ...
中文分词算法之最大正向匹配算法（Python版）
最大匹配算法是自然语言处理中的中文匹配算法中最基础的算法,分为正向和逆向,原理都是一样的. 正向最大匹配算法,故名思意,从左向右扫描寻找词的最大匹配. 首先我们可以规定一个词的最大长度,每次扫描的时候 ...
机器学习算法实践：Platt SMO 和遗传算法优化 SVM
机器学习算法实践:Platt SMO 和遗传算法优化 SVM 之前实现了简单的SMO算法来优化SVM的对偶问题,其中在选取α的时候使用的是两重循环通过完全随机的方式选取,具体的实现参考<机器学习 ...
算法实践——舞蹈链（Dancing Links）算法求解数独
在“跳跃的舞者,舞蹈链(Dancing Links)算法——求解精确覆盖问题”一文中介绍了舞蹈链(Dancing Links)算法求解精确覆盖问题. 本文介绍该算法的实际运用,利用舞蹈链(Dancin ...
浅谈分词算法（5）基于字的分词方法（bi-LSTM）
目录前言目录循环神经网络基于LSTM的分词 Embedding 数据预处理模型如何添加用户词典前言很早便规划的浅谈分词算法,总共分为了五个部分,想聊聊自己在各种场景中使用到的分词方法做 ...
浅谈分词算法（4）基于字的分词方法（CRF）
目录前言目录条件随机场(conditional random field CRF) 核心点线性链条件随机场简化形式 CRF分词 CRF VS HMM 代码实现训练代码实验结果参考文献 ...
浅谈分词算法（3）基于字的分词方法（HMM）
目录前言目录隐马尔可夫模型(Hidden Markov Model,HMM) HMM分词两个假设 Viterbi算法代码实现实现效果完整代码参考文献前言在浅谈分词算法(1)分词中的 ...

随机推荐

E: Write error - write (28 No space left on device)
1:在终端中运行cd命令,提示: e: Write error - write (28 No space left on device) E: Cant mmap an empty file 2:使用 ...
【MongoDB】应用场景
24 Use Cases24.1 适合场景 Archiving and event logging 归档和日志记录 Document and Content Management Systems ...
当我们在谈论 DevOps，我们在谈论什么？
Cloud Insight 携手 BearyChat:打造适合运维人员的团队协作工具走过 C 轮的 OneAPM,旗下的产品已经日渐丰满,从应用性能监控的 Application Insight 到 ...
[SQL Server]一次执行资料夹内的.sql 指令码
原文:[SQL Server]一次执行资料夹内的.sql 指令码初始资料库时,我们Developers们会准备很多.sql指令码来建立资料表.检视甚至初始资料,那麽要怎麽一次执行资料夹内的*.sql ...
Bluetooth Low Energy 介绍
1.简介 BLE(Bluetooth Low Energy,低功耗蓝牙)是对传统蓝牙BR/EDR技术的补充.尽管BLE和传统蓝牙都称之为蓝牙标准,且共享射频,但是,BLE是一个完全不一样的技术.BLE ...
TCP/IP FTP/TFTP
引言从一台计算机向另一台计算机传送文件是在连网或互联网环境中最常见的任务.而FTP和TFTP就是这样的协议. 关于文件传输协议FTP? 端口21使用服务TCP [FTP模型] FTP连接? 1.控制 ...
poj3294
首先后缀数组预处理然后二分答案len很显然,然后考虑怎么判定我们用左右指针顺着名次扫描一下,初始左右指针为1根据LCP(i,j)=min(height[rank[i]+1]~height[rank[j ...
Java基础之String,StringBuilder,StringBuffer
在创建字符串的时候总是习惯性的使用String str = "...";,str = str+"abcd";也有听说过StringBuffer,StringBu ...
EasyWebServer编写CGI程序的环境变量
示例: SERVER_SOFTWARE=EasyWebServer/1.9 SERVER_PROTOCOL=HTTP/1.1 SERVER_PORT= SERVER_NAME=aozima-noteb ...
如何使用TcpDump抓取远程主机的流量并回显到本地的WireShark上
ssh -t username@remoteip "echo rootpassword | sudo -S tcpdump -i eth0 -A '(tcp[((tcp[12:1] & ...

LTP 分词算法实践

LTP 分词算法实践的更多相关文章

随机推荐

热门专题