一.产生句子 方法:Shannon Visualization Method 过程:根据概率,每次随机选择一个bigram,从而来产生一个句子 比如: 从句子开始标志的bigram开始,我们先有一个(<s>, w),w是随机一个单词,比较有可能的是I这个单词,那么我们就有(<s>, I) 随机选择下一个单词,得到(w,x),这里w是I,x概率最大的是want 重复以上步骤,直到得到</s> 问题1:过度拟合.N-grams在预测句子上只有当测试语料库和训练语料库非常相似…

一.如何评价语言模型的好坏 标准:比起语法不通的.不太可能出现的句子,是否为“真实”或"比较可能出现的”句子分配更高的概率 过程:先在训练数据集上训练模型的参数,然后在测试数据集上测试模型的效果. 要求:测试数据集与训练数据集完全不同 评价指标:用以评价模型的测试数据集上的效果 二.N-gram 模型的外部评测 1. 比较两个模型最好的评价方法: 将两个模型A和B应用于同一个任务:拼写检查.语音识别.机器翻译等 运行这个任务,分别得到A和B的准确性:有多少个拼写错误的单词被恰当的纠正了?或者有多…

一.语言模型 旨在:给一个句子或一组词计算一个联合概率 作用: 机器翻译:用以区分翻译结果的好坏 拼写校正:某一个拼错的单词是这个单词的概率更大,所以校正 语音识别:语音识别出来是这个句子的概率更大 总结或问答系统 相关任务:在原句子的基础上,计算一个新词的条件概率,该概率与P(w1w2w3w4w5)息息相关. 任何一个模型计算以上两个概率的,我们都称之为语言模型LM. 二.如何计算概率 方法:依赖概率的链式规则 从而有: 问题:如何预估这些概率 方法一:计数和细分 但是不可能做到! 原因:句子…

平滑方法: 1. Add-1 smoothing 2. Add-k smoothing 设m=1/V,则有 从而每一项可以跟词汇表的大小相关 3. Unigram prior smoothing 将上式中的1/v换成unigram概率P(wi),则有: 其是插值的一种变体,其将某种unigram概率加入到bigram的计算中. 4. Good-Turing Smoothing 大部分平滑算法比如Good-Turing.Kneser-Ney.Witten-Bell采用的主要思想是用之前已知的数据的…

文本分类实例:分辨垃圾邮件.文章作者识别.作者性别识别.电影评论情感识别(积极或消极).文章主题识别及任何可分类的任务. 一.文本分类问题定义: 输入: 一个文本d 一个固定的类别集合C={c1,c2,...,cj},一共j个类别 输出:一个d的预测类别c∈C 方法: 最简单的是使用基于词或其他特征组合的手写规则 垃圾邮件:列举出一系列黑名单的邮箱地址或者词(比如,“dollars”和“have been selected”) 如果规则很完备,准确率会非常高,但是一般很难做到或者花费会很贵 一般…

在多种应用比如word中都有拼写检查和校正功能,具体步骤分为: 拼写错误检测 拼写错误校正: 自动校正:hte -> the 建议一个校正 建议多个校正 拼写错误类型: Non-word Errors非词错误:即写了一个不是单词的词,比如graffe并不存在,应校正为giraffe 检测方法:认为任一不在字典中的词都是一个非词错误,因此字典本身越大越好 校正方法:为错误词产生一个候选,其是跟错误词相似的真词,然后选择加权编辑距离最短或者信道噪声概率最高的那个词. Real-word Errors…

一.简介 实例: 电影评论.产品评论是positive还是negative 公众.消费者的信心是否在增加 公众对于候选人.社会事件等的倾向 预测股票市场的涨跌 Affective States又分为: emotion:短暂的情感,比如生气.伤心.joyful开心.害怕.羞愧.骄傲等 mood:漫无原因的低强度长时间持续的主观感觉变化,比如cheerful,gloomy阴郁.irritable急躁. interpersonal stance:人际关系中对另一个人的立场,比如友好的.友善的 atti…

一.实验评估参数 实验数据本身可以分为是否属于某一个类(即correct和not correct),表示本身是否属于某一类别上,这是客观事实:又可以按照我们系统的输出是否属于某一个类(即selected和not selected),表示是否分到某一类别,这是实验输出. 以垃圾邮件为例: tp:表示系统认为它是垃圾邮件,而确实它是垃圾邮件,所以为true positive fn:表示系统不认为它是垃圾邮件,但它其实是垃圾邮件,所以为false negative fp:表示系统认为是,其实不是,所以…

一.什么是最小编辑距离 最小编辑距离:是用以衡量两个字符串之间的相似度,是两个字符串之间的最小操作数,即从一个字符转换成另一个字符所需要的操作数,包括插入.删除和置换. 每个操作数的cost: 每个操作数的cost一般是1 如果置换的cost是2,而插入和删除的cost是1,我们称之为Levenshtein 距离. 作用: 计算衡量机器翻译和语音识别的好坏:将机器得到的字符串与专家写的字符串比较最小编辑距离,以一个单词为一个单位. 命名实体识别和链接:比如通过计算最小编辑距离,可以判定IBM.I…

依照什么切分句子——标点符号 无歧义的:!?等 存在歧义的:. 英文中的.不止表示句号,也可能出现在句子中间,比如缩写Dr. 或者数字里的小数点4.3 解决方法:建立一个二元分类器: 检查“.” 判断这个是不是出现在句尾 具体使用手写规则(正则表达式).机器学习分类器,最简单的是决策树 决策树: 首先检查是否在该词之后有很多空白行,如果是,则该词是句尾,否则检查下一项 检查最后一个标点是不是?, !, 或者:,如果是,则该词是句尾,否则检查下一项 检查最后一个标点是不是句号,如果否,则该词不是句…

一.为什么要规范化 在做信息检索的时候,一般都是精确匹配,如果不做规范化,难以做查询,比如用U.S.A去检索文本,结果文本里实际上存的是USA,那么实际上应该能查到的结果查不到了. 所以需要对所有内容做规范化,以实现检索的有效性. 二.怎么规范化 大小写转换 在信息检索的应用上,通常将大写字母转换成小写字母,因为用户更倾向于使用小写字母 例外情况:当大写字母出现在句子的中间的时候,一般有特殊意义,不能转换,比如是某个机构的缩写 对于情感分析.机器翻译或者信息抽取,大写字母一般都非常重要,不能转换…

一.如何定义一个单词 在统计一句话有多少个单词的时候,首要问题是如何定义一个单词,通常有三种情况: 是否认为句中的停顿词比如Uh是一个单词,我们称之为fragment,或者filled pause. 是否认为一个单词的不同形态是一个单词. 是否认为一个完整的词组,比如San Francisco是一个单词 以上三种在不同任务下有不同的处理方法. 二.统计什么信息 在统计时,我们统计如下信息: word types:词汇表中的一个元素,不重复 word token:文本中该type的一个实例,可重复…

或者 [Ww]oods,方括号里的是或的关系,符合其一即被提出.用来匹配单个字符 [A-Z]:表示所有的大写字母之一 [a-z]:表示所有的小写字母之一 [0-9]:表示所有的0-9的数字之一 否定:[^A-Z]表示不是任何大写字母,在开头否定方括号里的所有内容. [^e^]:表示不是e也不是^ a^b: a|b,用|来表示或,不需要框起来,相当于[abc],可以是长单词 yours|mine 匹配次数 ?表示?前面的那个字符可以出现或者不出现 *表示*前面的那个字符可以出现0次或者多次 +表示…

一.背景 近期研究了一下语言模型,同事推荐了一个比较好用的工具包kenlm,记录下使用过程. 二.使用kenlm训练 n-gram 1.工具介绍:http://kheafield.com/code/kenlm/ 2.工具包的下载地址:http://kheafield.com/code/kenlm.tar.gz 3.解压后运行,./bjam 进行编译 4.使用如下命令进行训练:bin/lmplz -o 5 --verbose_header --text data/chat_log.txt --ar…

Deadline: 2016-11-01 11:59 作业内容 课堂测试作业总结 00.题目得5分,多半扣在格式上,有些同学代码写得很过分,已经很仁慈对待,同学们珍惜之: 01.界面设计得分不好,换行功夫做得不足,需要输入许多数据,没有让屏幕显示应输入的内容提醒,不善于为用户考虑,增加用户阅读成本: 02.第二道方程问题不难,关键是要细致分解,和分三角形类似,还请大伙儿培养自己化大为小的本领: 03.等腰和等边三角形判断有误,关键是没分清楚if-else语句是"补集",而等腰和等边是&…

微软MVP Openday 1月30日在北京召开,到时全国上百位 MVP 专家将齐聚北京.当然还有亚太的其他国家地区的MVP 也会来北京,1月31日微软 MVP 项目组主办的年度微软技术社区分享大会--2015 微软社区大课堂 Community Camp !. 超过 30 位微软最有价值专家 MVP 将为您呈现超过 20 场微软技术课程,一天的时间,不同技术主题,同一时段不同的内容同时进行,选你所爱的课程学习! 好久没有到首都去了,借这次机会去参加MVP OpenDay 和2015 MVP C…

我终于申请成功了博客园的博客了. 红帽课堂已经开始2次了,这里的记录可能不分顺序,每天记录一点自己的学习内容.方便自己以后查询. 已经学了以下内容: 1.访问命令行 使用桌面的访问命令 GNOME 3 的桌面环境 Bash shell 执行命令及快捷键 2.命令行管理文件 Linux文件系统层次结构 查找文件.管理文件.使用路径扩展名 利用Shell扩展管理文件 3.红帽企业帮助 这个没有啥要记录的 4.创建.查看.编辑文件 输出重写向文件或程序 5.管理本地Linux用户和组 用户和组的概念…

主要两个方面 Probabilistic modeling 概率建模,神经网络模型尝试去预测一个概率分布 Cross-entropy作为误差函数使得我们可以对于观测到的数据 给予较高的概率值 同时可以解决saturation的问题 前面提到的线性隐层的降维作用(减少训练参数)     这是一个最初版的神经网络语言模型     选取什么要的loss function,为什么用cross-entropy,为什么不用squared loss呢? 首先 可以看到 cross-entropy更能从数值上体…

妙味课堂的课程讲得非常的清楚,受益匪浅.先把HTML和CSS基础课程部分视频的学习笔记记录如下: padding #PS基础 ##前端需要的PS技能 - PS技能(前端需要):切图.修图.测量 - PS工具: - 移动工具 - 矩形选框工具 - 裁切工具 - 吸管工具 - 横排文字工具 - 手抓(快捷键:空格) - 缩放(快捷键:Ctrl + 和 Ctrl -) - 标尺(快捷键:Ctrl R,主要是拖出参考线.矩形区域选择的时候,按住Ctrl,就能贴合参考线) - 自由变换(快捷键 Ctrl…

一扇可以通向任何地方的“任意门”,是我们多少人幼时最梦寐以求的道具之一.即使到了现在,工作中的我们还会时不时有“世界那么大,我想去看看”的念头,或者在突然不想工作的时刻,幻想着自己的家门变成了“任意门”,打开之后就是不同的风景. 虽然“任意门”不可能是真实的存在,但是我们通过交通工具,还是可以说走就走! 那么报表工具中的“任意门”呢?数据也可以说走就走吗? 那还真的是有! 数据填报功能——这个神奇“任意门”,资深的数据搬运工,让数据说走就走! 上周课程我们就聊过这个“任意门”,这周的课程主角也是…

一.发展 起源:统计语言模型起源于 Ponte 和 Croft 在 1998年的 SIGIR上发表的论文 应用:语言模型的应用很多: corsslingual retrieval distributed IR expert finding passage retrieval web search genomics retrieval 基因组学检索 topic tracking subtopic retrieval 二.basic model 1.Ponte and Croft 核心思想:quer…

原文转载:http://licstar.net/archives/328 Deep Learning 算法已经在图像和音频领域取得了惊人的成果,但是在 NLP 领域中尚未见到如此激动人心的结果.关于这个原因,引一条我比较赞同的微博. @王威廉:Steve Renals算了一下icassp录取文章题目中包含deep learning的数量,发现有44篇,而naacl则有0篇.有一种说法是,语言(词.句子.篇章等)属于人类认知过程中产生的高层认知抽象实体,而语音和图像属于较为底层的原始输入信号,所以…

       2016年的最后一个月也过半了,新的一年就要到来,你是否做好了启程的准备?新的一年,有计划,有目标,有方向,才不至于迷茫.规划你的2017,新的一年,遇见更好的自己!        所以这周的课程主题就跟计划有关啦!奥威软件教你做计划?是这样,但又不完全是这么回事.俗话说:“授人以鱼,不如授人以渔.”这次课程主要介绍的是Power-BI的数据填报功能,以销售计划填报为例子.教你做计划,倒不如教你玩转数据填报功能,运用这个大功能不止可以做计划了,作总结或分析都是可以的,你不止得到了鱼…

        前几天跟我一个做报表的哥们聊天,听着他一茬一茬地诉苦:“每天做报表做到想吐,老板看报表时还是不给一个好脸色.”我也只能搬出那一套“过程大于结果”的内心疗程赠与他,没想到他反而怒了:“做报表的目的不就是看报表吗?过程大于结果这套不管用!”我竟无言以对.然而你认为我什么都没说了吗,作为好基友的我怎么能看着哥们有难而不帮,于是我默默送了他一个课程——奥威公开课.          上节课老师教了图文并茂的报表制作方法,看过课程的同学就知道这节课要讲什么内容啦.上节课只是浅浅地讲了智能分…

这么快一周就过去了,奥威公开课又要与大家见面咯,上节课老师教的三种报表集成方法你们都掌握了吗?大家都知道,学习的结果在于实际应用,想要熟练掌握新内容的要点就在于去应用它.正是基于这一要点,每一期的课程亮点设定都在于理论与实际应用   相互交融,杜绝空谈主义.那在揭示本周课程内容之前,小编先问同学们一个问题:你为什么要学制作报表?答案很简单吧,制作的目的就在于分析,提取有价值的信息.       可能现在的你已经学会了制作报表,甚至风格可以多种多样.然而每次报表的信息要点你都抓对了吗?智能分析你掌…

作业:使用类的静态字段和构造函数,我们可以跟踪某个类所创建对象的个数.请写一个类,在任何时候都可以向它查询“你已经创建了多少个对象?”. 源代码: import java.util.Scanner; class sss123 { //将用来计次的变量times给初始值为0 public static int times=0; sss123() { //构造函数,每创建一个实例times就增加1 times=times+1; } } public class StaticValue { publi…

2015某编程网易语言vip课堂全套教程 包含post,hook入门到精通等  官方论坛弄来的  如果在官方下载需要权限的  挺不错教程 想学习易语言入门到精通 post hook  js改写的可以看看 挺不错的 CE-OD基础课程.7z:22436B184A00042793D03820FC37F3B4HOOK.7z:23CF3B6656472D264D736B4FE526A0B9HOOK实例班.7z:BA50CE0765B89B5B1058A7900054A926JS改写教程.7z:69704…

前一篇文章  用 CNTK 搞深度学习 (一) 入门    介绍了用CNTK构建简单前向神经网络的例子.现在假设读者已经懂得了使用CNTK的基本方法.现在我们做一个稍微复杂一点,也是自然语言挖掘中很火的一个模型: 用递归神经网络构建一个语言模型. 递归神经网络 (RNN),用图形化的表示则是隐层连接到自己的神经网络(当然只是RNN中的一种): 不同于普通的神经网络,RNN假设样例之间并不是独立的.例如要预测“上”这个字的下一个字是什么,那么在“上”之前出现过的字就很重要,如果之前出现过“工作”,…

日文原文地址 http://www.4gamer.net/games/277/G027751/20150829002/ PS:CEDEC 2015的PPT有些要到10月才有下载,目前的都是记者照片修图,一些无关紧要的细节就不翻译了,10月后有下载了再分享翻译后的PPT       2015年8月28日,CEDEC 2015最后一天,BANDAI NAMCO Entertainment( 万代南梦宫娱乐,)关于[夏日课堂]的会议3场连续进行着,分为产品篇,技术篇以及座谈会三个部分,这里要介绍的是第…

java第一课堂视频请在优酷搜索java第一课堂即可…