将测试样本进行排序,“最可能”是正例的排在最前面,“最不可能”是正例的排在最后面. 分类过程就相当于在这个排序中以某个“截断点”(见图中阈值)将样本分为两部分,前一部分判作正例,后一部分判作反例. 我们根据学习器的预测结果对样例进行排序,按此顺序把逐个样本作为正例进行预测,每次计算出FPR, TPR,分别为横纵坐标作图,可得“ROC曲线”. TPR 与 FPR P表示“正”的,为预测为“好的”,即要从总体中挑出来的. 真正例率 TPR = TP / (TP + TN) 表示,被挑出来的(预测是“…

1) PV:PageView  页面点击量,每次刷新就算一次浏览,多次打开同一页面会累加. 通常是衡量网站的主要指标. 2)UV:Unique  Visitor一天内访问网站的人数(是以cookie为依据),一天内同一访客            的多次访问只计算为1,一台电脑不同的浏览器的cookie值不同. 3)IP:Internet Protocol,独立IP数,IP可以理解为独立IP的访问用户,指1天内使用不同IP地址的用户访问网站的数量,同一IP无论访问了几个页面,独立IP数均为1.但是…

HResults计算字错率(WER).句错率(SER) 前言 好久没发文,看到仍有这么多关注的小伙伴,觉得不发篇文对不住.确实好久没有输出经验总结相关的文档,抽了个时间,整理了下笔记,发一篇关于ASR常用测试指标.比如字错率.句错率指标,以及计算工具HResults的使用篇,后续慢慢找时间输出一些人工智能领域,小白可理解可用的基础知识,或者整理一些其他笔记发一发. 转载说明 本文为原创文章,如需转载,请在开篇显著位置注明作者Findyou和出处 一.基础概念 1.1.语音识别(ASR) 语音识别…

当我们训练一个分类模型,总要有一些指标来衡量这个模型的优劣.一般可以用如题的指标来对预测数据做评估,同时对模型进行评估. 首先先理解一下混淆矩阵,混淆矩阵也称误差矩阵,是表示精度评价的一种标准格式,用n行n列的矩阵形式来表示. 准确率:分类器正确分类的样本数与总样本数之比.即预测 == 实际的,即斜对角线上的值总和 / 总样本 精确率:预测结果为类n中,其中实际为类n所占的比例 召回率:所有”正确被检索的item(TP)”占所有”应该检索到的item(TP+FN)”的比例 F1值  :精确值和召…

一.基础概念 1.1.语音识别(ASR) 语音识别(speech recognition)技术,也被称为自动语音识别(英语:Automatic Speech Recognition, ASR), 狭隘一点白话说:将语音转换为文字的技术. 维基百科:https://zh.wikipedia.org/wiki/语音识别 Findyou:一般使用ASR缩写. 1.2.句错率(SER) 句错误率:Sentence Error Rate 解释:句子识别错误的的个数,除以总的句子个数即为SER 计算公式:(…

准确率 召回率 精确率 : 准确率->accuracy, 精确率->precision. 召回率-> recall. 三者很像,但是并不同,简单来说三者的目的对象并不相同. 大多时候我们需要将三者放到特定的任务环境中才会更加明显的感觉到三者的差异. 在介绍这些之前,我们先回顾一下我们的混淆矩阵. True Positive(真正, TP):将正类预测为正类数. True Negative(真负 , TN):将负类预测为负类数. False Positive(假正, FP):将负类预测为正…

黑产监控中,需要尽可能做到尽可能少的误伤和尽可能准确地探测,可以选择“在FPR较低时的TPR加权平均值”作为平均指标. 根据混淆矩阵计算TPR(覆盖率)和FPR(打扰率): 覆盖率:TPR = TP /(TP + FN) 打扰率:FPR = FP /(FP + TN) TP.FN.FP.TN分别为真正例.假反例.假正例.真反例 通过设定不同的阈值,会有一系列TPR和FPR,就可以绘制出ROC曲线: 这里的评分指标,首先计算3个覆盖率TPR: TPR1:FPR=0.001时的TPR TPR2:FP…

针对二分类的结果,对模型进行评估,通常有以下几种方法: Precision.Recall.F-score(F1-measure)TPR.FPR.TNR.FNR.AUCAccuracy   真实结果 1 0 预测结果 1 TP(真阳性)  FP(假阳性) 0 FN(假阴性) TN(真阴性) TP(True Positive):预测结果为正类,实际上就是正类 FP(False Positive):预测结果为正类,实际上是反类 FN(False negative):预测结果为反类,实际上是正类 TN(…

yu Code 15 Comments  机器学习(ML),自然语言处理(NLP),信息检索(IR)等领域,评估(Evaluation)是一个必要的 工作,而其评价指标往往有如下几点:准确率(Accuracy),精确率(Precision),召回率(Recall)和F1-Measure.(注: 相对来说,IR 的 ground truth 很多时候是一个 Ordered List, 而不是一个 Bool 类型的 Unordered Collection,在都找到的情况下,排在第三名还是第四名损失…

混淆矩阵 介绍这些概念之前先来介绍一个概念:混淆矩阵(confusion matrix).对于 k 元分类,其实它就是一个k x k的表格,用来记录分类器的预测结果.对于常见的二元分类,它的混淆矩阵是 2x2 的. 假设要对 15 个人预测是否患病,使用 1 表示患病,使用 0 表示正常.预测结果如下: 预测值: 1 1 1 1 1 0 0 0 0 0 1 1 1 0 1 真实值: 0 1 1 0 1 1 0 0 1 0 1 0 1 0 0 将上面的预测结果转为混淆矩阵,如下: 上图展示了一个二…