准确率.精确率(查准率).召回率(查全率).F1值.ROC曲线的AUC值,都可以作为评价一个机器学习模型好坏的指标(evaluation metrics),而这些评价指标直接或间接都与混淆矩阵有关,前四者可以从混淆矩阵中直接计算得到,AUC值则要通过ROC曲线进行计算,而ROC曲线的横纵坐标又和混淆矩阵联系密切,所以在了解这些评价指标之前,先知道什么是混淆矩阵很有必要,也方便记忆. 1.混淆矩阵 对于一个二分类问题,我们可以得到如表 1所示的的混淆矩阵(confusion matrix): 表…

度量表 1.准确率 (presion) p=TPTP+FP 理解为你预测对的正例数占你预测正例总量的比率,假设实际有90个正例,10个负例,你预测80(75+,5-)个正例,20(15+,5-)个负例 实际上你的准确率为75/80=0.9375,但这个评价指标有什么问题呢,想想就知道,这里你并没有用到实际的正例数,那么仅仅靠你猜中的正例作为分母,你并不知道实际的正例有多少,你看召回率为75/90=0.83,就是说你的猜测局限于预测范围 2.召回率       (recall)r=TPTP+FN…

混淆矩阵 介绍这些概念之前先来介绍一个概念:混淆矩阵(confusion matrix).对于 k 元分类,其实它就是一个k x k的表格,用来记录分类器的预测结果.对于常见的二元分类,它的混淆矩阵是 2x2 的. 假设要对 15 个人预测是否患病,使用 1 表示患病,使用 0 表示正常.预测结果如下: 预测值: 1 1 1 1 1 0 0 0 0 0 1 1 1 0 1 真实值: 0 1 1 0 1 1 0 0 1 0 1 0 1 0 0 将上面的预测结果转为混淆矩阵,如下: 上图展示了一个二…

参考资料:https://zhuanlan.zhihu.com/p/46714763 ROC/AUC作为机器学习的评估指标非常重要,也是面试中经常出现的问题(80%都会问到).其实,理解它并不是非常难,但是好多朋友都遇到了一个相同的问题,那就是:每次看书的时候都很明白,但回过头就忘了,经常容易将概念弄混.还有的朋友面试之前背下来了,但是一紧张大脑一片空白全忘了,导致回答的很差. 我在之前的面试过程中也遇到过类似的问题,我的面试经验是:一般笔试题遇到选择题基本都会考这个率,那个率,或者给一个场景让…

在搭建一个AI模型或者是机器学习模型的时候怎么去评估模型,比如我们前期讲的利用朴素贝叶斯算法做的垃圾邮件分类算法,我们如何取评估它.我们需要一套完整的评估方法对我们的模型进行正确的评估,如果模型效果比较理想的话则可以放到线上使用,如果不理想的话则需要反复的去调整相关参数进行训练直到达到目的. 而准确率.精确率.召回率和F1值则是选出目标的重要评价指标,我们看下这些指标的定义: 若一个实例为正类,实际预测为正类,即为真正类(True Positv TP) 若一个实例为负类,实际预测为负类,即为真负…

评价指标是针对同样的数据,输入不同的算法,或者输入相同的算法但参数不同而给出这个算法或者参数好坏的定量指标. 以下为了方便讲解,都以二分类问题为前提进行介绍,其实多分类问题下这些概念都可以得到推广. 准确率 准确率是最好理解的评价指标,它是一个比值: \[ 准确率 = \cfrac{算法分类正确的数据个数}{输入算法的数据的个数} \] 但是使用准确率评价算法有一个问题,就是在数据的类别不均衡,特别是有极偏的数据存在的情况下,准确率这个评价指标是不能客观评价算法的优劣的.例如下面这个例子: 我们…

首先我们可以计算准确率(accuracy),其定义是: 对于给定的测试数据集,分类器正确分类的样本数与总样本数之比.也就是损失函数是0-1损失时测试数据集上的准确率. 下面在介绍时使用一下例子: 一个班级有20个女生,80个男生.现在一个分类器需要从100人挑选出所有的女生.该分类器从中选出了50人,其中20个女生,30个男生. 准确率是指分类器正确分类的比例.正确分类是指正确的识别了一个样本是正例还是负例.例如分类器正确识别了20个女生和50个男生,正确识别的样本数是70个,因此该分类器的准确…

原文:http://peghoty.blog.163.com/blog/static/49346409201302595935709/ 正确率.召回率和 F 值是在鱼龙混杂的环境中,选出目标的重要评价指标.不妨看看这些指标的定义先: 1. 正确率 = 正确识别的个体总数 /  识别出的个体总数 2. 召回率 = 正确识别的个体总数 /  测试集中存在的个体总数 3. F值  = 正确率 * 召回率 * 2 / (正确率 + 召回率) (F 值即为正确率和召回率的调和平均值) 不妨举这样一个例子:…

首先明确几个概念,精确率,召回率,准确率 精确率precision 召回率recall 准确率accuracy 以一个实际例子入手,假设我们有100个肿瘤病人. 95个良性肿瘤病人,5个恶性肿瘤病人. 我们有一个检测系统,去检测一个肿瘤病人是否为恶性. 那么,对我们的系统来说,有100个样本,5个正样本,95个负样本.假设分布为1,1,1,1,1,0,0,.......(即前5个人为恶性,后95个为良性). 假设我们的系统预测如下1,0,0,1,1,1,0.......,可以看到我们把第二个第三…

1.什么是性能度量? 我们都知道机器学习要建模,但是对于模型性能的好坏(即模型的泛化能力),我们并不知道是怎样的,很可能这个模型就是一个差的模型,泛化能力弱,对测试集不能很好的预测或分类.那么如何知道这个模型是好是坏呢?我们必须有个评判的标准.为了了解模型的泛化能力,我们需要用某个指标来衡量,这就是性能度量的意义.有了一个指标,我们就可以对比不同模型了,从而知道哪个模型相对好,那个模型相对差,并通过这个指标来进一步调参逐步优化我们的模型. 当然,对于分类和回归两类监督学习,分别有各自的评判标准.…