混淆矩阵
精准率/查准率,presicion 预测为正的样本中实际为正的概率
召回率/查全率,recall 实际为正的样本中被预测为正的概率 TPR
F1分数,同时考虑查准率和查全率,二者达到平衡,=2*查准率*查全率/(查准率+查全率)
真正率 = 灵敏度 sensitivity 召回率 TP/TP+FN ,只关注正样本中有多少被准确预测
假正率 = 1- 特异度 = FP/(FP+TN),有多少负样本被错误预测
 
在正负样本足够的情况下,可以用ROC曲线、AUC、KS评价模型区分能力和排序能力,在确定阈值后,可以根据精准率、召回率、F1评价模型效果
KS反映模型的最优区分效果,定义为好坏的最优阈值。
 
 
 
AUC是评估模型排序能力的指标,logloss是评估准确度的指标,用来排序的依据是概率值
auc值是一个概率值,意味着正样本排在负样本前面的概率
 
roc,auc,ks评估模型,这几个指标对于比例失衡的数据 是相对比较客观的评估指标。
  • roc 曲线
横坐标是假正率,纵坐标是真正率.roc曲线尽可能的靠近左上边(0,1)的位置,效果越好
(0,0):真正率和假正率都是0,所有样本全部预测为负样本
(1,1):真正率和假正率都是1,所有样本全部预测为正样本
(0,1):真正率为1,假正率为0,正样本全部预测正确,负样本全部预测正确最完美的
情况
(1,0):真正率为0,假正率为1,正样本全部预测错误,负样本全部预测正确
confusion matrix
roc_curve
  • AUC曲线
ROC曲线下的面积,常介于0.5和1之间(极端情况下低于0.5),可以直观的评价分类器的好
坏,值越大越好。
AUC值是一个概率值,当你随机挑选一个坏样本以及好样本,当前的分类算法根据计算得
到的概率值将这个
坏样本排在好样本前面的概率就是AUC值,AUC值越大,当前分类算法越有可能将坏样本
排在好样本前面,从而能够更好地分类。
AUC的常用阈值 >0.7;有很强的区分度 0.6~0.7;有一定的区分度 0.5~0.6,有较弱的区分度;
低于0.5,区分度弱于随机猜测
  • KS曲线
ks值大于0.3说明模型的区分里比较好,ks值大于0.2模型可用,但是区分力较差;ks值小 于0.2大于0,模型的区分力差不可用; 如果ks值为负数,说明评分与好坏程度相悖,模型出现错误。ks指标的缺点是:只能表示 区分度最好的分数的区分度,不能衡量其他分数。
 

召回率、AUC、ROC模型评估指标精要的更多相关文章

  1. 混淆矩阵、准确率、召回率、ROC曲线、AUC

    混淆矩阵.准确率.召回率.ROC曲线.AUC 假设有一个用来对猫(cats).狗(dogs).兔子(rabbits)进行分类的系统,混淆矩阵就是为了进一步分析性能而对该算法测试结果做出的总结.假设总共 ...

  2. [机器学习] 性能评估指标(精确率、召回率、ROC、AUC)

    混淆矩阵 介绍这些概念之前先来介绍一个概念:混淆矩阵(confusion matrix).对于 k 元分类,其实它就是一个k x k的表格,用来记录分类器的预测结果.对于常见的二元分类,它的混淆矩阵是 ...

  3. 【机器学习】--模型评估指标之混淆矩阵,ROC曲线和AUC面积

    一.前述 怎么样对训练出来的模型进行评估是有一定指标的,本文就相关指标做一个总结. 二.具体 1.混淆矩阵 混淆矩阵如图:  第一个参数true,false是指预测的正确性.  第二个参数true,p ...

  4. 基于sklearn的metrics库的常用有监督模型评估指标学习

    一.分类评估指标 准确率(最直白的指标)缺点:受采样影响极大,比如100个样本中有99个为正例,所以即使模型很无脑地预测全部样本为正例,依然有99%的正确率适用范围:二分类(准确率):二分类.多分类( ...

  5. 精确率与召回率,RoC曲线与PR曲线

    在机器学习的算法评估中,尤其是分类算法评估中,我们经常听到精确率(precision)与召回率(recall),RoC曲线与PR曲线这些概念,那这些概念到底有什么用处呢? 首先,我们需要搞清楚几个拗口 ...

  6. 【Model Log】模型评估指标可视化,自动画Loss、Accuracy曲线图工具,无需人工参与!

    1. Model Log 介绍 Model Log 是一款基于 Python3 的轻量级机器学习(Machine Learning).深度学习(Deep Learning)模型训练评估指标可视化工具, ...

  7. 机器学习性能评估指标(精确率、召回率、ROC、AUC)

    http://blog.csdn.net/u012089317/article/details/52156514 ,y^)=1nsamples∑i=1nsamples(yi−y^i)2

  8. Python机器学习笔记:常用评估指标的用法

    在机器学习中,性能指标(Metrics)是衡量一个模型好坏的关键,通过衡量模型输出y_predict和y_true之间的某种“距离”得出的. 对学习器的泛化性能进行评估,不仅需要有效可行的试验估计方法 ...

  9. Spark ML机器学习库评估指标示例

    本文主要对 Spark ML库下模型评估指标的讲解,以下代码均以Jupyter Notebook进行讲解,Spark版本为2.4.5.模型评估指标位于包org.apache.spark.ml.eval ...

随机推荐

  1. ubuntu 下 使用 Git 维护 linux kernel版本

    学习linux内核一段时间,意识到内核的版本需要严格控制.利用Git工具可以很轻松的完成不同开发人员不同模块之间的代码融合与版本控制 . 1. 首先,安装Git .可以参考廖雪峰的博客  https: ...

  2. 4、Python 基础类型 -- Tuple 元祖类型

    Python 元组 Python的元组与列表类似,不同之处在于元组的元素不能修改. 元组使用小括号,列表使用方括号. 元组创建很简单,只需要在括号中添加元素,并使用逗号隔开即可. 如下实例: 实例(P ...

  3. Laravel groupBy用法

    // 假设model名是News:status启用是1:language选择cn: $data = News::select(array('id', 'title', 'type')) ->wh ...

  4. Go: Println 与 Printf 的区别

    Go 学习笔记:Println 与 Printf 的区别,以及 Printf 的详细用法 2017-12-19 15:39:05 zgh0711 阅读数 26255更多 分类专栏: Go   版权声明 ...

  5. Vue学习笔记【25】——Vue组件(组件间传值)

    父组件向子组件传值 组件实例定义方式,注意:一定要使用props属性来定义父组件传递过来的数据  <script>    // 创建 Vue 实例,得到 ViewModel    var ...

  6. JZOJ4605. 排序(线段树合并与分裂)

    题目大意: 每次把一个区间升序或降序排序,最后问一个点是什么. 题解: 如果只是问一个点,这确乎是个经典题,二分一下答案然后线段树维护01排序. 从pty那里get到了可以用线段树的合并与分裂实时地维 ...

  7. 【LeetCode 24】两两交换链表中的节点

    题目链接 [题解] 简单的链表操作 [代码] /** * Definition for singly-linked list. * struct ListNode { * int val; * Lis ...

  8. 【LeetCode 5】 最长回文子串

    题目链接 描述 [题解] 一个讲得比较好的博客地址; 感觉manacher算法的大概思路就是利用回文串左右对称的性质. 利用之前算出来的以某个点为中心的回文串.而当前要枚举的串被包括在其中. 则可以用 ...

  9. jdk环境配置-windows 10

    近期由于云服务器到期,重新买了一个云服务器,这里顺便把jdk环境配置步骤做一个记录 1.下载自己需要的jdk 我这里是下的免安装版的  2.计算机(此电脑)->属性->高级系统设置-> ...

  10. 第十四届华中科技大学程序设计竞赛--J Various Tree

    链接:https://www.nowcoder.com/acm/contest/106/J来源:牛客网 时间限制:C/C++ 1秒,其他语言2秒 空间限制:C/C++ 32768K,其他语言65536 ...