Partial Dependence就是用来解释某个特征和目标值y的关系的,一般是通过画出Partial Dependence Plot(PDP)来体现. PDP是依赖于模型本身的,所以我们需要先训练模型(比如训练一个random forest模型).假设我们想研究y和特征\(X_1\)的关系,那么PDP就是一个关于\(X_1\)和模型预测值的函数.我们先拟合了一个随机森林模型RF(X),然后用\(X_k^{i}\)表示训练集中第k个样本的第i个特征,那么PDP的函数就是 \[f(X_1)=\f…

一直在关注可解释机器学习领域,因为确实在工作中有许多应用 模型检查,特征重要性是否符合预期和AUC一样重要 模型解释,比起虚无缥缈的模型指标,解释模型学到的规律更能说服业务方 样本解释,为什么这些用户会违约,是否有指标能提前预警? 决策归因,有时模型只是提取pattern的方式,最终需要给到归因/决策,例如HTE模型和XAI结合是否也是一种落地方式 18年被H2O Driverless AI 提供的可解释机器学习引擎(下图)种草后,就对这个领域产生了兴趣.不过用的越多,XAI暴露的问题就越多,比…

Gradient Boosted Regression Trees 2   Regularization GBRT provide three knobs to control overfitting: tree structure, shrinkage, and randomization. Tree Structure The depth of the individual trees is one aspect of model complexity. The depth of the t…

http://blog.csdn.net/pipisorry/article/details/60776803 单决策树C4.5由于功能太简单.而且非常easy出现过拟合的现象.于是引申出了很多变种决策树.就是将单决策树进行模型组合,形成多决策树,比較典型的就是迭代决策树GBRT和随机森林RF. 在近期几年的paper上,如iccv这样的重量级会议.iccv 09年的里面有不少文章都是与Boosting和随机森林相关的. 模型组合+决策树相关算法有两种比較主要的形式:随机森林RF与GBDT,其他…

# Partial dependence plots# 改变单变量对最终预测结果的影响# 先fit出一种模型,然后取一行,不断改变某一特征,看它对最终结果的印象.# 但是,只使用一行不具有典型性# 所以对所有行执行上述操作,求均值 import pandas as pd from sklearn.ensemble import GradientBoostingRegressor, GradientBoostingClassifier from sklearn.ensemble.partial_d…

Method Feature(s) Sample(s) Result Value/Feature Permutation Importance 1 all validation samples Single Scale Partial Dependence Plots 1~2 all validation samples Vector(reasults vs feature) SHAP Values N individual sample 每个feature对当前结果的贡献(相对于baselin…

本文对应<R语言实战>第8章:回归 回归是一个广义的概念,通指那些用一个或多个预测变量(也称自变量或解释变量)来预测响应变量(也称因变量.效标变量或结果变量)的方法.通常,回归分析可以用来挑选与相应变量相关的解释变量,可以描述两者的关系,也可以生成一个等式,通过解释变量来预测响应变量. 回归分析的各种变体 回归类型 用途 简单线性 用一个量化的解释变量预测一个量化的响应变量 多项式 用一个量化的解释变量预测一个量化的响应变量,模型的关系是n阶多项式 多元线性 用两个或多个量化的解释变量预测一个…

sklearn集成方法 集成方法的目的是结合一些基于某些算法训练得到的基学习器来改进其泛化能力和鲁棒性(相对单个的基学习器而言)主流的两种做法分别是: bagging 基本思想 独立的训练一些基学习器(一般倾向于强大而复杂的模型比如完全生长的决策树),然后综合他们的预测结果,通常集成模型的效果会优于基学习器,因为模型的方差有所降低. 常见变体(按照样本采样方式的不同划分) Pasting:直接从样本集里随机抽取的到训练样本子集 Bagging:自助采样(有放回的抽样)得到训练子集 Random…

http://scikit-learn.org/stable/modules/classes.html#module-sklearn.decomposition Reference This is the class and function reference of scikit-learn. Please refer to the full user guide for further details, as the class and function raw specifications…

sklearn集成方法 bagging 常见变体(按照样本采样方式的不同划分) Pasting:直接从样本集里随机抽取的到训练样本子集 Bagging:自助采样(有放回的抽样)得到训练子集 Random Subspaces:列采样,按照特征进行样本子集的切分 Random Patches:同时进行行采样.列采样得到样本子集 sklearn-bagging 学习器 BaggingClassifier BaggingRegressor 参数 可自定义基学习器 max_samples,max_feat…