SIGAI机器学习第六集决策树

【SIGAI机器学习第六集决策树】的更多相关文章

SIGAI机器学习第六集决策树

讲授决策树的基本概念,分类与回归树的原理,决策树的表示能力,决策树的训练算法,寻找最佳分裂的原理,叶子节点值的标记,属性缺失与替代分裂,决策树的剪枝算法,决策树应用. 非常直观和易于理解的机器学习算法,最符合人的直观思维,因为生活中很多时候做决策就是用这种树状结构做决定的. 大纲: 基本概念分类与回归树训练算法寻找最佳分裂属性缺失与替代分裂过拟合与剪枝实验环节实际应用基本概念: ①树是一种分层的数据结构,家谱.书的目录就是一棵树的结构. ②树是一个递归的结构,树的每个子节点,以它为根同样是一…

SIGAI机器学习第二十一集 AdaBoost算法2

讲授Boosting算法的原理,AdaBoost算法的基本概念,训练算法,与随机森林的比较,训练误差分析,广义加法模型,指数损失函数,训练算法的推导,弱分类器的选择,样本权重削减,实际应用. 大纲: 广义加法模型指数损失函数AdaBoost训练算法的推导实现细节问题弱分类器的选择弱分类器的数量样本权重削减上节课我们介绍了AdaBoost算法的训练算法和预测算法,其中训练算法还是一个很精密的过程,这个算法是怎么想出来的有没有什么依据?包括弱分类器的权重为什么是1/2log(1-et)/et?样本…

SIGAI机器学习第二十集 AdaBoost算法1

讲授Boosting算法的原理,AdaBoost算法的基本概念,训练算法,与随机森林的比较,训练误差分析,广义加法模型,指数损失函数,训练算法的推导,弱分类器的选择,样本权重削减,实际应用 AdaBoost算法将用三节课来讲,ANN.SVM.AdaBoost这三种算法都是用三节课来讲,因为这三种算法都非常重要,都有一些成功的应用.AdaBoost和SVM一样整个理论的根基是非常完善的,而且他们都是从1995年左右开始出现,在出现的十几年里边他们都得到了成功的应用. 随即森林它是一种称为Baggi…

SIGAI机器学习第四集基本概念

大纲: 算法分类有监督学习与无监督学习分类问题与回归问题生成模型与判别模型强化学习评价指标准确率与回归误差ROC曲线交叉验证模型选择过拟合与欠拟合偏差与方差正则化半监督学习归类到有监督学习中去. 有监督学习大部分问题都是分类问题,有监督中的分类问题分为生成式模型和判别模型. 分类问题常用的评价指标是准确率,对于回归问题常用的评价指标是回归误差均方误差. 二分类问题中常为它做ROC曲线. 过拟合通用的解决手段是正则化. 算法分类: 监督信号,就是样本的标签值,根据知否有标签值将机器学习分类为有监…

SIGAI机器学习第十七集线性模型1

讲授logistic回归的基本思想,预测算法,训练算法,softmax回归,线性支持向量机,实际应用大纲: 再论线性模型logistic回归的基本思想预测函数训练目标函数梯度下降法求解另一种版本的对数似然函数L2正则化logistic回归L1正则化logistic回归liblinear简介实验环节softmax回归实际应用线性模型分两类,一类是逻辑斯蒂回归,另一种是线性的SVM. liblinear和libSVM是兄弟库,同一波人开发的. logistic本来是二分类器,扩展一下成为soft…

SIGAI机器学习第七集 k近邻算法

讲授K近邻思想,kNN的预测算法,距离函数,距离度量学习,kNN算法的实际应用. KNN是有监督机器学习算法,K-means是一个聚类算法,都依赖于距离函数.没有训练过程,只有预测过程. 大纲: k近邻思想预测算法距离函数距离度量学习实验环节实际应用 k近邻思想: KNN基于模板匹配的思想,如要确定一个水果的类别,可以拿各种水果出来,看它和哪种水果长得像,就判定为哪种水果,这就是模板匹配思想.要拿一些实际的例子来,这些例子就相当于一些标准的模板,要预测样本属于哪个类型,就和这些例子比一遍,看和哪…