SIGAI机器学习第十七集线性模型1

讲授logistic回归的基本思想,预测算法,训练算法,softmax回归,线性支持向量机,实际应用大纲: 再论线性模型logistic回归的基本思想预测函数训练目标函数梯度下降法求解另一种版本的对数似然函数L2正则化logistic回归L1正则化logistic回归liblinear简介实验环节softmax回归实际应用线性模型分两类,一类是逻辑斯蒂回归,另一种是线性的SVM. liblinear和libSVM是兄弟库,同一波人开发的. logistic本来是二分类器,扩展一下成为soft…

SIGAI机器学习第四集基本概念

大纲: 算法分类有监督学习与无监督学习分类问题与回归问题生成模型与判别模型强化学习评价指标准确率与回归误差ROC曲线交叉验证模型选择过拟合与欠拟合偏差与方差正则化半监督学习归类到有监督学习中去. 有监督学习大部分问题都是分类问题,有监督中的分类问题分为生成式模型和判别模型. 分类问题常用的评价指标是准确率,对于回归问题常用的评价指标是回归误差均方误差. 二分类问题中常为它做ROC曲线. 过拟合通用的解决手段是正则化. 算法分类: 监督信号,就是样本的标签值,根据知否有标签值将机器学习分类为有监…

SIGAI机器学习第二十三集高斯混合模型与EM算法

讲授高斯混合模型的基本概念,训练算法面临的问题,EM算法的核心思想,算法的实现,实际应用. 大纲: 高斯混合模型简介实际例子训练算法面临的困难EM算法应用-视频背景建模总结高斯混合模型简写GMM,期望最大化算法EM.概率分布要确定里边的参数有两种手段,即据估计.最大似然估计. 高斯混合模型简介: 高斯分布也叫正态分布,在机器学习的一些书和论文里边,一般把它称为高斯分布,尤其是老外习惯这样写. 高斯混合模型是多个高斯分布的一个叠加,它的概率密度函数可以写成: 其中x肯定是一个连续性的随机变量,一…

SIGAI机器学习第二十一集 AdaBoost算法2

讲授Boosting算法的原理,AdaBoost算法的基本概念,训练算法,与随机森林的比较,训练误差分析,广义加法模型,指数损失函数,训练算法的推导,弱分类器的选择,样本权重削减,实际应用. 大纲: 广义加法模型指数损失函数AdaBoost训练算法的推导实现细节问题弱分类器的选择弱分类器的数量样本权重削减上节课我们介绍了AdaBoost算法的训练算法和预测算法,其中训练算法还是一个很精密的过程,这个算法是怎么想出来的有没有什么依据?包括弱分类器的权重为什么是1/2log(1-et)/et?样本…

SIGAI机器学习第二十集 AdaBoost算法1

讲授Boosting算法的原理,AdaBoost算法的基本概念,训练算法,与随机森林的比较,训练误差分析,广义加法模型,指数损失函数,训练算法的推导,弱分类器的选择,样本权重削减,实际应用 AdaBoost算法将用三节课来讲,ANN.SVM.AdaBoost这三种算法都是用三节课来讲,因为这三种算法都非常重要,都有一些成功的应用.AdaBoost和SVM一样整个理论的根基是非常完善的,而且他们都是从1995年左右开始出现,在出现的十几年里边他们都得到了成功的应用. 随即森林它是一种称为Baggi…

SIGAI机器学习第三集数学知识-2

讲授机器学习相关的高等数学.线性代数.概率论知识大纲: 最优化中的基本概念梯度下降法牛顿法坐标下降法数值优化算法面临的问题拉格朗日乘数法凸优化问题凸集凸函数凸优化拉格朗日对偶KKT条件最优化中的基本概念: 最优化问题就是求一个函数的极大值或极大值问题,一般f(x)是一个多元函数,x∈Rn,一般把最优化问题表述为求极小值问题. x称为优化变量,f(x)称为目标函数. 可能对x还有约束条件,一个或多个,等式约束或不等式约束,可能有的既有等式约束又有不等式约束,这样就比较复杂了. 满足约束条件且在…

SIGAI机器学习第八集数据降维1

讲授数据降维原理,PCA的核心思想,计算投影矩阵,投影算法的完整流程,非线性降维技术,流行学习的概念,局部线性嵌入,拉普拉斯特征映射,局部保持投影,等距映射,实际应用大纲: 数据降维问题PCA的思想最佳投影矩阵向量降维向量重构实验环节实际应用数据降维问题: 为什么需要数据降维?①高维数据不易处理,机器学习和模式识别中高维数据不太好处理,如人脸图像32*32,1024维向量,维度太高效率低.影响精度.②不能可视化,1024维是无法可视化的.③维数灾难问题,开始增加维度算法预测精度会提升,但再继…

SIGAI机器学习第七集 k近邻算法

讲授K近邻思想,kNN的预测算法,距离函数,距离度量学习,kNN算法的实际应用. KNN是有监督机器学习算法,K-means是一个聚类算法,都依赖于距离函数.没有训练过程,只有预测过程. 大纲: k近邻思想预测算法距离函数距离度量学习实验环节实际应用 k近邻思想: KNN基于模板匹配的思想,如要确定一个水果的类别,可以拿各种水果出来,看它和哪种水果长得像,就判定为哪种水果,这就是模板匹配思想.要拿一些实际的例子来,这些例子就相当于一些标准的模板,要预测样本属于哪个类型,就和这些例子比一遍,看和哪…

SIGAI机器学习第六集决策树

讲授决策树的基本概念,分类与回归树的原理,决策树的表示能力,决策树的训练算法,寻找最佳分裂的原理,叶子节点值的标记,属性缺失与替代分裂,决策树的剪枝算法,决策树应用. 非常直观和易于理解的机器学习算法,最符合人的直观思维,因为生活中很多时候做决策就是用这种树状结构做决定的. 大纲: 基本概念分类与回归树训练算法寻找最佳分裂属性缺失与替代分裂过拟合与剪枝实验环节实际应用基本概念: ①树是一种分层的数据结构,家谱.书的目录就是一棵树的结构. ②树是一个递归的结构,树的每个子节点,以它为根同样是一…

SIGAI机器学习第十集线性判别分析

讲授LDA基本思想,寻找最佳投影矩阵,PCA与LDA的比较,LDA的实际应用前边讲的数据降维算法PCA.流行学习都是无监督学习,计算过程中没有利用样本的标签值.对于分类问题,我们要达到的目标是提取或计算出来的特征对不同的类有很好的区分度,由于没有用样本的标签值,会导致一个问题,不同的两类样本,如A和B类投影之后交杂在一起无法区分开来,所以这种投影结果对于分类是不利的.线性判别分析LDA是以分类为目的的降维投影技术,把向量X变换为Y,Y的维数更低 ,Y要对分类比较有利能把不同的类有效的区分开来.…

SIGAI机器学习第五集贝叶斯分类器

讲授贝叶斯公式.朴素贝叶斯分类器.正态贝叶斯分类器的原理.实现以及实际应用大纲: 贝叶斯公式(直接用贝叶斯公式完成分类,计算一个样本的特征向量X属于每个类c的概率,这个计算是通过贝叶斯公式来完成的.) 朴素贝叶斯分类器(预测算法.训练算法) 正态贝叶斯分类器(预测算法.训练算法) 实验环节实际应用贝叶斯公式: 澄明了两个相关的(有因果关系的)随机事件以及随机变量之间的概率关系的. 随机事件a.b,假设b是因a是果: 推广到随机变量的情况: ①根据这个公式就可以完成分类了,给定任意一个样本的…

机器学习数据集,主数据集不能通过,人脸数据集介绍,从r包中获取数据集,中国河流数据集

机器学习数据集,主数据集不能通过,人脸数据集介绍,从r包中获取数据集,中国河流数据集选自Microsoft www.tz365.Cn 作者:Lee Scott 机器之心编译参与:李亚洲.吴攀.杜夏德要学习怎么使用微软 Azure 机器学习,最重要的是获取样本数据集和进行实验. 在微软,我们有大量的样本数据集可用.这些数据集已经在 Azure Cortana Intelligence Gallery 中的样本模型中得到了应用. 其中一些数据集可以通过 Azure Blob 存储获取,所以…

网络安全中机器学习大合集 Awesome

网络安全中机器学习大合集 from:https://github.com/jivoi/awesome-ml-for-cybersecurity/blob/master/README_ch.md#-datasets 历年来那些与网络安全中机器学习相关最好的工具与资源目录数据集论文书籍演讲教程课程杂项 ↑ 贡献如果你想要添加工具或资源请参阅 CONTRIBUTING ↑ 数据集安全相关数据样本集 DARPA 入侵检测数据集 Stratosphere IPS 数据集开放数据集 N…

SIGAI机器学习第十八集线性模型2

之前讲过SVM,是通过最大化间隔导出的一套方法,现在从另外一个角度来定义SVM,来介绍整个线性SVM的家族. 大纲: 线性支持向量机简介L2正则化L1-loss SVC原问题L2正则化L2-loss SVC原问题L2正则化SVC对偶问题L1正则化L2-loss SVC原问题多类线性支持向量机实验环节libsvm和liblinear的比较实际应用线性支持向量机简介: 不带核函数的预测函数是sgn(wTx+b)的形式,w是所有支持向量的组合,展开之后是sgn(Σ1~l aiyixiTxi+b)的形…

SIGAI机器学习第一集机器学习简介

讲授机器学习的基本概念.发展历史与典型应用大纲: 人工智能简介机器学习简介为什么需要机器学习机器学习的发展历史机器学习的典型应用人工智能主要的公司本课程讲授的算法机器学习并不是人工智能一上来就采用的方法,而是发展到一定阶段之后的产物这门课需要的参考书:(前面两本有点老,没有讲深度学习的东西,但神经网络讲的还是比较详细的) 人工智能简介: 定义:用计算机来实现人的智能. 1956年人工智能达特茅斯会议,2016年(AlphaG)人工智能大规模进入公众的视野. 图灵奖最多的方向:CPU的设计(…

SIGAI机器学习第十四集支持向量机1

讲授线性分类器,分类间隔,线性可分的支持向量机原问题与对偶问题,线性不可分的支持向量机原问题与对偶问题,核映射与核函数,多分类问题,libsvm的使用,实际应用大纲: 支持向量机简介线性分类器分类间隔线性可分问题线性可分的对偶问题线性不可分问题线性不可分的对偶问题核映射与核函数支持向量机简介: SVM是所有机器学习算法里边,对数学要求比较高的一种算法,主要难在拉格朗日对偶和KKT条件. 由Vapnik等人1995年提出,在出现后的20多年里它是最有影响力的机器学习算法之一,直到2012年它才…

SIGAI机器学习第十九集随机森林

讲授集成学习的概念,Bootstrap抽样,Bagging算法,随机森林的原理,训练算法,包外误差,计算变量的重要性,实际应用大纲: 集成学习简介 Boostrap抽样 Bagging算法随机森林的基本原理训练算法包外误差计算变量的重要性实验环节实际应用随机森林是一种集成学习的算法,构建在bootstrap采样基础之上的,bagging算法基于boostrap采样,与之对应的是boosting算法.随机森林是多颗决策树的集成,由于采用了bootstrip采样,在训练时有一部分样本…

SIGAI机器学习第十六集支持向量机3

讲授线性分类器,分类间隔,线性可分的支持向量机原问题与对偶问题,线性不可分的支持向量机原问题与对偶问题,核映射与核函数,多分类问题,libsvm的使用,实际应用大纲: 多分类问题libsvm简介实验环节实际应用SVM整体思路总结多分类问题: SVM怎么解决多分类问题,整体上有两种思路,第一种思路是多个二分类器的组合来解决多分类问题,第二种思路是直接优化一个多类的损失函数,就是训练出的就只是一个模型可以解决多分类问题. 第一种思路有两种实现: ①1对剩余方案假如有N个类,就训练n个分类器,每…

SIGAI机器学习第九集数据降维2

讲授LDA基本思想,寻找最佳投影矩阵,PCA与LDA的比较,LDA的实际应用大纲: 非线性降维算法流形的概念流形学习的概念局部线性嵌入拉普拉斯特征映射局部保持投影等距映射实验环节非线性降维算法: 上节介绍了经典的PCA算法,它虽然在很多问题上取得了成功,但是它有它的局限性,因为在现实世界中我们要处理的很多数据它是非线性的,而PCA本身是一个线性化的算法,用线性算法处理非线性问题是不太合适的,所以我们要有非线性的降维技术. 通过一个非线性的函数将x映射到另一个空间中去,得到一个向量y,x的维度…

SIGAI深度学习第一集机器学习与数学基础知识

SIGAI深度学习课程: 本课程全面.系统.深入的讲解深度学习技术.包括深度学习算法的起源与发展历史,自动编码器,受限玻尔兹曼机,卷积神经网络,循环神经网络,生成对抗网络,深度强化学习,以及各种算法的应用.通过精心设计的实践项目,让你深刻理解算法的原理,真实学会算法的使用. 本讲: 讲授机器学习中的基本概念和算法.分类,以及微积分.线性代数.概率论.最优化方法等数学基础知识机器学习简介: 特征向量目标函数机器学习分类: 有监督学习:分类问题(如人脸识别.字符识别.语音识别).回归问题无监…

SIGAI机器学习第二十四集聚类算法1

讲授聚类算法的基本概念,算法的分类,层次聚类,K均值算法,EM算法,DBSCAN算法,OPTICS算法,mean shift算法,谱聚类算法,实际应用. 大纲: 聚类问题简介聚类算法的分类层次聚类算法的基本思想簇之间距离的定义k均值算法的基本思想k均值算法的流程k均值算法的实现细节问题实验EM算法简介Jensen不等式EM算法的原理推导收敛性证明聚类算法是无监督学习的典型代表,前边讲过的数据降维算法是无监督学习的另外一种典型代表. 聚类问题简介: 聚类算法的概念第四讲机器学习的基本概念里边已经…

SIGAI机器学习第二十二集 AdaBoost算法3

讲授Boosting算法的原理,AdaBoost算法的基本概念,训练算法,与随机森林的比较,训练误差分析,广义加法模型,指数损失函数,训练算法的推导,弱分类器的选择,样本权重削减,实际应用. AdaBoost算法它最典型的应用是视觉的目标检测,比如说人脸检测.行人检测.车辆检测等等.在深度学习流行之前,用这些简单的特征加上AdaBoost分类器来做目标检测,始终是我们工业界的一个主流的方案,在学术界里边它发的论文也是最多的. 大纲: 实验环节应用简介VJ框架简介分类器级联Haar特征训练算法的原…

SIGAI机器学习第十五集支持向量机2

讲授线性分类器,分类间隔,线性可分的支持向量机原问题与对偶问题,线性不可分的支持向量机原问题与对偶问题,核映射与核函数,多分类问题,libsvm的使用,实际应用大纲: SVM求解面临的问题 SMO算法简介子问题的求解子问题是凸优化的证明收敛性保证优化变量的选择完整的算法 SVM求解面临的问题: SVM的对偶问题是求解一个二次函数的极值问题(二次规划问题): 前边一项是二次型,带有不等式约束和等式约束,C是惩罚因子. 写成矩阵形式: 二次规划问题可以用梯度下降法.牛顿法.坐标下降法等等…

加州理工大学公开课：机器学习与数据挖掘_线性模型 II（第IX类）

课程简要: 主要内容包括线性分类和回归分析简单的回忆.除了Logistic回归分析,具体解说误差测量和算法三方面,同时归纳法的非线性变换的分析. 课程大纲: 1.Review 2.Nonlinear Transform 3.The Model about Logistic regression 4.Error Measure about Logistic regression 5.Learning Algorithm about Logistic regression 6.Summarize 1…