决策数(Decision Tree)在机器学习中也是比较常见的一种算法,属于监督学习中的一种.看字面意思应该也比较容易理解,相比其他算法比如支持向量机(SVM)或神经网络,似乎决策树感觉“亲切”许多. 优点:计算复杂度不高,输出结果易于理解,对中间值的缺失值不敏感,可以处理不相关特征数据. 缺点:可能会产生过度匹配的问题. 使用数据类型:数值型和标称型. 简单介绍完毕,让我们来通过一个例子让决策树“原形毕露”. 一天,老师问了个问题,只根据头发和声音怎么判断一位同学的性别. 为了解决这个问题,同…

原论文:    http://learningsys.org/nips17/assets/papers/paper_11.pdf catboost原理: One-hot编码可以在预处理阶段或在训练期间完成.后者对于训练时间而言能更有效地执行,并在Catboost中执行. 类别特征: 为了减少过拟合以及使用整个数据集进行训练,Catboost使用更有效的策略. 1.对输入的观察值的集合进行随机排列,生成多个随机排列: 2.给定一个序列,对于每个例子,对于相同类别的例子我们计算平均样本值: 3.使用…

原论文: http://papers.nips.cc/paper/6907-lightgbm-a-highly-efficient-gradient-boosting-decision-tree.pdf lightgbm原理: gbdt困点: gbdt是受欢迎的机器学习算法,当特征维度很高或数据量很大时,有效性和可拓展性没法满足.lightgbm提出GOSS(Gradient-based One-Side Sampling)和EFB(Exclusive Feature Bundling)进行改进…

简述: message-digest algorithm 5(信息-摘要算法).经常说的“MD5加密”,就是它→信息-摘要算法. md5,其实就是一种算法.可以将一个字符串,或文件,或压缩包,执行md5后,就可以生成一个固定长度为128bit的串.这个串,基本上是唯一的. 不可逆性: 每个人都有不同的指纹,看到这个人,可以得出他的指纹等信息,并且唯一对应,但你只看一个指纹,是不可能看到或读到这个人的长相或身份等信息. 特点 压缩性:任意长度的数据,算出的MD5值长度都是固定的. 容易计算:从原数…

kNN(k-nearest neighbor algorithm)算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性.简单地说,K-近邻算法采用测量不同特征值之间的距离方法进行分类. - 优点:精度高.对异常值不敏感.无数据输入假定. - 缺点:计算复杂度高.空间复杂度高. - 适用数据范围:数值型和标称型. 举个简单的例子,一群男生和一群女生,我们知道他们的身高和性别. 如下表格: 身高 性别 165 女 16…

文章目录 1.改进约会网站匹配效果 1.1 准备数据:从文本文件中解析数据 1.2 分析数据:使用Matplotlib创建散点图 1.3 准备数据:归一化特征 1.4 测试算法:作为完整程序验证分类器 1.5 使用算法:构建完成可用系统 2.手写识别系统 2.1 准备数据:将图像转换为测试向量 2.2 测试算法:使用k-近邻算法识别手写数字 在上一篇文章中我们得到了基于欧式距离.多数表决规则,实现方法采用线性搜索法的k-近邻法classify0(inX, dataSet, labels, k),…

Stacking集成学习在各类机器学习竞赛当中得到了广泛的应用,尤其是在结构化的机器学习竞赛当中表现非常好.今天我们就来介绍下stacking这个在机器学习模型融合当中的大杀器的原理.并在博文的后面附有相关代码实现. 总体来说,stacking集成算法主要是一种基于"标签"的学习,有以下的特点: 用法:模型利用交叉验证,对训练集进行预测,从而实现二次学习 优点:可以结合不同的模型 缺点:增加了时间开销,容易造成过拟合 关键点:模型如何进行交叉训练? 下面我们来看看stacking的具体…

Logistic Regression Classifier逻辑回归主要思想就是用最大似然概率方法构建出方程,为最大化方程,利用牛顿梯度上升求解方程参数. 优点:计算代价不高,易于理解和实现. 缺点:容易欠拟合,分类精度可能不高. 使用数据类型:数值型和标称型数据. 介绍逻辑回归之前,我们先看一问题,有个黑箱,里面有白球和黑球,如何判断它们的比例. 我们从里面抓3个球,2个黑球,1个白球.这时候,有人就直接得出了黑球67%,白球占比33%.这个时候,其实这个人使用了最大似然概率的思想,通俗来讲,…

这个算法中文名为k均值聚类算法,首先我们在二维的特殊条件下讨论其实现的过程,方便大家理解. 第一步.随机生成质心 由于这是一个无监督学习的算法,因此我们首先在一个二维的坐标轴下随机给定一堆点,并随即给定两个质心,我们这个算法的目的就是将这一堆点根据它们自身的坐标特征分为两类,因此选取了两个质心,什么时候这一堆点能够根据这两个质心分为两堆就对了.如下图所示: 第二步.根据距离进行分类 红色和蓝色的点代表了我们随机选取的质心.既然我们要让这一堆点的分为两堆,且让分好的每一堆点离其质心最近的话,我们首…

决策树ID3原理及R语言python代码实现(西瓜书) 摘要: 决策树是机器学习中一种非常常见的分类与回归方法,可以认为是if-else结构的规则.分类决策树是由节点和有向边组成的树形结构,节点表示特征或者属性, 而边表示的是属性值,边指向的叶节点为对应的分类.在对样本的分类过程中,由顶向下,根据特征或属性值选择分支,递归遍历直到叶节点,将实例分到叶节点对应的类别中. 决策树的学习过程就是构造出一个能正取分类(或者误差最小)训练数据集的且有较好泛化能力的树,核心是如何选择特征或属性作为节点, 通…