参考资料(要是对于本文的理解不够透彻,必须将以下博客认知阅读): 1. https://zhuanlan.zhihu.com/p/86263786 2.https://blog.csdn.net/liuy9803/article/details/80598652 3.https://blog.csdn.net/perfect1t/article/details/83684995 4.GBDT算法原理以及实例理解(!!) 5.Adaboost算法原理分析和实例+代码(简明易懂)(!!) 目录 1.…

目录 回顾监督学习的一些要素 集成学习(学什么) bagging boosting 梯度提升(怎么学) GBDT Xgboost 几种模型比较 Xgboost 与 GBDT xgboost 和 LR LightGBM 回顾监督学习的一些要素 训练样本:\(x_i\) 模型:给定 \(x_i\) 预测 \(\hat{y}_i\) 参数:需要从数据中学到的 \(\theta = \{w_j|j=1,2,\cdots,d\}\) 目标函数 \[obj(\theta) = L(\theta)+ \Ome…

通过对所有的决策树进行加总来预测新的数据(在分类时采用多数投票,在回归时采用平均).…

Reference. Krizhevsky A, Sutskever I, Hinton G E. ImageNet Classification with Deep Convolutional Neural Networks [J]. Advances in Neural Information Processing Systems, 2012, 25(2):2012.https://code.google.com/p/cuda-convnet/ 说来惭愧,看了深度学习快五个月了,前几周的Pa…

感觉主要是数据的创新,方法就是比较了传统方法(RF,SVM,Adaboost)和CNN,输入比较了单像素输入和像素周围3,5,7大小的范围.也不是语义分割,最基本的CNN,单像素时还用的1*1的卷积 用的数据是landsat8作为检测的图,真值点用欧空局的2014年全球38m建城区数据为基准随机生成,再利用OpenStreetMap, 和 MOD13Q1-NDVI来对生成的点进行校正. 数据的处理方面除了landsat8的原始波段,将1-7波段最近邻法上采样到15m分辨率,再计算了NDBI, I…

python风控评分卡建模和风控常识(博客主亲自录制视频教程) https://study.163.com/course/introduction.htm?courseId=1005214003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share http://www.360doc.com/content/18/1015/10/60075508_794857307.shtml http://w…

[十大经典数据挖掘算法]系列 C4.5 K-Means SVM Apriori EM PageRank AdaBoost kNN Naïve Bayes CART 1. 集成学习 集成学习(ensemble learning)通过组合多个基分类器(base classifier)来完成学习任务,颇有点"三个臭皮匠顶个诸葛亮"的意味.基分类器一般采用的是弱可学习(weakly learnable)分类器,通过集成学习,组合成一个强可学习(strongly learnable)分类器.所谓…

目前学了几个ML的分类的经典算法,但是一直想着是否有一种能将这些算法集成起来的,今天看到了AdaBoost,也算是半个集成,感觉这个思路挺好,很像人的训练过程,并且对决策树是一个很好的补充,因为决策树容易过拟合,用AdaBoost可以让一棵很深的决策树将其分开成多棵矮树,后来发现原来这个想法和random forest比较相似,RF的代码等下周有空的时候可以写一下. 这个貌似挺厉害的,看那些专门搞学术的人说是一篇很牛逼的论文证明说可以把弱学习提升到强学习.我这种搞工程的,能知道他的原理,适用范围…

我们学过决策树.朴素贝叶斯.SVM.K近邻等分类器算法,他们各有优缺点:自然的,我们可以将这些分类器组合起来成为一个性能更好的分类器,这种组合结果被称为 集成方法 (ensemble method)或者 元算法 (meta-method).使用集成算法时有多种形式: 不同算法的集成 同一种算法在不同设置下的集成 数据集不同部分分配 给不同分类器之后的集成 1.bagging 和boosting综述 bagging 和boosting中使用的分类器类型都是一样的. bagging,也成为自举汇聚法…

Adaboost.RandomFrest.GBRT都是基于决策树的组合算法 Adaboost是通过迭代地学习每一个基分类器,每次迭代中,把上一次错分类的数据权值增大,正确分类的数据权值减小,然后将基分类器的线性组合作为一个强分类器,同时给分类误差率较小的基本分类器以大的权值,给分类误差率较大的基分类器以小的权重值. Adaboost使用的是自适应的方法,其中概率分布式变化的,关注的是难分类的样本. 随机森林RandomForest算法通过随机的方式建立一个森林,森林里的树相互独立.在新样本进来时…