[ML学习笔记] XGBoost算法 回归树 决策树可用于分类和回归,分类的结果是离散值(类别),回归的结果是连续值(数值),但本质都是特征(feature)到结果/标签(label)之间的映射. 这时候就没法用信息增益.信息增益率.基尼系数来判定树的节点分裂了,那么回归树采用新的方式是预测误差,常用的有均方误差.对数误差等(损失函数).而且节点不再是类别,而是数值(预测值),划分到叶子后的节点预测值有不同的计算方法,有的是节点内样本均值,有的是最优化算出来的比如Xgboost. XGBoost…

Manacher算法 - 学习笔记 是从最近Codeforces的一场比赛了解到这个算法的~ 非常新奇,毕竟是第一次听说 \(O(n)\) 的回文串算法 我在 vjudge 上开了一个[练习],有兴趣的reader们可以参考一下 \(QwQ\) 『算法简述』 一个思路比较简单但非常有效的字符串算法(其实不止字符串,反正就是用来求回文的),用于求给定字符串中的回文子串,有一些研究者证明了它的时间复杂度均摊下来是 \(O(n)\) 的,只可惜我看不懂他们怎么证明的-- 中文名叫"马拉车"算…

一些新理解 之前我有个疑惑,RNN的网络窗口,换句话说不也算是一个卷积核嘛?那所有的网络模型其实不都是一个东西吗?今天又听了一遍RNN,发现自己大错特错,还是没有学明白阿.因为RNN的窗口所包含的那一系列带有时间序列的数据,他们再窗口内是相互影响的,这也正是RNN的核心,而不是像卷积那样直接选个最大值,RNN会引入新的参数以保证每个时刻的值都能参与进去,影响最终结果.而且这里的窗口大小,实质上是指你循环网络的层数 构造RNN 方式一:做自己的RNN cell,自己写处理序列的循环 方式二:直接使…

EM算法是一种迭代算法,用于含有隐变量(hidden variable)的概率模型参数的极大似然估计,或极大后验概率估计.EM算法的每次迭代由两步组成:E步,求期望(expectation):M步,求极大(Maximization). EM算法的引入 给一些观察数据,可以使用极大似然估计法,或贝叶斯估计法估计模型参数.但是当模型含有隐变量时,就不能简单地使用这些方法.有些时候,参数的极大似然估计问题没有解析解,只能通过迭代的方法求解,EM算法就是可以用于求解这个问题的一种迭代算法. EM算法 输…

声明: 这篇笔记是自己对AdaBoost原理的一些理解,如果有错,还望指正,俯谢- 背景: AdaBoost算法,这个算法思路简单,但是论文真是各种晦涩啊-,以下是自己看了A Short Introduction to Boosting和PRML的一些笔记. 摔- 正文: AdaBoost算法,是一种组合算法(通过多个弱分类器,组合成一个强分类器): 关于AdaBoost算法的流程,简单的描述,我们以A Short Introduction to Boosting中提到的用AdaBoosting…

按照学习计划和TimeMachine学长的推荐,学习了一下KMP算法. 昨晚晚自习下课前粗略的看了看,发现根本理解不了高端的next数组啊有木有,不过好在在今天系统的学习了之后感觉是有很大提升的了,起码能打出模板了...(无奈) KMP算法是一种字符串匹配算法,能够最坏在线性时间跑出答案的算法,时间复杂度为O(n+m) 对于字符串匹配,原始的套路在于两个串直接枚举起来.当要被查询的串T[]与查询串P[]的首字母匹配时便依次比较下去,一旦失配后T[]串的下标+1继续找,直到找到为止 KMP算法的做…

会当凌绝顶,一览众山小. --望岳 如果说有哪个排序算法不能不会,那就是快速排序(Quick Sort)了 快速排序简单而高效,是最适合学习的进阶排序算法. 直接上代码: public class QuickSort { public static void quickSort(int[] arr){ qSort(arr,,arr.length - ); } public static void qSort(int[] arr, int l, int r) { int i = l; int j…

上一节中,我们使用autograd的包来定义模型并求导.本节中,我们将使用torch.nn包来构建神经网络. 一个nn.Module包含各个层和一个forward(input)方法,该方法返回output. 上图是一个简单的前馈神经网络.它接受一个输入.然后一层接着一层地传递.最后输出计算的结果. 神经网络模型的训练过程 神经网络的典型训练过程如下: 定义包含一些可学习的参数(或者叫做权重)的神经网络模型. 在数据集上迭代. 通过神经网络处理输入. 计算损失函数(输出结果和正确值的差值大小).…

春蚕到死丝方尽,蜡炬成灰泪始干 --无题 这里介绍两个比较难的算法: 1.堆排序 2.分治并归排序 先说堆. 这里请大家先自行了解完全二叉树的数据结构. 堆是完全二叉树.大顶堆是在堆中,任意双亲值都大于(或等于)其孩子值,就称其为大顶堆. 堆排序的步骤: 1.把数组想象成一个堆.数组的index+1就是其对应在堆中的序号 2.调堆中各值的顺序,得到大顶堆 3.将堆首位值与堆末尾值交换,最大值排序完毕 4.将堆得大小减1,重复步骤2和步骤3,直到堆中只剩下一个元素.排序完毕 上代码: public…

落日楼头,断鸿声里,江南游子.把吴钩看了,栏杆拍遍,无人会,登临意. --水龙吟·登建康赏心亭 希尔算法是希尔(D.L.Shell)于1959年提出的一种排序算法.是第一个时间复杂度突破O(n²)的算法之一. 其基础是插入排序. 上代码: public class ShellSort { public static void shellSort(int[] arr){ int increment = arr.length; int temp;//牌 int i; int j; do { incr…