1.1.10. Bayesian Ridge Regression 首先了解一些背景知识:from: https://www.r-bloggers.com/the-bayesian-approach-to-ridge-regression/ In this post, we are going to be taking a computational approach to demonstrating the equivalence of the bayesian approach and ri…

梯度下降 一.亲手实现“梯度下降” 以下内容其实就是<手动实现简单的梯度下降>. 神经网络的实践笔记,主要包括: Logistic分类函数 反向传播相关内容 Link: http://peterroelants.github.io/posts/neural_network_implementation_part01/ 中文版: http://www.jianshu.com/p/0da9eb3fd06b 1. 生成训练数据 由“目标函数+随机噪声”生成. import numpy as np i…

作者:桂. 时间:2017-05-22  15:28:43 链接:http://www.cnblogs.com/xingshansi/p/6890048.html 前言 本文主要是线性回归模型,包括: 1)普通最小二乘拟合 2)Ridge回归 3)Lasso回归 4)其他常用Linear Models. 一.普通最小二乘 通常是给定数据X,y,利用参数进行线性拟合,准则为最小误差: 该问题的求解可以借助:梯度下降法/最小二乘法,以最小二乘为例: 基本用法: from sklearn import…

作者:桂. 时间:2017-05-22  15:28:43 链接:http://www.cnblogs.com/xingshansi/p/6890048.html 前言 主要记录python工具包:sci-kit learn的基本用法. 本文主要是线性回归模型,包括: 1)普通最小二乘拟合 2)Ridge回归 3)Lasso回归 4)其他常用Linear Models. 一.普通最小二乘 通常是给定数据X,y,利用参数进行线性拟合,准则为最小误差: 该问题的求解可以借助:梯度下降法/最小二乘法,…

前面的文章已经介绍了一个回归和一个分类的例子.在逻辑回归模型中我们假设: 在分类问题中我们假设: 他们都是广义线性模型中的一个例子,在理解广义线性模型之前需要先理解指数分布族. 指数分布族(The Exponential Family) 如果一个分布可以用如下公式表达,那么这个分布就属于指数分布族: 公式中y是随机变量:h(x)称为基础度量值(base measure): η称为分布的自然参数(natural parameter),也称为标准参数(canonical parameter): T(…

网易公开课,第4课 notes,http://cs229.stanford.edu/notes/cs229-notes1.pdf 前面介绍一个线性回归问题,符合高斯分布 一个分类问题,logstic回归,符合伯努利分布 也发现他们有些相似的地方,其实这些方法都是一个更广泛的模型族的特例,这个模型族称为,广义线性模型(Generalized Linear Models,GLMs) The exponential family 为了介绍GLMs,先需要介绍指数族分布(exponential fami…

Introduction 一.Scikit-learning 广义线性模型 From: http://sklearn.lzjqsdd.com/modules/linear_model.html#ordinary-least-squares # 需要明白以下全部内容,花些时间. 只涉及上述常见的.个人相关的算法. Ref: https://www.youtube.com/watch?v=ipb2MhSRGdw 二.方法进化简史 1.1 松弛求解 到 最小二乘 基本上都是解不存在的超定方程组.因此,…

NB: 因为softmax,NN看上去是分类,其实是拟合(回归),拟合最大似然. 多分类参见:[Scikit-learn] 1.1 Generalized Linear Models - Logistic regression & Softmax 感知机采用的是形式最简单的梯度 Perceptron and SGDClassifier share the same underlying implementation.In fact, Perceptron() is equivalent to S…

二分类:Logistic regression 多分类:Softmax分类函数 对于损失函数,我们求其最小值, 对于似然函数,我们求其最大值. Logistic是loss function,即: 在逻辑回归中,选择了 “对数似然损失函数”,L(Y,P(Y|X)) = -logP(Y|X). 对似然函数求最大值,其实就是对对数似然损失函数求最小值. Logistic regression, despite its name, is a linear model for classification…

============================================================== Popular generalized linear models 将不同类型的数据做数值转换,转换为线性模型. 连续型变量且正态分布选择 离散型变量且二项分布选择logistics 计数变量且负二项分布选择自然对数 負二項分布是統計學上一種描述在一系列独立同分布的伯努利试验中,失败次数到达指定次数(记为r)时成功次数的離散概率分布. 比如,如果我们定义掷骰子随机变量x值…