Gradient descend 梯度下降法和归一化、python中的实现(未完善)
梯度下降法
通常就是将一组输入样本的特征$x^i$传入目标函数中,如$f(x) = wx + b$,再计算每个样本通过函数预测的值$f(x^i)$与其真实值(标签)$y^i$之差,然后计算所有差的平方和获得一个关于$w$损失函数$L(w)$:
$L(w) = \sum\limits_{i=0}^m [f(x^i) - y^i]^2 = \sum\limits_{i=0}^m (wx^i + b - y^i)^2 $
目标就是让通过调整$w$让这个损失函数尽量小。首先给$w$一个随机的初始值,然后每次朝着梯度的反方向更新一下$w$的位置,这样就能使损失函数达到一个局部最小点$w^*$。
$w^{t+1} = w^t - \eta\Delta L(w^t)$
梯度下降法常用方法
对于$\eta$的选取要灵活,因为如果过大,迭代可能会跳过了极小点,过小又导致迭代过慢。通常是让$\eta$刚开始大一些,随着迭代逐渐减小。如:
$\eta^{t} = \frac{\eta}{\sqrt{t+1}}$, $t$从$0$开始
Adagrad
为了平衡每次迭代函数下降的大小,Adagrad 方法在学习速率$\eta^t$下面再除以了一项$\sigma^t$:
$\eta^t = \eta^t / \sigma^t$
$\sigma^t = \sqrt{\sum\limits_{i=0}^t (g^i)^2/(t+1)}, g^i = \Delta L(w^i) $
$\sqrt{t+1}$与上面抵消掉得:
$\eta^{t} = \frac{\eta}{\sum\limits_{i=0}^t (g^i)^2}$
则$w^{t+1}$为:
$w^{t+1} = w^t - \frac{\eta}{\sqrt{\sum\limits_{i=0}^t (g^i)^2}}\Delta L(w^t)$
以下是用Adagrad实现的梯度下降python代码:
import numpy as np
import matplotlib.pyplot as plt
import pandas #x和y的数据集
x_data = np.array([338., 333., 328., 207., 226., 25., 179., 60., 208., 606.])
y_data = np.array([640., 633., 619., 393., 428., 27., 193., 66., 226., 1591.]) #设置下降参数w和b将要画的等高线图的范围
x_b = np.arange(-200,-100,1)
y_w = np.arange(-5,5,0.1)
X,Y = np.meshgrid(x_b,y_w)
#设置w、b参数网格并给所有网格点计算相应的损失函数(用于画损失函数的等高线图 )
Z_loss = np.zeros([len(x_b),len(y_w)])
for i in range(len(x_b)):
for j in range(len(y_w)):
w = y_w[j]
b = x_b[i]
for n in range(len(x_data)):
Z_loss[j][i] += (y_data[n] - x_data[n] * w - b) ** 2
#梯度下降迭代次数
itera_time = 100000
#初始化w和b
w = -4.
b = -120.
#初始化列表,存w和b的迭代经过,用于画图
w_history = [w]
b_history = [b]
#设置Adagrad学习率的上半部分
lr = 1
#初始化Adagrad学习率的下半部分
lr_b = 0.
lr_w = 0.
#进行梯度下降
for i in range(itera_time):
#每次迭代计算梯度
b_grad = 0.;
w_grad = 0.;
for n in range(len(x_data)):
b_grad += -2. * (y_data[n] - w*x_data[n] - b)
w_grad += -2. * (y_data[n] - w*x_data[n] - b) * x_data[n]
#给Adagrad学习率的下半部分加上每次迭代的梯度平方
lr_b += b_grad**2
lr_w += w_grad**2
#w和b改变一次位置
w -= w_grad * lr / np.sqrt(lr_w)
b -= b_grad * lr / np.sqrt(lr_b)
#存入这次迭代
w_history.append(w);
b_history.append(b);
#画等高线图
plt.contourf(X,Y,Z_loss,alpha=0.5,levels=50,cmap = 'jet')
#标出最优解
plt.plot([-188.4],[2.67],'x',ms=12,mew=3,color='orange')
#画出迭代经过
plt.plot(b_history,w_history,'o-',ms=3,lw=1.5,color='black')
#设置图像x、y轴显示宽度
plt.ylim(-5,5)
plt.xlim(-200,-100)
plt.ylabel("w")
plt.xlabel("b")
plt.show()
以下是代码的运行结果图,可以看到参数w和b最终迭代到了最优点:
归一化
还有重要的一点是,最好在开始迭代之前,先把输入的各个参数的分布进行归一化(Feature scaling)。
比如输入样本有两个元素$x1$和$x2$,它们的分布如下图:
当梯度下降法进行的时候,它们迭代的路径就会有如下差别(因为是线性相乘的$wx$,所以$x2$的分布宽导致了$w2$方向的函数更加窄):
可以明显看到,归一化后的迭代会更平滑,更直接,没归一化的迭代会随着等高线扭曲前进,增加迭代次数。
归一化的方法就是对于输入的每一个维度都单独计算它们的平均值和标准差,然后把每个元素都减去均值后再除以标准差:
那么归一化后的样本传入函数以后,优化完毕的参数还需要反归一化,具体怎么做呢?
。。。。。。
Gradient descend 梯度下降法和归一化、python中的实现(未完善)的更多相关文章
- 梯度下降(Gradient Descent)小结
在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法.这里就对梯度下降法做一个完整的总结. 1. 梯度 在微 ...
- 梯度下降(Gradient Descent)
在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法.这里就对梯度下降法做一个完整的总结. 1. 梯度 在微 ...
- [Python]数据挖掘(1)、梯度下降求解逻辑回归——考核成绩分类
ps:本博客内容根据唐宇迪的的机器学习经典算法 学习视频复制总结而来 http://www.abcplus.com.cn/course/83/tasks 逻辑回归 问题描述:我们将建立一个逻辑回归模 ...
- 梯度下降(Gradient Descent)相关概念
梯度,直观理解: 梯度: 运算的对像是纯量,运算出来的结果会是向量在一个标量场中, 梯度的计算结果会是"在每个位置都算出一个向量,而这个向量的方向会是在任何一点上从其周围(极接近的周围,学过 ...
- [AI]神经网络章2 神经网络中反向传播与梯度下降的基本概念
反向传播和梯度下降这两个词,第一眼看上去似懂非懂,不明觉厉.这两个概念是整个神经网络中的重要组成部分,是和误差函数/损失函数的概念分不开的. 神经网络训练的最基本的思想就是:先“蒙”一个结果,我们叫预 ...
- 线性回归 Linear regression(2)线性回归梯度下降中学习率的讨论
这篇博客针对的AndrewNg在公开课中未讲到的,线性回归梯度下降的学习率进行讨论,并且结合例子讨论梯度下降初值的问题. 线性回归梯度下降中的学习率 上一篇博客中我们推导了线性回归,并且用梯度下降来求 ...
- 多变量线性回归时使用梯度下降(Gradient Descent)求最小值的注意事项
梯度下降是回归问题中求cost function最小值的有效方法,对大数据量的训练集而言,其效果要 好于非迭代的normal equation方法. 在将其用于多变量回归时,有两个问题要注意,否则会导 ...
- 梯度下降法实现(Python语言描述)
原文地址:传送门 import numpy as np import matplotlib.pyplot as plt %matplotlib inline plt.style.use(['ggplo ...
- Stanford大学机器学习公开课(二):监督学习应用与梯度下降
本课内容: 1.线性回归 2.梯度下降 3.正规方程组 监督学习:告诉算法每个样本的正确答案,学习后的算法对新的输入也能输入正确的答案 1.线性回归 问题引入:假设有一房屋销售的数据如下: 引 ...
随机推荐
- Spring Boot 使用 JAX-WS 调用 WebService 服务
除了 CXF 我们还可以使用 Spring Boot 自身默认的组件 JAX-WS 来实现 WebService 的调用. 本项目源码 github 下载 1 新建 Spring Boot Maven ...
- ASP.NET学习记录点滴
1.判读是否是第一次请求,有表单的页面,第一次请求时get请求,而不是post请求,所以可以用来判断请求是否是get,在apsx页面中,有微软封装的属性IsPostBack来判断是否是get还是pos ...
- CRS-1硬件维护
一.CRS-1硬件介绍CRS-1 路由器是Cisco 推出的新的大容量骨干路由器,是一个支持多机箱扩展的路由系统.其设计容量可以扩展至72 个线卡机箱.8 个矩阵机箱,总交换容量达到92Tbps,具有 ...
- Myeclipse下PHP开发环境搭建及运行
外接CSDN链接 http://blog.csdn.net/yuxiangaaaaa/article/details/54948426 这是php初始设置,后面进行重新设置
- centos 默认php 版本太低移到高版本的办法
// centos 默认有php 版本太低转移到高版本的解决办法 php -v 版本低 ln -s /usr/local/php/bin/php /usr/bin/php
- 关于java自学的内容以及感受(7.28)
这一周学习了关于一些算法运算,我进行了程序的编写与运行,代码如下: public class TestSign{ public static void main(String[] args){ int ...
- 关于TXT文件中英文字母出现频率排序问题
题目要求: 输出某个英文文本文件中 26 字母出现的频率,由高到低排列,并显示字母出现的百分比,精确到小数点后面两位. 源码: package demo; import java.io.File; ...
- python 基础文件操作
实时刷新到硬盘里 f= open('hh','w',encoding='utf8') f.write('gyftyftft') f.write('hghgh\njkkjk') f.flush()#实时 ...
- C#多态学习总结
面向对象编程三大特点 封装 继承 多态.今天我把自己学习多态的过程进行总结 多态 就是 同一个方法在不同情况下,会表选不同的效果(多个形态).在代码上表现就是 同一个父类对象 赋予不同的子类对象 就 ...
- Python基础-1 基础语法
基础语法 标识符 所谓的标识符就是对变量.常量.函数.类等对象起的名字. 首先必须说明的是,Python语言在任何场景都严格区分大小写!也就是说A和a代表的意义完全不同 python对于表示标识符的命 ...