# -*- coding: utf-8 -*- """ Created on Mon Oct 15 17:38:39 2018 @author: zhen """ import tensorflow as tf import numpy as np from sklearn.datasets import fetch_california_housing from sklearn.preprocessing import StandardScal…

import tensorflow as tfimport numpy as np #使用numpy生成随机点x_data = np.random.rand(100)y_data = x_data*0.1 + 0.2 #构造一个线性模型b = tf.Variable(0.0)k = tf.Variable(0.0)y = k*x_data+b #二次代价函数loss = tf.reduce_mean(tf.square(y_data-y))#误差平方求平均值#定义一个梯度下降来进行训练的优化器o…

一.TensorFlow为什么要存在变量收集的过程,主要目的就是把训练过程中的数据,比如loss.权重.偏置等数据通过图形展示的方式呈现在开发者的眼前. 自定义参数:自定义参数,主要是通过Python去执行,然后传入对应的参数.常见的有路径.训练次数等. 梯度下降:这个应该是最常见的训练手段了,在监督学习中,基本上都是采用这种方式,所以了解其中的使用过程还是很多必要的. 二.变量收集 tf.summary.scalar(<name>, <tensor>):通过标量的方式来统计数据(…

1.批量梯度下降 批量梯度下降法是最原始的形式,它是指在每一次迭代时使用所有样本来进行梯度的更新.从数学上理解如下: 对应的目标函数(代价函数)即为: (1)对目标函数求偏导: (2)每次迭代对参数进行更新: 优点:   (1)一次迭代是对所有样本进行计算,此时利用矩阵进行操作,实现了并行.   (2)由全数据集确定的方向能够更好地代表样本总体,从而更准确地朝向极值所在的方向.当目标函数为凸函数时,BGD一定能够得到全局最优. 缺点:   (1)当样本数目 m 很大时,每迭代一步都需要对所有样本…

[前言] 对于矩阵(Matrix)的特征值(Eigens)求解,采用数值分析(Number Analysis)的方法有一些,我熟知的是针对实对称矩阵(Real Symmetric Matrix)的特征值和特征向量(Characteristic Vectors)求解算法——雅克比算法(Jacobi).Jacobi算法的原理和实现可以参考[https://blog.csdn.net/zhouxuguang236/article/details/40212143].通过Jacobi算法可以以任意精度近…

tf.trainable_variables可以得到整个模型中所有trainable=True的Variable,也是自由处理梯度的基础 基础梯度操作方法: tf.gradients 用来计算导数.该函数的定义如下所示 def gradients(ys, xs, grad_ys=None, name="gradients", colocate_gradients_with_ops=False, gate_gradients=False, aggregation_method=None)…

记得在tensorflow的入门里,介绍梯度下降算法的有效性时使用的例子求一个二次曲线的最小值. 这里使用pytorch复现如下: 1.手动计算导数,按照梯度下降计算 import torch #使用梯度下降法求y=x^2+2x+1 最小值 从x=3开始 x=torch.Tensor([3]) for epoch in range(100): y=x**2+2*x+1 x-=(2*x+2)*0.05 #导数是 2*x+2 print('min y={1:.2}, x={0:.2}'.format…

在较深的网络,如多层CNN或者非常长的RNN,由于求导的链式法则,有可能会出现梯度消失(Gradient Vanishing)或梯度爆炸(Gradient Exploding )的问题. 原理 问题:为什么梯度爆炸会造成训练时不稳定而且不收敛? 梯度爆炸,其实就是偏导数很大的意思.回想我们使用梯度下降方法更新参数: 损失函数的值沿着梯度的方向呈下降趋势,然而,如果梯度(偏导数)很大话,就会出现函数值跳来跳去,收敛不到最值的情况,如图: 当然出现这种情况,其中一种解决方法是,将学习率αα设小一点,…

补充在前:实际上在我使用LSTM为流量基线建模时候,发现有效的激活函数是elu.relu.linear.prelu.leaky_relu.softplus,对应的梯度算法是adam.mom.rmsprop.sgd,效果最好的组合是:prelu+rmsprop.我的代码如下: # Simple example using recurrent neural network to predict time series values from __future__ import division, p…

1. ops = tf.train.GradientDescentOptimizer(learning_rate) 构建优化器 参数说明:learning_rate 表示输入的学习率 2.ops.compute_gradients(loss, tf.train_variables(), colocate_gradients_with_ops=True) 参数说明:loss表示损失值, tf.train_variables() 表示需要更新的参数, colocate_gradients_with_…