TensorFlow——dropout和正则化的相关方法
1.dropout
dropout是一种常用的手段,用来防止过拟合的,dropout的意思是在训练过程中每次都随机选择一部分节点不要去学习,减少神经元的数量来降低模型的复杂度,同时增加模型的泛化能力。虽然会使得学习速度降低,因而需要合理的设置保留的节点数量。
在TensorFlow中dropout的函数原型如下:def dropout(x, keep_prob, noise_shape=None, seed=None, name=None),各个参数的意义如下:
x:输入的模型节点
keep_prob:保持节点的比率,如果为1,则表示全部节点参与学习,如果为0.8,则表示丢弃20%的节点。
noise_shape:设置指定的x中参与dropout计算的维度,如果为None,则表示所有的维度都参与计算,也可以设定某个维度,例如:x的形状为[ n, len, w, ch],使用noise_shape为[n, 1, 1, ch],这表明会对x中的第二维度和第三维度进行dropout。
dropout改变了神经网络的网络结构,它仅仅是属于训练时的方法,所以在进行测试时要将dropout的keep_porb的值为1。
x = tf.placeholder(tf.float32, [None, 784])
y = tf.placeholder(tf.float32, [None, 10]) keep_prob = tf.placeholder(tf.float32) w1 = tf.Variable(tf.random_normal([784, 30]))
b1 = tf.Variable(tf.zeros([30]))
w_h_1 = tf.add(tf.matmul(x, w1), b1)
w_h_r_1 = tf.nn.sigmoid(w_h_1)
w_h_r_drop_1 = tf.nn.dropout(w_h_r_1, keep_prob=keep_prob) w2 = tf.Variable(tf.random_normal([30, 30]))
b2 = tf.Variable(tf.zeros([30]))
w_h_2 = tf.add(tf.matmul(w_h_r_drop_1, w2), b2)
w_h_r_2 = tf.nn.sigmoid(w_h_2)
w_h_r_drop_2 = tf.nn.dropout(w_h_r_2, keep_prob=keep_prob) w3 = tf.Variable(tf.random_normal([30, 30]))
b3 = tf.Variable(tf.zeros([30]))
w_h_3 = tf.add(tf.matmul(w_h_r_drop_2, w3), b3)
w_h_r_3 = tf.nn.sigmoid(w_h_3)
w_h_r_drop_3 = tf.nn.dropout(w_h_r_3, keep_prob=keep_prob) w4 = tf.Variable(tf.random_normal([30, 10]))
b4 = tf.Variable(tf.zeros([10]))
w_h_4 = tf.add(tf.matmul(w_h_r_drop_3, w4), b4)
w_h_r_4 = tf.nn.softmax(w_h_4)
pred = tf.nn.dropout(w_h_r_4, keep_prob=keep_prob) cost = tf.reduce_mean(tf.reduce_sum(tf.square(pred - y)))
feed_dict={x:batch_xs, y:batch_ys, keep_prob:0.7}
2.正则化
正则化是在神经网络计算损失值的过程中,在损失后面再加上一项。这样损失值所代表的输出与标准结果间的误差就会受到干扰,导致学习参数w 和 b无法按照目标方向来调整,实现模型无法与样本完全拟合,从而达到防止过拟合的效果。正则化主要有L1和L2正则,如下:
L1:所有学习参数w的绝对值的和
L2:所有学习参数w的平方和然后求平方根。
如此,损失函数表达式如下:
在TensorFlow中,已经封装好了相应的函数,L2的正则化函数为:tf.nn.l2_loss(t, name=None),L1的正则化函数需要自己组合,tf.reduce_sum(tf.abs(w))
L2 = tf.nn.l2_loss(w1) + tf.nn.l2_loss(w2) + tf.nn.l2_loss(w3) +tf.nn.l2_loss(w4) cost = tf.reduce_mean(tf.reduce_sum(tf.square(pred - y))) + L2*0.01
在使用正则化的时候,我们为正则化项设置一个权重的系数,注意这个权重系数的值,可以通过不断尝试来确定权重系数的值。
TensorFlow——dropout和正则化的相关方法的更多相关文章
- (四) Keras Dropout和正则化的使用
视频学习来源 https://www.bilibili.com/video/av40787141?from=search&seid=17003307842787199553 笔记 使用drop ...
- tensorflow dropout函数应用
1.dropout dropout 是指在深度学习网络的训练过程中,按照一定的概率将一部分神经网络单元暂时从网络中丢弃,相当于从原始的网络中找到一个更瘦的网络,这篇博客中讲的非常详细 2.tens ...
- TensorFlow(三)---------正则化
TensorFlow正则化经常被用于Deep-Learn中,泛化数据模型,解决过拟合问题.再深度学习网络只有在有足够大的数据集时才能产生惊人的学习效果.当数据量不够时,过拟合的问题就会经常发生.然而, ...
- tensorflow dropout
我们都知道dropout对于防止过拟合效果不错dropout一般用在全连接的部分,卷积部分不会用到dropout,输出曾也不会使用dropout,适用范围[输入,输出)1.tf.nn.dropout( ...
- TensorFlow之DNN(三):神经网络的正则化方法(Dropout、L2正则化、早停和数据增强)
这一篇博客整理用TensorFlow实现神经网络正则化的内容. 深层神经网络往往具有数十万乃至数百万的参数,可以进行非常复杂的特征变换,具有强大的学习能力,因此容易在训练集上过拟合.缓解神经网络的过拟 ...
- TensorFlow构建卷积神经网络/模型保存与加载/正则化
TensorFlow 官方文档:https://www.tensorflow.org/api_guides/python/math_ops # Arithmetic Operators import ...
- TensorFlow笔记-08-过拟合,正则化,matplotlib 区分红蓝点
TensorFlow笔记-08-过拟合,正则化,matplotlib 区分红蓝点 首先提醒一下,第7讲的最后滑动平均的代码已经更新了,代码要比理论重要 今天是过拟合,和正则化,本篇后面可能或更有兴趣, ...
- 模型正则化,dropout
正则化 在模型中加入正则项,防止训练过拟合,使测试集效果提升 Dropout 每次在网络中正向传播时,在每一层随机将一些神经元置零(相当于激活函数置零),一般在全连接层使用,在卷积层一般随机将整个通道 ...
- TensorFlow实战——个性化推荐
原创文章,转载请注明出处: http://blog.csdn.net/chengcheng1394/article/details/78820529 请安装TensorFlow1.0,Python3. ...
随机推荐
- Flex AIR应用拍照功能(Android和IOS版本)
说明: 使用AIR处理拍照后的回调.照片文件的保存功能时,针对于IOS和Android两个平台是有所不同的. 但.关于如何调用摄像头进行拍照这个功能,Android和IOS是一致的. 技术实现: 1) ...
- POJ 2488 深搜dfs、
题意:模拟国际象棋中马的走棋方式,其实和中国象棋的马走的方式其实是一样的,马可以从给定的方格棋盘中任意点开始,问是否能遍历全部格子,能的话输出字典序最小的走棋方式,否则输出impossible 思路: ...
- HDU 2674
0 <= N<=10^9 看到这个数据范围知道常规方法肯定做不出来. 不过一想想既然是mod2009,是不是只要其中含有一个2009,那么其结果一定是0了呢 说了这里思路,就是看什么时候出 ...
- 洛谷P1809 过河问题 经典贪心问题
作者:zifeiy 标签:贪心 题目链接:https://www.luogu.org/problem/P1809 我们假设第 \(i\) 个人过河的耗时是 \(t[i]\) ,并且 \(t[i]\) ...
- java 文件过滤器 java.io.FilenameFilter
File 类里有方法: String[] list(FilenameFilter filter) 返回一个字符串数组,这些字符串指定此抽象路径名表示的目录中满足指定过滤器的文件和目录. File ...
- linux 字符设备注册
如我们提过的, 内核在内部使用类型 struct cdev 的结构来代表字符设备. 在内核调用你 的设备操作前, 你编写分配并注册一个或几个这些结构. [11] 11为此, 你的代码应当包含 < ...
- H3C STP基本配置
- 2018-8-10-win10-uwp-MVVM-轻量框架
title author date CreateTime categories win10 uwp MVVM 轻量框架 lindexi 2018-08-10 19:17:19 +0800 2018-2 ...
- 2019-8-31-C#-获取-PC-序列号
title author date CreateTime categories C# 获取 PC 序列号 lindexi 2019-08-31 16:55:58 +0800 2018-7-30 10: ...
- CodeForce - 1189 D1. Add on a Tree (思维题)
Note that this is the first problem of the two similar problems. You can hack this problem only if y ...