本文是读完 Jeffrey Dean, Greg S. Corrado 等人的文章 Large Scale Distributed Deep Networks (2012) 后的一则读书笔记，重点介绍在 Google 的软件框架 DistBelief 下设计的一种用来训练大规模深度神经网络的随机梯度下降法 — Downpour SGD。该方法通过分布式地部署多个模型副本和一个“參数server”，同一时候实现了模型并行和数据并行。且对机器失效问题具有非常好的容错性。结合 Adagrad 自适应学习率使用，对非凸优化问题有非常好的效果。




















作者: peghoty


出处: http://blog.csdn.net/itplus/article/details/31831661


欢迎转载/分享, 但请务必声明文章出处.


												


											
DistBelief 框架下的并行随机梯度下降法 - Downpour SGD的更多相关文章
	

    
								
  1. 一种利用 Cumulative Penalty 训练 L1 正则 Log-linear 模型的随机梯度下降法
		
    Log-Linear 模型(也叫做最大熵模型)是 NLP 领域中使用最为广泛的模型之一,其训练常采用最大似然准则,且为防止过拟合,往往在目标函数中加入(可以产生稀疏性的) L1 正则.但对于这种带 L ...
    
		
    2. 
						
  2. Gradient Descent 和 Stochastic Gradient Descent（随机梯度下降法）
		
    Gradient Descent(Batch Gradient)也就是梯度下降法是一种常用的的寻找局域最小值的方法.其主要思想就是计算当前位置的梯度,取梯度反方向并结合合适步长使其向最小值移动.通过柯 ...
    
		
    3. 
						
  3. 1. 批量梯度下降法BGD 2. 随机梯度下降法SGD 3. 小批量梯度下降法MBGD
		
    排版也是醉了见原文:http://www.cnblogs.com/maybe2030/p/5089753.html 在应用机器学习算法时,我们通常采用梯度下降法来对采用的算法进行训练.其实,常用的梯度 ...
    
		
    4. 
						
  4. 随机梯度下降法（Stochastic gradient descent, SGD）
		
    BGD(Batch gradient descent)批量梯度下降法:每次迭代使用所有的样本(样本量小)    Mold 一直在更新 SGD(Stochastic gradientdescent)随机 ...
    
		
    5. 
						
  5. Stochastic Gradient Descent 随机梯度下降法-R实现
		
    随机梯度下降法  [转载时请注明来源]:http://www.cnblogs.com/runner-ljt/ Ljt 作为一个初学者,水平有限,欢迎交流指正. 批量梯度下降法在权值更新前对所有样本汇总 ...
    
		
    6. 
						
  6. 谷歌机器学习速成课程---降低损失 (Reducing Loss)：随机梯度下降法
		
    在梯度下降法中,批量指的是用于在单次迭代中计算梯度的样本总数.到目前为止,我们一直假定批量是指整个数据集.就 Google 的规模而言,数据集通常包含数十亿甚至数千亿个样本.此外,Google 数据集 ...
    
		
    7. 
						
  7. 线性回归（最小二乘法、批量梯度下降法、随机梯度下降法、局部加权线性回归） C++
		
    We turn next to the task of finding a weight vector w which minimizes the chosen function E(w). Beca ...
    
		
    8. 
						
  8. 机器学习---用python实现最小二乘线性回归算法并用随机梯度下降法求解 （Machine Learning Least Squares Linear Regression Application SGD）
		
    在<机器学习---线性回归(Machine Learning Linear Regression)>一文中,我们主要介绍了最小二乘线性回归算法以及简单地介绍了梯度下降法.现在,让我们来实践 ...
    
		
    9. 
						
  9. optim.SDG 或者其他、实现随机梯度下降法
		
    optim.SDG 或者其他.实现随机梯度下降法 待办 实现随机梯度下降算法的参数优化方式 另外还有class torch.optim.ASGD(params, lr=0.01, lambd=0.00 ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. thinkphp5项目--个人博客（一）
			
    thinkphp5项目--个人博客(一) 项目地址 fry404006308/personalBlog: personalBloghttps://github.com/fry404006308/per ...
    
			
    2. 
						
  2. iOS菜鸟成长笔记（3）——斯坦福公开课学习（1）
			
    一.iOS四层结构 1.Core OS 是用FreeBSD和Mach所改写的Darwin, 是开源.符合POSIX标准的一个Unix核心.这一层包含或者说是提供了整个iPhone OS的一些基础功能, ...
    
			
    3. 
						
  3. 事件处理：pull与push
			
    push:对应函数调用:属于发起方主动型 pull :对应消息循环:模型为信息池+事件循环+派发:属于接收者主动: 通常这种模式的角色对应于消息中心(事件派发中心). 观察者模式:变化+派发.
    
			
    4. 
						
  4. SQL Server存储ntext截断问题
			
    SQL Server存储ntext截断问题   最近遇到一个问题:将大文本存储到数据库的时候,查询出来的文本却被截断了. 最后百度发现,作者提出 sql server management studi ...
    
			
    5. 
						
  5. 我的PHP学习之路
			
    由于工作中,做微信小程序需要我自己写一些后台代码.并且公司后台用的是php.所以我决定在周末和下班后抽空学习php.一开始,我想找一些入门视频来学,然后发现好像效率不是很好.不如看书来得痛快.(主要是 ...
    
			
    6. 
						
  6. OpenJDK源码研究笔记(六)--观察者模式工具类(Observer和Observable)和应用示例
			
    本文主要讲解OpenJDK观察者模式的2个工具类,java.util.Observer观察者接口,java.util.Observable被观察者基类. 然后,给出了一个常见的观察者应用示例. Obs ...
    
			
    7. 
						
  7. JDBC连接SQL Server 2005 报错Connection refused: connect
			
    com.microsoft.sqlserver.jdbc.SQLServerException: 通过端口 1433 连接到主机 localhost 的 TCP/IP 连接失败.错误:“Connect ...
    
			
    8. 
						
  8. ArcGIS api for javascript——显示多个查询结果
			
    描述 本例展示了在重叠的多边形处理查询的一种方式.单击一个石油和天然气的字段来查看地图上的高亮显示.如果仅仅点击一个要素,能够在单击一次来查看包含一些属性的InfoWindow.如果偶然单击到重叠的要 ...
    
			
    9. 
						
  9. 微软CEO纳德拉拥抱Linux意欲何为？
			
    "我不喜欢打一场过时的战争."微软 CEO 萨蒂亚·纳德拉说道,"我想要打一场全新的战役." 上周日晚上.萨蒂亚·纳德拉来到旧金山 North Beach 区的 ...
    
			
    10. 
						
  10. 流水线技术原理和Verilog HDL实现
			
    所谓流水线处理,如同生产装配线一样,将操作执行工作量分成若干个时间上均衡的操作段,从流水线的起点连续地输入,流水线的各操作段以重叠方式执行.这使得操作执行速度只与流水线输入的速度有关,而与处理所需的时 ...
    
			
    11.