机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。






目录链接


(1) 牛顿法


(2) 拟牛顿条件


(3) DFP 算法


(4) BFGS 算法


(5) L-BFGS 算法












作者: peghoty


出处: http://blog.csdn.net/itplus/article/details/21896981


欢迎转载/分享, 但请务必声明文章出处.









												


											
牛顿法与拟牛顿法学习笔记（三）DFP 算法的更多相关文章
	

    
								
  1. 牛顿法与拟牛顿法学习笔记（四）BFGS 算法
		
    机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题.在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BF ...
    
		
    2. 
						
  2. 牛顿法与拟牛顿法学习笔记（五）L-BFGS 算法
		
    机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题.在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BF ...
    
		
    3. 
						
  3. 学习笔记(三)--->《Java 8编程官方参考教程（第9版）.pdf》:第十章到十二章学习笔记
		
    回到顶部 注:本文声明事项. 本博文整理者:刘军 本博文出自于: <Java8 编程官方参考教程>一书 声明:1:转载请标注出处.本文不得作为商业活动.若有违本之,则本人不负法律责任.违法 ...
    
		
    4. 
						
  4. Oracle学习笔记三 SQL命令
		
    SQL简介 SQL 支持下列类别的命令: 1.数据定义语言(DDL) 2.数据操纵语言(DML) 3.事务控制语言(TCL) 4.数据控制语言(DCL)  
    
		
    5. 
						
  5. [Firefly引擎][学习笔记三][已完结]所需模块封装
		
    原地址:http://www.9miao.com/question-15-54671.html 学习笔记一传送门学习笔记二传送门 学习笔记三导读:        笔记三主要就是各个模块的封装了,这里贴 ...
    
		
    6. 
						
  6. JSP学习笔记(三):简单的Tomcat Web服务器
		
    注意:每次对Tomcat配置文件进行修改后,必须重启Tomcat 在E盘的DATA文件夹中创建TomcatDemo文件夹,并将Tomcat安装路径下的webapps/ROOT中的WEB-INF文件夹复 ...
    
		
    7. 
						
  7. java之jvm学习笔记三(Class文件检验器)
		
    java之jvm学习笔记三(Class文件检验器) 前面的学习我们知道了class文件被类装载器所装载,但是在装载class文件之前或之后,class文件实际上还需要被校验,这就是今天的学习主题,cl ...
    
		
    8. 
						
  8. VSTO学习笔记(三) 开发Office 2010 64位COM加载项
		
    原文:VSTO学习笔记(三) 开发Office 2010 64位COM加载项 一.加载项简介 Office提供了多种用于扩展Office应用程序功能的模式,常见的有: 1.Office 自动化程序(A ...
    
		
    9. 
						
  9. Java IO学习笔记三
		
    Java IO学习笔记三 在整个IO包中,实际上就是分为字节流和字符流,但是除了这两个流之外,还存在了一组字节流-字符流的转换类. OutputStreamWriter:是Writer的子类,将输出的 ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. d3 API zoom
			
    常用的看明白了,还有几个地方不太明白. zoom函数: area path circle .on("zoom", function(){ that.svg_obj.select(& ...
    
			
    2. 
						
  2. jQuery树形菜单(1)jquery.treeview
			
    jQuery的树形插件资料URL:http://bassistance.de/jquery-plugins/jquery-plugin-treeview/从该网站Download得到jquery.tr ...
    
			
    3. 
						
  3. 使用UG UISTYLER 窗体编辑器，创建对话框 part 1
			
    在UG 二次开发中,经常需要一些交互的输入,参数的更改啊,零件的选取什么的,UG 自身提供了创建这一类对话框的功能.当然也可以使用MFC或winForm 作为交互.但使用自带的比较快和简洁,风格也统一 ...
    
			
    4. 
						
  4. fallacies of distributed computing
			
    The network is reliable. Latency is zero. Bandwidth is infinite. The network is secure. Topology doe ...
    
			
    5. 
						
  5. Python札记 -- 装饰器补充
			
    本随笔是对Python札记 -- 装饰器的一些补充. 使用装饰器的时候,被装饰函数的一些属性会丢失,比如如下代码: #!/usr/bin/env python def deco(func): def  ...
    
			
    6. 
						
  6. Ubuntu全新安装firefox最新版本
			
    Ubuntu默认安装firefox,但是自带的软件仓库是不会随firefox更新的,我在使用中老是提示flash插件需要激活,提示中可选的解决方式有三种 1.更新flash插件,但是跳转到adobe的 ...
    
			
    7. 
						
  7. Java IO7：管道流、对象流
			
    前言 前面的文章主要讲了文件字符输入流FileWriter.文件字符输出流FileReader.文件字节输出流FileOutputStream.文件字节输入流FileInputStream,这些都是常 ...
    
			
    8. 
						
  8. 字体大小自适应纯css解决方案
			
    viewpoint css3提供了一些与当前viewpoint相关的元素,vw,vh,vim等. “viewpoint” = window size vw = 1% of viewport width ...
    
			
    9. 
						
  9. 整理BOM时写的关于拆分单元格的VB代码
			
    Public Function AddRows(pos As Integer, amount As Integer) Dim rpos As Integer rpos = pos + To amoun ...
    
			
    10. 
						
  10. 爱上MVC~为DisplayNameFor添加扩展，支持PagedList集合
			
    回到目录 DisplayNameFor方法是MVC提供给我们的,它可以将模型的DisplayName特性的值显示到页面上,这对程序员来说很是方便,在进行实体设计时,可以指定它的显示名称,然后MVC引擎 ...
    
			
    11.