深度学习笔记（六）finetune

深度学习笔记：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)

深度学习笔记:优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam) 深度学习笔记(一):logistic分类深度学习笔记(二):简单神经网络,后向传播算法及实现深度学习笔记(三):激活函数和损失函数深度学习笔记:优化方法总结深度学习笔记(四):循环神经网络的概念,结构和代码注释深度学习笔记(五):LSTM 深度学习笔记(六):Encoder-Decoder模型和Attention模型…

UFLDL深度学习笔记（六）卷积神经网络

UFLDL深度学习笔记 (六)卷积神经网络 1. 主要思路 "UFLDL 卷积神经网络"主要讲解了对大尺寸图像应用前面所讨论神经网络学习的方法,其中的变化有两条,第一,对大尺寸图像的每个小的patch矩阵应用相同的权值来计算隐藏层特征,称为卷积特征提取:第二,对计算出来的特征矩阵做"减法",把特征矩阵纵横等分为多个区域,取每个区域的平均值(或最大值)作为输出特征,称为池化.这样做的原因主要是为了降低数据规模,对于8X8的图像输入层有64个单元,而100X100的图像…

Learning ROS for Robotics Programming Second Edition学习笔记(六) indigo xtion pro live

中文译著已经出版,详情请参考:http://blog.csdn.net/ZhangRelay/article/category/6506865 Learning ROS for Robotics Programming Second Edition学习笔记(六) indigo xtion pro live 安装: 参考:http://wiki.ros.org/openni_camera --$: sudo apt-get install ros-indigo-openni2* ros-indig…

UFLDL深度学习笔记（四）用于分类的深度网络

UFLDL深度学习笔记 (四)用于分类的深度网络 1. 主要思路本文要讨论的"UFLDL 建立分类用深度网络"基本原理基于前2节的softmax回归和无监督特征学习,区别在于使用更"深"的神经网络,也即网络中包含更多的隐藏层,我们知道前一篇"无监督特征学习"只有一层隐藏层.原文深度网络概览不仅给出了深度网络优势的一种解释,还总结了几点训练深度网络的困难之处,并解释了逐层贪婪训练方法的过程.关于深度网络优势的表述非常好,贴在这里. 使用深度…

Google TensorFlow深度学习笔记

Google Deep Learning Notes Google 深度学习笔记由于谷歌机器学习教程更新太慢,所以一边学习Deep Learning教程,经常总结是个好习惯,笔记目录奉上. Github工程地址:https://github.com/ahangchen/GDLnotes 欢迎star,有问题可以到Issue区讨论官方教程地址视频/字幕下载最近tensorflow团队出了一个model项目,和这个课程无关,但是可以参考框架: TensorFlow 谷歌出品的基于Pytho…

java之jvm学习笔记六-十二(实践写自己的安全管理器)(jar包的代码认证和签名) (实践对jar包的代码签名) (策略文件)(策略和保护域) (访问控制器) (访问控制器的栈校验机制) (jvm基本结构)

java之jvm学习笔记六(实践写自己的安全管理器) 安全管理器SecurityManager里设计的内容实在是非常的庞大,它的核心方法就是checkPerssiom这个方法里又调用 AccessController的checkPerssiom方法,访问控制器AccessController的栈检查机制又遍历整个 PerssiomCollection来判断具体拥有什么权限一旦发现栈中一个权限不允许的时候抛出异常否则简单的返回,这个过程实际上比我的描述要复杂得多,这里我只是简单的一句带过,因为这…

Typescript 学习笔记六：接口

中文网:https://www.tslang.cn/ 官网:http://www.typescriptlang.org/ 目录: Typescript 学习笔记一:介绍.安装.编译 Typescript 学习笔记二:数据类型 Typescript 学习笔记三:函数 Typescript 学习笔记四:回忆Es5 中的类 Typescript 学习笔记五:类 Typescript 学习笔记六:接口 Typescript 学习笔记七:泛型 Typescript 中的接口接口的作用:在面向对象的编程中…

python3.4学习笔记(六) 常用快捷键使用技巧，持续更新

python3.4学习笔记(六) 常用快捷键使用技巧,持续更新安装IDLE后鼠标右键点击*.py 文件,可以看到Edit with IDLE 选择这个可以直接打开编辑器.IDLE默认不能显示行号,使用ALT+G 跳到对应行号,在右下角有显示光标所在行.列.ALT+P,上一个历史输入内容,ALT+N 下一个历史输入内容.IDLE中按F5可以运行代码. 编辑状态时:Ctrl + [ .Ctrl + ] 缩进代码Alt+3 Alt+4 注释.取消注释代码行Alt+5 Alt+6 切换缩进方式空格<…

Go语言学习笔记六：循环语句

Go语言学习笔记六: 循环语句今天学了一个格式化代码的命令:gofmt -w chapter6.go for循环 for循环有3种形式: for init; condition; increment { } // 类似while for condition { } // 和for(;;)一样 for { } 循环slice,map,数组,字符串还可以使用下面这种方式: for key, value := range oldMap { newMap[key] = value } break 语句…

UFLDL深度学习笔记（二）SoftMax 回归(矩阵化推导)

UFLDL深度学习笔记 (二)Softmax 回归本文为学习"UFLDL Softmax回归"的笔记与代码实现,文中略过了对代价函数求偏导的过程,本篇笔记主要补充求偏导步骤的详细推导. 1. 详细推导softmax代价函数的梯度经典的logistics回归是二分类问题,输入向量$ x^{(i)}\in\Re^{n+1}$ 输出0,1判断$y^{(i)}\in{\{0,1\}}$,Softmax回归模型是一种多分类算法模型,如图所示,输出包含k个类型,\(y^{(i)}\in{\…

UFLDL深度学习笔记（一）反向传播与稀疏自编码

UFLDL深度学习笔记 (一)基本知识与稀疏自编码前言近来正在系统研究一下深度学习,作为新入门者,为了更好地理解.交流,准备把学习过程总结记录下来.最开始的规划是先学习理论推导:然后学习一两种开源框架:第三是进阶调优.加速技巧.越往后越要带着工作中的实际问题去做,而不能是空中楼阁式沉迷在理论资料的旧数据中.深度学习领域大牛吴恩达(Andrew Ng)老师的UFLDL教程 (Unsupervised Feature Learning and Deep Learning)提供了很好的基础理论推导…

UFLDL深度学习笔记（七）拓扑稀疏编码与矩阵化

UFLDL深度学习笔记 (七)拓扑稀疏编码与矩阵化主要思路前面几篇所讲的都是围绕神经网络展开的,一个标志就是激活函数非线性:在前人的研究中,也存在线性激活函数的稀疏编码,该方法试图直接学习数据的特征集,利用与此特征集相应的基向量,将学习得到的特征集从特征空间转换到样本数据空间,这样可以用特征集重构样本数据. 数据集.特征集.基向量分别表示为$x.A.s$.构造如下目标代价函数,对估计误差的代价采用二阶范数,对稀疏性因子的惩罚代价采用一阶范数.原文中没有对误差项在数据集上做平均,真实情…

UFLDL深度学习笔记（五）自编码线性解码器

UFLDL深度学习笔记 (五)自编码线性解码器 1. 基本问题在第一篇 UFLDL深度学习笔记 (一)基本知识与稀疏自编码中讨论了激活函数为$sigmoid$函数的系数自编码网络,本文要讨论"UFLDL 线性解码器",区别在于输出层去掉了$sigmoid$,将计算值$z$直接作为输出.线性输出的原因是为了避免对输入范围的缩放: S 型激励函数输出范围是 [0,1],当$ f(z^{(3)}) $采用该激励函数时,就要对输入限制或缩放,使其位于 [0,1] 范围中.一些数据…

UFLDL深度学习笔记（三）无监督特征学习

UFLDL深度学习笔记 (三)无监督特征学习 1. 主题思路 "UFLDL 无监督特征学习"本节全称为自我学习与无监督特征学习,和前一节softmax回归很类似,所以本篇笔记会比较简化,主题思路和步骤如下: 把有标签数据分为两份,先对一份原始数据做无监督的稀疏自编码训练,获得输入层到隐藏层的最优化权值参数$W, b$: 把另一份数据分成分成训练集与测试集,都送入该参数对应的第一层网络(去掉输出层的稀疏自编码网络): 用训练集输出的特征作为输入,训练softmax分类器: 再用此参数…

【opencv学习笔记六】图像的ROI区域选择与复制

图像的数据量还是比较大的,对整张图片进行处理会影响我们的处理效率,因此常常只对图像中我们需要的部分进行处理,也就是感兴趣区域ROI.今天我们来看一下如何设置图像的感兴趣区域ROI.以及对ROI区域图像进行复制与替换. 在开始之前我们还是先来看一下Mat类型的数据存储方式以及对Mat类型变量赋值的方式.Mat类型的图像在内存中包含两部分的内容:矩阵头与图像数据矩阵的指针.矩阵头包含了图像的基本信息(如矩阵尺寸.存储方式.存储地址等),而数据指针则指向图像所有像素值的矩阵.通常复制Mat类型数据有两…

Linux学习笔记(六) 进程管理

1.进程基础当输入一个命令时,shell 会同时启动一个进程,这种任务与进程分离的方式是 Linux 系统上重要的概念每个执行的任务都称为进程,在每个进程启动时,系统都会给它指定一个唯一的 ID,称为进程 ID(PID) 对进程进行管理必须以进程 ID 作为对象,而非进程名称每个进程都可能以前台或后台两种方式存在,bg 表示后台执行,fg 表示前台执行在命令后加 & 使进程在后台执行 2.显示进程可以使用 ps 命令(Process Status)显示当前运行的进程,显示的内容如下:…

# go微服务框架kratos学习笔记六(kratos 服务发现 discovery)

目录 go微服务框架kratos学习笔记六(kratos 服务发现 discovery) http api register 服务注册 fetch 获取实例 fetchs 批量获取实例 polls 批量获取实例 nodes 批量获取节点 renew 心跳 cancel 下线应用发现逻辑服务注册服务注册demo 服务注册逻辑服务发现测试调用简单看看官方grpc服务发现逻辑 context deadline exceeded 简单看看官方grpc服务发现逻辑 go微服务框架kratos学…

Spring Boot 学习笔记(六) 整合 RESTful 参数传递

Spring Boot 学习笔记源码地址 Spring Boot 学习笔记(一) hello world Spring Boot 学习笔记(二) 整合 log4j2 Spring Boot 学习笔记(三) 整合 MyBatis + Druid Spring Boot 学习笔记(四) 整合 Druid 监控 Spring Boot 学习笔记(五) 整合静态资源 Spring Boot 学习笔记(六) 整合 RESTful 参数传递 Spring Boot 学习笔记(七) 整合 Swagger2…

Redis学习笔记六：持久化实验(AOF,RDB)

作者:Grey 原文地址:Redis学习笔记六:持久化实验(AOF,RDB) Redis几种持久化方案介绍和对比 AOF方式:https://blog.csdn.net/ctwctw/article/details/105173842 RDB方式:https://blog.csdn.net/ctwctw/article/details/105265689 对比:https://blog.csdn.net/ctwctw/article/details/105147277 准备工作安装Redis,…

openresty 学习笔记六:使用session库

openresty 学习笔记六:使用session库 lua-resty-session 是一个面向 OpenResty 的安全和灵活的 session 库,它实现了 Secure Cookie Protocol.项目地址:https://github.com/bungle/lua-resty-session 使用方法有很多种,我这里只使用简单的用redis存储session 先要修改redis配置文件vim /usr/local/redis/etc/redis.conf,开启unix sock…

2020年Yann Lecun深度学习笔记（下）

2020年Yann Lecun深度学习笔记(下)…

2020年Yann Lecun深度学习笔记（上）

2020年Yann Lecun深度学习笔记(上)…

Java IO学习笔记六：NIO到多路复用

作者:Grey 原文地址:Java IO学习笔记六:NIO到多路复用虽然NIO性能上比BIO要好,参考:Java IO学习笔记五:BIO到NIO 但是NIO也有问题,NIO服务端的示例代码中往往会包括如下代码:即:遍历所有的SocketChannel,获取能读写数据的客户端,当客户端数量非常多的时候,服务端要轮询所有连接的客户端拿数据(recv调用),很多调用是无意义的,这样会导致频繁的用户态切换成内核态,导致性能变差. .... //遍历已经链接进来的客户端能不能读写数据 for (Sock…

深度学习笔记之关于基本思想、浅层学习、Neural Network和训练过程（三）

不多说,直接上干货! 五.Deep Learning的基本思想假设我们有一个系统S,它有n层(S1,…Sn),它的输入是I,输出是O,形象地表示为: I =>S1=>S2=>…..=>Sn => O,如果输出O等于输入I,即输入I经过这个系统变化之后没有任何的信息损失(呵呵,大牛说,这是不可能的.信息论中有个“信息逐层丢失”的说法(信息处理不等式),设处理a信息得到b,再对b处理得到c,那么可以证明:a和c的互信息不会超过a和b的互信息.这表明信息处理不会增加信息,大部分处…

深度学习笔记（七）SSD 论文阅读笔记

一. 算法概述本文提出的SSD算法是一种直接预测目标类别和bounding box的多目标检测算法.与faster rcnn相比,该算法没有生成 proposal 的过程,这就极大提高了检测速度.针对不同大小的目标检测,传统的做法是先将图像转换成不同大小(图像金字塔),然后分别检测,最后将结果综合起来(NMS).而SSD算法则利用不同卷积层的 feature map 进行综合也能达到同样的效果.文章的核心之一是同时采用lower和upper的feature map做检测. …

深度学习笔记(一)：logistic分类【转】

本文转载自:https://blog.csdn.net/u014595019/article/details/52554582 这个系列主要记录我在学习各个深度学习算法时候的笔记,因为之前已经学过大概的概念,所以这轮学习比较着重于公式推导和具体实现,而对概念上的描述不多,因此比较适合对此有一定基础的同学. 在正式开始写深度学习的知识之前,会有两节传统神经网络的内容,因为深度学习中大量运用了以往神经网络的知识.搞懂传统的神经网络如何工作是很有必要的,有助于对之后的学习打下坚实的基础. 1. log…