Fine Tune顾名思义,就是微调.在机器学习中,一般用在迁移学习中,通过控制一些layer调节一些layer来达到迁移学习的目的.这样可以利用已有的参数,稍微变化一些,以适应新的学习任务.所以说,微调不能适应变化太大的任务迁移. https://blog.csdn.net/u013841196/article/details/80919857…

之前的教程我们说了如何使用caffe训练自己的模型,下面我们来说一下如何fine tune. 所谓fine tune就是用别人训练好的模型,加上我们自己的数据,来训练新的模型.fine tune相当于使用别人的模型的前几层,来提取浅层特征,然后在最后再落入我们自己的分类中. fine tune的好处在于不用完全重新训练模型,从而提高效率,因为一般新训练模型准确率都会从很低的值开始慢慢上升,但是fine tune能够让我们在比较少的迭代次数之后得到一个比较好的效果.在数据量不是很大的情况下,fin…

复制预训练model的参数,只需要重新copy一个train_val.prototxt.然后把不需要复制的层的名字改一下,如(fc7 -> fc7_new),然后fine tune即可. freeze指定层参数,只需要把对应层的学习率lr_mult 设置为0即可,如: 在layer里面加上param { lr_mult: 0 }就可以了,比如全连接层里面:layer { type: "InnerProduct" param { # 对应第1个参数blob的配置,也就是全连接层的参…

Andrew 机器学习课程笔记 完成 Andrew 的课程结束至今已有一段时间,课程介绍深入浅出,很好的解释了模型的基本原理以及应用.在我看来这是个很好的入门视频,他老人家现在又出了一门 deep learning 的教程,虽然介绍的内容很浅,毕竟针对大部分初学者.不管学习到什么程度,能将课程跟一遍,或多或少会对知识体系的全貌有一个大致的理解.如果有时间的话,强烈建议跟完课程的同时完成各项作业.但值得注意的是,机器学习除了需要适当的数理基础之外,还是一门实践科学,只有通过不断的深入积累才能有更好…

做语义分割的大概都知道这几篇文章了,将一个传统的计算机视觉模型,用CNN一点一点的替换,直到最后构建了一个完整的基于CNN的端到端的模型.这几篇文章有一定的连贯性.从中可以看到一种研究的趋势走向. 上一篇文章里介绍过,Selective Search for Object Recognition,这篇 paper 发表于 2013 年,是一个传统的基于特征提取加分类识别的模型,这个模型主要分成三个部分: 1) 候选区域的提取,这里主要用到了图像分割以及区域融合,经过这一步,从一张图像里大概提取出…

Andrew 机器学习课程笔记 完成 Andrew 的课程结束至今已有一段时间,课程介绍深入浅出,很好的解释了模型的基本原理以及应用.在我看来这是个很好的入门视频,他老人家现在又出了一门 deep learning 的教程,虽然介绍的内容很浅,毕竟针对大部分初学者.不管学习到什么程度,能将课程跟一遍,或多或少会对知识体系的全貌有一个大致的理解.如果有时间的话,强烈建议跟完课程的同时完成各项作业.但值得注意的是,机器学习除了需要适当的数理基础之外,还是一门实践科学,只有通过不断的深入积累才能有更好…

Gradient Descent 梯度下降 II 关于 Gradient Descent 的直观解释,参考上一篇博客[机器学习]梯度下降 I 本模块介绍几种梯度下降模型.定义符号标记如下: \(\theta_t\):第 t 步的参数 \(\nabla L(\theta_t)\) or \(g_t\):\(\theta_t\)的梯度 \(m_{t+1}\):从 0 时刻开始累积的动量 SGD \(\theta_{t+1} = \theta_t - \eta\nabla L(\theta_t)\)…

1. 误差分析(Error analysis) 误差分析的目的是找到不同误差源的比重,从而指引我们接下来往哪个方向努力改进.NG建议手工统计随机100个错误的误差源,比如对于猫分类器,错误的照片可能是1)狗:2)大型猫科动物:3)图像模糊.那么可以建立下面的表格: 在统计过程中发现新的误差源,则添一列(比如这里的Instagram).本例的结果是100张错误图像中,Blurry占61%,Great Cats占43%,所以这两个是最主要的误差源,那么可以把团队分两拨,一拨人主攻一个方向.而Dog.…

什么是自组织映射? 一个特别有趣的无监督系统是基于竞争性学习,其中输出神经元之间竞争激活,结果是在任意时间只有一个神经元被激活.这个激活的神经元被称为胜者神经元(winner-takes-all neuron).这种竞争可以通过在神经元之间具有横向抑制连接(负反馈路径)来实现.其结果是神经元被迫对自身进行重新组合,这样的网络我们称之为自组织映射(Self Organizing Map,SOM). 拓扑映射 神经生物学研究表明,不同的感觉输入(运动,视觉,听觉等)以有序的方式映射到大脑皮层的相应区…

1. 误差分析(Error analysis) 误差分析的目的是找到不同误差源的比重,从而指引我们接下来往哪个方向努力改进.NG建议手工统计随机100个错误的误差源,比如对于猫分类器,错误的照片可能是1)狗:2)大型猫科动物:3)图像模糊.那么可以建立下面的表格: 在统计过程中发现新的误差源,则添一列(比如这里的Instagram).本例的结果是100张错误图像中,Blurry占61%,Great Cats占43%,所以这两个是最主要的误差源,那么可以把团队分两拨,一拨人主攻一个方向.而Dog.…

实现我们分类数字的网络 好,让我们使用随机梯度下降和 MNIST训练数据来写一个程序来学习怎样识别手写数字. 我们用Python (2.7) 来实现.只有 74 行代码!我们需要的第一个东西是 MNIST数据.如果有 github 账号,你可以将这些代码库克隆下来, git clone https://github.com/mnielsen/neural-networks-and-deep-learning.git 或者你可以到这里 下载. 顺便说一下, 当我先前说到 MNIST 数据集时,我说…

[转:http://blog.csdn.net/buaalei/article/details/46344675] 大家好!我是贾扬清,目前在Google Brain,今天有幸受雷鸣师兄邀请来和大家聊聊Caffe.没有太多准备,所以讲的不好的地方还请大家谅解.我用的ppt基本上和我们在CVPR上要做的tutorial是类似的,所以大家如果需要更多的内容的话,可以去tutorial.caffe.berkeleyvision.org,也欢迎来参加我们的tutorial:)网页上应该还有一些Pytho…

简介 caffe是一个友好.易于上手的开源深度学习平台,主要用于图像的相关处理,可以支持CNN等多种深度学习网络. 基于caffe,开发者可以方便快速地开发简单的学习网络,用于分类.定位等任务,也可以用于科研,在其源码基础上进行修改,实现自己的算法. 本文的主要目的,是介绍caffe的基本使用方法,希望通过本文,能让普通的工程师可以使用caffe训练自己的简单模型. 本文主要包括以下内容:运行caffe的例子训练cifar训练集.使用别人定义好的网络训练自己的数据.使用训练好的模型fine tu…

如果内容侵权的话,联系我,我会立马删了的-因为参考的太多了,如果一一联系再等回复,战线太长了--蟹蟹给我贡献技术源泉的作者们- 最近准备从理论和实验两个方面学习深度学习,所以,前面装好了Theano环境,后来知乎上看到这个回答,就调研了一下各个深度学习框架,我没有看源码,调研也不是很深入,仅仅是为了选择深度学习框架做的一个大概了解- 1. 如何选择深度学习框架? 参考资料如下: 1. https://github.com/zer0n/deepframeworks/blob/master/READ…

Caffe是一个清晰而高效的深度学习框架,其作者是博士毕业于UC Berkeley的 贾扬清,目前在Google工作.本文是根据机器学习研究会组织的online分享的交流内容,简单的整理了一下. 目录 1.caffe分享 1.1.caffe起源 1·2.caffe介绍 1.3.caffe其他方向 2.讨论 2.1.caffe算法与结构 2.2.caffe工程与应用 2.3.模型训练与调参 2.4.caffe与DL的学习与方向 2.5.其他 3.附录 1.caffe分享 我用的ppt基本上和我们在…

本来想发在知乎专栏的,但是文章死活提交不了,我也是醉了,于是乎我就干脆提交到CNBLOGS了. 前言 前段时间我们介绍了Logistic的数学原理和C语言实现,而我呢?其实还是习惯使用Matlab进行计算的,而且是不带C的Matlab.(主要我们都用Windows) 那为什么要用SQL实现呢?(准确的说是PL/SQL) 因为我发现数据一次性加载进内存里面太大了,直接在SELECT的时候OutOfMemory了(其实数据是勉强能装进内存的,只是SELECT的时候产生的对象太多) 更主要的原因是因为…

转载请注明作者:梦里茶 Object Detection,顾名思义就是从图像中检测出目标对象,具体而言是找到对象的位置,常见的数据集是PASCAL VOC系列.2010年-2012年,Object Detection进展缓慢,在DPM之后没有大的进展,直到CVPR2014,RBG大神(Ross Girshick)把当时爆火的CNN结合到Detection中,将PASCAL VOC上的准确率提高到53.7%,本文为你解读RBG的CVPR2014 paper: Rich feature hierar…

深度学习近一段时间以来在图像处理和NLP任务上都取得了不俗的成绩.通常,图像处理的任务是借助CNN来完成的,其特有的卷积.池化结构能够提取图像中各种不同程度的纹理.结构,并最终结合全连接网络实现信息的汇总和输出.RNN由于其记忆功能为处理NLP中的上下文提供了途径. 在短文本分析任务中,由于句子句长长度有限.结构紧凑.能够独立表达意思,使得CNN在处理这一类问题上成为可能.论文Convolutional Neural Networks for Sentence Classification(论文…

原文:JxKing的博客 | JxKing Blog 前言 AutoML是指尽量不通过人来设定超参数,而是使用某种学习机制,来调节这些超参数.这些学习机制包括传统的贝叶斯优化,多臂老虎机(multi-armed bandit),进化算法,还有比较新的强化学习. 我将AutoML分为传统AutoML ,自动调节传统的机器学习算法的参数,比如随机森林,我们来调节它的max_depth, num_trees, criterion等参数. 还有一类AutoML,则专注深度学习.这类AutoML,不妨称之…

引自:https://blog.csdn.net/huobanjishijian/article/details/76212214 原文:https://github.com/tesseract-ocr/tesseract/wiki/TrainingTesseract-4.00 tesseract 4.0之后开始使用机器学习来进行字符识别,其训练模型的方法与以前的版本有所不同,现将其官网的手册翻译如下 (未完成)   一.引言 Tesseract 4.0中包含了一个新的基于神经元网络的识别引擎,…

谷歌大脑科学家 Caffe缔造者 贾扬清 微信讲座完整版 一.讲座正文: 大家好!我是贾扬清237,目前在Google Brain83,今天有幸受雷鸣师兄邀请来和大家聊聊Caffe60.没有太多准备,所以讲的不好的地方还请大家谅解. 我用的ppt808基本上和我们在CVPR上要做的tutorial是类似的,所以大家如果需要更多的内容的话,可以去tutorial.caffe.berkeleyvision.org,也欢迎来参加我们的tutorial:) 网页上应该还有一些python的样例帮助大家上…

Google大脑科学家贾杨清(Caffe缔造者)-微信讲座 机器学习Caffe 贾扬清 caffe   一.讲座正文: 大家好!我是贾扬清178,目前在Google Brain69,今天有幸受雷鸣师兄邀请来和大家聊聊Caffe48.没有太多准备,所以讲的不好的地方还请大家谅解. 我用的ppt671基本上和我们在CVPR上要做的tutorial是类似的,所以大家如果需要更多的内容的话,可以去tutorial.caffe.berkeleyvision.org,也欢迎来参加我们的tutorial:)…

一.讲座正文:大家好!我是贾扬清,目前在Google Brain,今天有幸受雷鸣师兄邀请来和大家聊聊Caffe.没有太多准备,所以讲的不好的地方还请大家谅解.我用的ppt基本上和我们在CVPR上要做的tutorial是类似的,所以大家如果需要更多的内容的话,可以去tutorial.caffe.berkeleyvision.org,也欢迎来参加我们的tutorial:)网页上应该还有一些python的样例帮助大家上手,所以欢迎参观.ppt比较长,所以我想我主要就介绍一下背景以及high level…

引用了下文的资料,在此感谢! http://www.cnblogs.com/alexcai/p/5468164.html http://blog.csdn.net/garfielder007/article/details/51480844 第一.cifar数据集的知识 The CIFAR-10 dataset The CIFAR-10 dataset consists of 60000 32x32 colour images in 10 classes, with 6000 images pe…

PPT 可以说是讲得相当之清楚了... deepsystems.io 中文翻译: https://zhuanlan.zhihu.com/p/24916786 图解YOLO YOLO核心思想:从R-CNN到Fast R-CNN一直采用的思路是proposal+分类 (proposal 提供位置信息, 分类提供类别信息)精度已经很高,但是速度还不行. YOLO提供了另一种更为直接的思路: 直接在输出层回归bounding box的位置和bounding box所属的类别(整张图作为网络的输入,把 O…

原文地址: https://jinxin0924.github.io/2017/12/21/AutoML%E6%80%BB%E7%BB%93/ Posted by JxKing on December 21, 2017 --------------------------------------------------------------------------------------------------------------- 前言 AutoML是指尽量不通过人来设定超参数,而是使用…

讲授卷积神经网络核心思想.卷积层.池化层.全连接层.网络的训练.反向传播算法.随机梯度下降法.AdaGrad算法.RMSProp算法.AdaDelta算法.Adam算法.迁移学习和fine tune等. 大纲: 卷积神经网络简介 视觉神经网络的核心思想 卷积神经网络的核心思想 卷积运算 卷积层的原理 多通道卷积 池化层的原理 全连接层 卷积网络结构 训练算法简介 卷积层的反向传播 池化层的反向传播 全连接层的反向传播 完整的反向传播算法 随机梯度下降法 参数值初始化 学习率的设定 梯度下降法的改…

转自Caffe fine-tuning 微调网络 一般来说我们自己需要做的方向,比如在一些特定的领域的识别分类中,我们很难拿到大量的数据.因为像在ImageNet上毕竟是一个千万级的图像数据库,通常我们可能只能拿到几千张或者几万张某一特定领域的图像,比如识别衣服啊.标志啊.生物种类等等.在这种情况下重新训练一个新的网络是比较复杂的,而且参数不好调整,数据量也不够,因此fine-tuning微调就是一个比较理想的选择. 所谓fine tune就是用别人训练好的模型,加上我们自己的数据,来训练新的模…

这是一篇非常详细和精彩的介绍MAPI over HTTP协议英文博文.原文地址如下: http://blogs.technet.com/b/exchange/archive/2014/05/09/outlook-connectivity-with-mapi-over-http.aspx 作者:Brian Shiers | Technical Product Manager Outlook Connectivity with MAPI over HTTP Among the many new fe…

初步接触pentaho,由于在国内的资料很少,唯有看英文文档,做了N次反复尝试,挖掘了pentaho CDE中画图的一些基本参数. 下面就列出来了一些常用参数介绍: crosstabMode:表明如果数据源是交叉表的格式,反之为关系格式.       为true的时候能显示多种对比数据 //pie chart selectable:说明图表的视觉元素是否能被用户选择 hoverable:鼠标移动上去突出并且高亮显示 tooltipClassName: 提示 tooltipOpacity:提示透明…