转自:http://blog.csdn.net/u013078356/article/details/51154847 在caffe的训练过程中,大家难免想图形化自己的训练数据,以便更好的展示结果.如 果自己写代码记录训练过程的数据,那就太麻烦了,caffe中其实已经自带了这样的小工具 caffe-master/tools/extra/parse_log.sh  caffe-master/tools/extra/extract_seconds.py和 caffe-master/tools/ext…

Windows平台上Caffe的训练与学习方法(以数据库CIFAR-10为例) 在完成winodws平台上的caffe环境的搭建之后,亟待掌握的就是如何在caffe中进行训练与学习,下面将进行简单的介绍. 1.数据库CIFAR-10的下载与介绍 CIFAR-10数据库的下载地址:http://www.cs.toronto.edu/~kriz/cifar.html CIFAR-10数据库: 60000张32*32大小的彩色图像共计10类(airplane.automobile. bird.cat…

由于安装新版本的TensorFlow需要cudnn6.0因此用6.0将原来的 5.0替换了,后来又用之前编译好的caffe进行训练,发现caffe会去找5.0的cudnn,然后就报错了,不能正常训练. 开始的时候试着建立一个软连接,没有成功,后来将caffe重新make了一下,又运行发现还是不能跑,然后又运行了一下make install就可以正常运行了.…

申明:此教程加工于caffe 如何训练自己的数据图片 一.准备数据 有条件的同学,可以去imagenet的官网http://www.image-net.org/download-images,下载imagenet图片来训练.但是我没有下载,一个原因是注册账号的时候,验证码始终出不来(听说是google网站的验证码,而我是上不了google的).第二个原因是数据太大了... 我去网上找了一些其它的图片来代替,共有500张图片,分为大巴车.恐龙.大象.鲜花和马五个类,每个类100张.需要的同学,可到…

@tags caffe 训练 是在windows平台上. 主要是使用/caffe.exe,配合动作参数train,以及指定solver文件.e.g.: cd %caffe_root% %caffe_build%\caffe.exe train --solver=examples\mnist\lenet_solver.prototxt…

1.报错:“db_lmdb.hpp:14] Check failed:mdb_status ==0(112 vs.0)磁盘空间不足.” 这问题是由于lmdb在windows下无法使用lmdb的库,所以要改成leveldb. 但是要注意:由于backend默认的是lmdb,所以你每一次用到生成的图片leveldb数据的时候,都要把“--backend=leveldb”带上.如转换图片格式时: 又如计算图像的均值时: 还有在.prototxt中 data_param { source: "./mys…

神经网络中,我们通过最小化神经网络来训练网络,所以在训练时最后一层是损失函数层(LOSS), 在测试时我们通过准确率来评价该网络的优劣,因此最后一层是准确率层(ACCURACY). 但是当我们真正要使用训练好的数据时,我们需要的是网络给我们输入结果,对于分类问题,我们需要获得分类结果,如下右图最后一层我们得到 的是概率,我们不需要训练及测试阶段的LOSS,ACCURACY层了. 下图是能过$CAFFE_ROOT/python/draw_net.py绘制$CAFFE_ROOT/models/caf…

1. 训练model #!/usr/bin/env sh ./build/tools/caffe train --solver=examples/focal_length/focal_solver.prototxt 2. 测试数据 import caffe from caffe.proto import caffe_pb2 import numpy as np import cv2 run_mode = 'gpu' deploy_file = 'focal_deploy.prototxt' we…

转存:LMDB E:\机器学习2\caffe资料\caffe_root\caffe-master\Build\x64\Release>convert_imageset.exe E:/机器学习2/caffe资料/caffe_root/caffe-master/examples/myfile/train E:/机器学习2/caffe资料/caffe_root/caffe-master/examples/myfile/train.txt E:/机器学习2/caffe资料/caffe_root/caff…

1.使用预训练模型,需要修改训练的prototxt,将layer name改为与要使用模型的layer name相同即可. Borrowing Weights from a Pretrained Network To borrow the weights of an already trained model, we need to do two things: Rename our layer to match the name of the original model's layer. T…

学习caffe的目的,不是简单的做几个练习,最终还是要用到自己的实际项目或科研中.因此,本文介绍一下,从自己的原始图片到lmdb数据,再到训练和测试模型的整个流程. 一.准备数据 有条件的同学,可以去imagenet的官网http://www.image-net.org/download-images,下载imagenet图片来训练.但是我没有下载,一个原因是注册账号的时候,验证码始终出不来(听说是google网站的验证码,而我是上不了google的).第二个原因是数据太大了... 我去网上找了…

最近想熟悉一下深度学习,体验了一下Caffe,简单写写训练和分类的过程: 1.下载Caffe VS2013工程:https://github.com/Microsoft/caffe 2. 解压并用VS2013打开解决方案caffe-master\windows\Caffe.sln,默认配置是x64 Debug 2.  重命名caffe-master\windows\CommonSettings.props.example为caffe-master\windows\CommonSettings.p…

报错的两种报错原因: 1.输入数的路径错误,需要将路径进行修改排查目录是否出错 2.训练原数据格式不对 3.train.prototxt文件中并未设置test层,而在solver层则设置了test的迭代等参数 两种解决方法 1.对错误原因1,则改为正确路径 2.对错误原因2,修改create_data.sh文件将数据改为相应格式(或者修改train.prototxt文件,将参数改为数据源格式) 3.对错误原因3,在train.prototxt文件增加test层,或者将solver.prototx…

我用的是faster-rcnn,在绘制训练过程的loss和accuracy曲线时候,抛出如下错误,在网上查找无数大牛博客后无果,自己稍微看了下代码,发现,extract_seconds.py文件的 get_start_time()函数在获取时间时候获取失败,因为if line.find('Solving') != -1:这个语句判断错误导致,具体解决办法: 将该函数改造成: def get_start_time(line_iterable, year):    """Find…

结合之前的博客: http://www.cnblogs.com/Allen-rg/p/5834551.html#3949333 用caffemodel去测试单通道的图像(mnist数据集)时,出现了问题,例如:维度不匹配.单通道图像和三通道图像不能强制转换等问题. 因为链接中的代码适用于对RGB三通道的图像的分类. 只需要将代码中: im=caffe.io.load_image(img)  #加载图片  修改为: im=caffe.io.load_image(img,False) 即可 将图像读…

本系列文章由 @yhl_leo 出品,转载请注明出处. 文章链接: http://blog.csdn.net/yhl_leo/article/details/51774966 当我们设计好网络结构后,在神经网络训练的过程中,迭代输出的log信息中,一般包括,迭代次数,训练损失代价,测试损失代价,测试精度等.本文提供一段示例,简单讲述如何绘制训练曲线(training curve). 首先看一段训练的log输出,网络结构参数的那段忽略,直接跳到训练迭代阶段: I0627 21:30:06.0043…

Caffe 学习笔记1 本文为原创作品,未经本人同意,禁止转载,禁止用于商业用途!本人对博客使用拥有最终解释权 欢迎关注我的博客:http://blog.csdn.net/hit2015spring和http://www.cnblogs.com/xujianqing 这篇博客是caffe官网的一片例程吧,只是熟悉一下操作而已 http://caffe.berkeleyvision.org/gathered/examples/cifar10.html 1.准备数据 cd /home/wangshu…

原文链接 在互联网搜索引擎和医疗成像等诸多领域,深度神经网络 (DNN) 应用的重要性正在不断提升. Pradeep Dubey 在其博文中概述了英特尔® 架构机器学习愿景. 英特尔正在实现 Pradeep Dubey 博文中勾勒的机器学习愿景,并正在着手开发软件解决方案以加速执行机器学习工作负载.这些解决方案将包含在未来版本的英特尔® 数学核心函数库(英特尔® MKL)和英特尔® 数据分析加速库(英特尔® DAAL)中. 本技术预览版展示了配备我们正在开发的软件后,英特尔平台将有望实现的性能.…

一.mnist数据集 mnist是一个手写数字数据库,由Google实验室的Corinna Cortes和纽约大学柯朗研究院的Yann LeCun等人建立,它有60000个训练样本集和10000个测试样本集.mnist数据库官方网址为:http://yann.lecun.com/exdb/mnist/ .可直接下载四个解压文件,分别对应:训练集样本.训练集标签.测试集样本和测试集标签.解压缩之后发现,其是在一个文件中包含了所有图像. 二.caffe支持的数据格式:Lmdb和Leveldb 它们都…

上一篇记录的是学习caffe前的环境准备以及如何创建好自己需要的caffe版本.这一篇记录的是如何使用编译好的caffe做训练mnist数据集,步骤编号延用上一篇 <实践详细篇-Windows下使用VS2015编译安装Caffe环境(CPU ONLY) >的顺序. 二:使用caffe做图像分类识别训练测试mnist数据集 1.下载MNIST数据集,MNIST数据集包含四个文件信息,见表格: 文件 内容 train-images-idx3-ubyte.gz 训练集图片 - 55000 张 训练图…

    学习caffe第一天,用SSD上上手. 我的根目录$caffe_root为/home/gpu/ljy/caffe    一.运行SSD示例代码    1.到https://github.com/weiliu89/caffe.git下载caffe-ssd代码,是一个caffe文件夹    2.参考已经配好的caffe目录下的makefile.config修改￥caffe_root下的makefile.config.    3.在$caffe_root下打开命令行终端,输入以下命令 make…

Caffe源码 Blob protected: shared_ptr<SyncedMemory> data_; shared_ptr<SyncedMemory> diff_; shared_ptr<SyncedMemory> shape_data_; vector<int> shape_; int count_; int capacity_; Blob的构造函数 Blob<Dtype>::Blob(const int num, const int…

你可以从系统 /tmp 文件夹获取,名字是什么 caffe.ubuntu.username.log.INFO.....之类 =============================================================================================================== caffe在训练的时候不仅会保存当前模型的参数(也就是caffemodel)文件,也会把训练到当前状态信息全部保存下来,这个文件就是solverstat…

1.   caffe-master文件夹权限修改 下载的caffe源码编译的caffe-master文件夹貌似没有写入权限,输入以下命令修改: sudo chmod -R 777 ~/caffe-master/ 2.   下载mnist数据库 cd ~/caffe sduo ./data/mnist/get_mnist.sh caffe中的./data/mnist/get_mnist.sh 文件实现了下载mnist数据库的功能,文件的内容如下: 执行之后,在./data/mnist文件夹下生成4…

CIFAR-10是一个用于普适物体识别的数据集.Cifar-10由60000张32*32的RGB彩色图片构成,50000张训练图片,10000张测试图片,分为10类.cifar下载地址: http://www.cs.toronto.edu/~kriz/cifar.html 数据集分为3个版本,分别是Matlab.python和二进制格式的,这里选择二进制格式的下载.包含五个训练文件,一个测试文件: 1. cifar二进制数据库转换成lmdb文件 新建一个binToLmdb.bat的脚本文件,输入…

1. 准备自己的图片数据 选用部分的Caltech数据库作为训练和测试样本.Caltech是加州理工学院的图像数据库,包含Caltech101和Caltech256两个数据集.该数据集是由Fei-FeiLi, Marco Andreetto, Marc 'Aurelio Ranzato在2003年9月收集而成的.Caltech101包含101种类别的物体,每种类别大约40到800个图像,大部分的类别有大约50个图像.Caltech256包含256种类别的物体,大约30607张图像.图像如下图所示…

一.深度学习中常用的调节参数 本节为笔者上课笔记(CDA深度学习实战课程第一期) 1.学习率 步长的选择:你走的距离长短,越短当然不会错过,但是耗时间.步长的选择比较麻烦.步长越小,越容易得到局部最优化(到了比较大的山谷,就出不去了),而大了会全局最优 一般来说,前1000步,很大,0.1:到了后面,迭代次数增高,下降0.01,再多,然后再小一些. 2.权重 梯度消失的情况,就是当数值接近于正向∞,求导之后就更小的,约等于0,偏导为0 梯度爆炸,数值无限大 对于梯度消失现象:激活函数 Sigmo…

1. 下载cifar-10数据库 ciffar-10数据集包含10种物体分类,50000张训练图片,10000张测试图片. 在终端执行指令下载cifar-10数据集(二进制文件): cd ~/caffe-master ./data/cifar10/get_cifar10.sh 在./data/cifar10文件夹下生成5个.bin的训练数据集合1个测试数据集: 2. 生成lmdb以及均值文件 ./examples/cifar10/create_cifar10.sh 执行之后在./examples…

小喵的唠叨话:小喵最近在做人脸识别的工作,打算将汤晓鸥前辈的DeepID,DeepID2等算法进行实验和复现.DeepID的方法最简单,而DeepID2的实现却略微复杂,并且互联网上也没有比较好的资源.因此小喵在试验之后,确定了实验结果的正确性之后,才准备写这篇博客,分享给热爱Deep Learning的小伙伴们. 小喵的博客:http://www.miaoerduo.com 博客原文:http://www.miaoerduo.com/deep-learning/基于caffe的deepid2实…

不精通多线程优化的程序员,不是好程序员,连码农都不是. ——并行计算时代掌握多线程的重要性 线程与操作系统 用户线程与内核线程 广义上线程分为用户线程和内核线程. 前者已经绝迹,它一般只存在于早期不支持多线程的系统中. 它用模拟的方式实现一个模拟的多线程系统,不支持异步. 即,一个线程被阻塞了,其它线程也会被阻塞. 当今的操作系统几乎都默认提供了内核线程API,底层由操作系统实现. 内核线程的好处在于,它们之间支持异步,是"真"多线程. 操作系统的流氓软件 不过,内核线程也给线程的使用…