首先得到了https://blog.csdn.net/gybheroin/article/details/72581318系列博客的帮助.表示感激. 关于安装caffe已在之前的博客介绍,自用可行,https://www.cnblogs.com/MY0213/p/9225310.html 1.数据源 首先使用的数据集为人脸数据集,可在百度云自行下载: 链接:https://pan.baidu.com/s/156DiOuB46wKrM0cEaAgfMw 密码:1ap0 将train.zip解压可得…

训练我们自己的数据 本篇继续之前的教程,下面我们尝试使用别人定义好的网络,来训练我们自己的网络. 1.准备数据 首先很重要的一点,我们需要准备若干种不同类型的图片进行分类.这里我选择从ImageNet上下载了3个分类的图片(Cat,Dog,Fish). 图片需要分两批:训练集(train).测试集(test),一般训练集与测试集的比例大概是5:1以上,此外每个分类的图片也不能太少,我这里每个分类大概选了5000张训练图+1000张测试图. 找好图片以后,需要准备以下文件: words.txt:分…

转自:http://blog.csdn.net/u013078356/article/details/51154847 在caffe的训练过程中,大家难免想图形化自己的训练数据,以便更好的展示结果.如 果自己写代码记录训练过程的数据,那就太麻烦了,caffe中其实已经自带了这样的小工具 caffe-master/tools/extra/parse_log.sh  caffe-master/tools/extra/extract_seconds.py和 caffe-master/tools/ext…

由于安装新版本的TensorFlow需要cudnn6.0因此用6.0将原来的 5.0替换了,后来又用之前编译好的caffe进行训练,发现caffe会去找5.0的cudnn,然后就报错了,不能正常训练. 开始的时候试着建立一个软连接,没有成功,后来将caffe重新make了一下,又运行发现还是不能跑,然后又运行了一下make install就可以正常运行了.…

三:使用Caffe训练Caffemodel并进行图像分类 上一篇记录的是如何使用别人训练好的MNIST数据做训练测试.上手操作一边后大致了解了配置文件属性.这一篇记录如何使用自己准备的图片素材做图像分类.第一篇<实践详细篇-Windows下使用VS2015编译安装Caffe环境(CPU ONLY) >有讲过使用Caffe的背景.所以这篇记录使用的素材就是12306的验证码来进行图像识别分类. 1.准备素材 由于这里抓取到的验证码是整合后的大图.就是8张小图片合成的.由于12306的验证码大图并…

申明:此教程加工于caffe 如何训练自己的数据图片 一.准备数据 有条件的同学,可以去imagenet的官网http://www.image-net.org/download-images,下载imagenet图片来训练.但是我没有下载,一个原因是注册账号的时候,验证码始终出不来(听说是google网站的验证码,而我是上不了google的).第二个原因是数据太大了... 我去网上找了一些其它的图片来代替,共有500张图片,分为大巴车.恐龙.大象.鲜花和马五个类,每个类100张.需要的同学,可到…

Windows平台上Caffe的训练与学习方法(以数据库CIFAR-10为例) 在完成winodws平台上的caffe环境的搭建之后,亟待掌握的就是如何在caffe中进行训练与学习,下面将进行简单的介绍. 1.数据库CIFAR-10的下载与介绍 CIFAR-10数据库的下载地址:http://www.cs.toronto.edu/~kriz/cifar.html CIFAR-10数据库: 60000张32*32大小的彩色图像共计10类(airplane.automobile. bird.cat…

1. 准备自己的图片数据 选用部分的Caltech数据库作为训练和测试样本.Caltech是加州理工学院的图像数据库,包含Caltech101和Caltech256两个数据集.该数据集是由Fei-FeiLi, Marco Andreetto, Marc 'Aurelio Ranzato在2003年9月收集而成的.Caltech101包含101种类别的物体,每种类别大约40到800个图像,大部分的类别有大约50个图像.Caltech256包含256种类别的物体,大约30607张图像.图像如下图所示…

1 收集自己的数据 1-1 我的训练集与测试集的来源:表情包 由于网上一幅一幅图片下载非常麻烦,所以我干脆下载了两个eif表情包.同一个表情包里的图像都有很强的相似性,因此可以当成一类图像来使用.下载个eif解压包可以把eif文件解压成gif和jpg格式的文件,然后删除gif文件,只留下jpg格式的文件,这些图就是我的训练集与测试集了. 1-2 使用rename批量重命名图像 (1)对于一个存放了图像src.jpg的文件夹ROOT,在ROOT中新建一个test.txt文件,在里面写下“renam…

由于我涉及一个车牌识别系统的项目,计划使用深度学习库caffe对车牌字符进行识别.刚开始接触caffe,打算先将示例中的每个网络模型都拿出来用用,当然这样暴力的使用是不会有好结果的- -||| ,所以这里只是记录一下示例的网络模型使用的步骤,最终测试的准确率就暂且不论了! 一.图片数据库 来源 我使用的图像是在项目的字符分割模块中分割出来的字符图像,灰度化并归一化至32*64,字符图片样本示例如下: 建立自己的数据文件夹 在./caffe/data/目录下建立自己的数据文件夹mine,并且在mi…

1.报错:“db_lmdb.hpp:14] Check failed:mdb_status ==0(112 vs.0)磁盘空间不足.” 这问题是由于lmdb在windows下无法使用lmdb的库,所以要改成leveldb. 但是要注意:由于backend默认的是lmdb,所以你每一次用到生成的图片leveldb数据的时候,都要把“--backend=leveldb”带上.如转换图片格式时: 又如计算图像的均值时: 还有在.prototxt中 data_param { source: "./mys…

神经网络中,我们通过最小化神经网络来训练网络,所以在训练时最后一层是损失函数层(LOSS), 在测试时我们通过准确率来评价该网络的优劣,因此最后一层是准确率层(ACCURACY). 但是当我们真正要使用训练好的数据时,我们需要的是网络给我们输入结果,对于分类问题,我们需要获得分类结果,如下右图最后一层我们得到 的是概率,我们不需要训练及测试阶段的LOSS,ACCURACY层了. 下图是能过$CAFFE_ROOT/python/draw_net.py绘制$CAFFE_ROOT/models/caf…

1. 训练model #!/usr/bin/env sh ./build/tools/caffe train --solver=examples/focal_length/focal_solver.prototxt 2. 测试数据 import caffe from caffe.proto import caffe_pb2 import numpy as np import cv2 run_mode = 'gpu' deploy_file = 'focal_deploy.prototxt' we…

参考博客:blog.csdn.net/drrlalala/article/details/47274549 1,首先在网上下载图片,猫和狗.直接保存下载该网页,会生成一个有图片的文件夹.caffe-master/data  新建 myselfmyself/  新建  train   dog                                cat                       test   dog                                cat之后…

转存:LMDB E:\机器学习2\caffe资料\caffe_root\caffe-master\Build\x64\Release>convert_imageset.exe E:/机器学习2/caffe资料/caffe_root/caffe-master/examples/myfile/train E:/机器学习2/caffe资料/caffe_root/caffe-master/examples/myfile/train.txt E:/机器学习2/caffe资料/caffe_root/caff…

1.使用预训练模型,需要修改训练的prototxt,将layer name改为与要使用模型的layer name相同即可. Borrowing Weights from a Pretrained Network To borrow the weights of an already trained model, we need to do two things: Rename our layer to match the name of the original model's layer. T…

学习caffe的目的,不是简单的做几个练习,最终还是要用到自己的实际项目或科研中.因此,本文介绍一下,从自己的原始图片到lmdb数据,再到训练和测试模型的整个流程. 一.准备数据 有条件的同学,可以去imagenet的官网http://www.image-net.org/download-images,下载imagenet图片来训练.但是我没有下载,一个原因是注册账号的时候,验证码始终出不来(听说是google网站的验证码,而我是上不了google的).第二个原因是数据太大了... 我去网上找了…

最近想熟悉一下深度学习,体验了一下Caffe,简单写写训练和分类的过程: 1.下载Caffe VS2013工程:https://github.com/Microsoft/caffe 2. 解压并用VS2013打开解决方案caffe-master\windows\Caffe.sln,默认配置是x64 Debug 2.  重命名caffe-master\windows\CommonSettings.props.example为caffe-master\windows\CommonSettings.p…

报错的两种报错原因: 1.输入数的路径错误,需要将路径进行修改排查目录是否出错 2.训练原数据格式不对 3.train.prototxt文件中并未设置test层,而在solver层则设置了test的迭代等参数 两种解决方法 1.对错误原因1,则改为正确路径 2.对错误原因2,修改create_data.sh文件将数据改为相应格式(或者修改train.prototxt文件,将参数改为数据源格式) 3.对错误原因3,在train.prototxt文件增加test层,或者将solver.prototx…

我用的是faster-rcnn,在绘制训练过程的loss和accuracy曲线时候,抛出如下错误,在网上查找无数大牛博客后无果,自己稍微看了下代码,发现,extract_seconds.py文件的 get_start_time()函数在获取时间时候获取失败,因为if line.find('Solving') != -1:这个语句判断错误导致,具体解决办法: 将该函数改造成: def get_start_time(line_iterable, year):    """Find…

本系列文章由 @yhl_leo 出品,转载请注明出处. 文章链接: http://blog.csdn.net/yhl_leo/article/details/51774966 当我们设计好网络结构后,在神经网络训练的过程中,迭代输出的log信息中,一般包括,迭代次数,训练损失代价,测试损失代价,测试精度等.本文提供一段示例,简单讲述如何绘制训练曲线(training curve). 首先看一段训练的log输出,网络结构参数的那段忽略,直接跳到训练迭代阶段: I0627 21:30:06.0043…

结合之前的博客: http://www.cnblogs.com/Allen-rg/p/5834551.html#3949333 用caffemodel去测试单通道的图像(mnist数据集)时,出现了问题,例如:维度不匹配.单通道图像和三通道图像不能强制转换等问题. 因为链接中的代码适用于对RGB三通道的图像的分类. 只需要将代码中: im=caffe.io.load_image(img)  #加载图片  修改为: im=caffe.io.load_image(img,False) 即可 将图像读…

一.预处理数据部分 1.创建 tfrecord(修改 deeplab\ dateasets\ build_data.py) 模型本身是把一张张 jpg 和 png 格式图片读到一个 Example 里,写入 tfrecord.但我是一个大的 tif 文件,需要把几万像素的图片分割成小块写入到一个 tfrecord 文件里,而 tf 没有对 tif 格式的图片的解码,因此不能直接使用原来的 build_data.py. 先用 osgeo 里的 gdal 读取 tif 文件,得到大 tif 的 np…

最近在Windows10上安装了caffe和tensorflow,折腾了好久.在此记录一下. 安装caffe的过程已在另一篇博客中进行了记录,在此不再赘述.而tensorflow也是非常简单的,也不再详细说明. 安装caffe和tensorflow比较重要的一点是,要确保把依赖正确安装好.GPU版本的caffe需要7+版本的CUDA和5.5/5.0的CUDNN.而GPU版本的tensorflow在1.5.0以上的版本则需要CUDA9和CUDNN7.两个框架对CUDA和CUDNN的不同要求造成了小…

caffe环境的搭建一直是让我最头疼的,最近在Windows10上成功搭建了caffe,在此对搭建过程进行记录. 安装主要是按照caffe github上的安装说明进行的,caffe的github主页中readme中有window caffe,是针对windows的安装说明. 因为caffe框架有很多依赖环境,所以要首先按照说明安装好依赖环境,cuda的安装和cudnn的配置就不再一一说明了,版本号要与说明的保持一致.还有cmake和python,可以通过在命令窗口输入python和cmake…

1.Ubuntu https://www.cnblogs.com/EasonJim/p/7112413.html https://blog.csdn.net/jesse_mx/article/details/61425361 安装后启动不了,直接进入windows.解决方案: https://www.cnblogs.com/lymboy/p/7783756.html https://jingyan.baidu.com/article/5553fa82cd48a765a23934ae.html 2…

不多说,直接上干货! 具体,见 Spark Mllib机器学习(算法.源码及实战详解)的第2章 Spark数据操作…

资源限制 时间限制:1.0s   内存限制:256.0MB 问题描述 Chakra是一位年轻有为的企业家,最近他在进军餐饮行业.他在各地开拓市场,共买下了N个饭店.在初期的市场调研中,他将一天划分为M个时间段,并且知道第i个饭店在第j个时间段内,会有Aij位服务员当值和Bij位客户光临.他还分析了不同饭店不同时间段客户的需求,得到第i个饭店在第j个时间段内,平均每位客户消费Cij元.为了创设品牌形象,Chakra决定每个饭店每天只选择一个时间段营业,每个服务员至多接待一位顾客(若顾客数多于服务员…

要运行caffe,需要先创建一个模型(model),如比较常用的Lenet,Alex等,而一个模型由多个层(layer)构成,每一层又由许多参数组成.所有的参数都定义在caffe.proto这个文件中.要熟练使用caffe,最重要的就是学会配置文件(prototxt)的编写. 层有很多种类型,比如Data,Convolution,Pooling等,层之间的数据流动是以Blobs的方式进行.今天我们就先介绍一下数据层. 数据层是每个模型的最底层,是模型的入口,不仅提供数据的输入,也提供数据从Blo…

要运行caffe,需要先创建一个模型(model),如比较常用的Lenet,Alex等, 而一个模型由多个屋(layer)构成,每一屋又由许多参数组成.所有的参数都定义在caffe.proto这个文件中.要熟练使用caffe,最重要的就是学会配置文件(prototxt)的编写. 层有很多种类型,比如Data,Convolution,Pooling等,层之间的数据流动是以Blobs的方式进行. 今天我们就先介绍一下数据层. 数据层是每个模型的最底层,是模型的入口,不仅提供数据的输入,也提供数据从B…