版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com VGGNet在2014年ImageNet图像分类任务竞赛中有出色的表现.网络结构如下图所示: 同样的,对32*32的CIFAR10图片,网络结构做了微调:删除了最后一层最大池化,具体参见网络定义代码,这里采用VGG19,并加入了BN: ''' 创建VGG块 参数分别为输入通道数,输出通道数,卷积层个数,是否做最大池化 ''' def make_vgg_block(in_channel, out_ch

关于数据集 Cifar-10是由Hinton的两个大弟子Alex Krizhevsky.Ilya Sutskever收集的一个用于普适物体识别的数据集.Cifar是加拿大政府牵头投资的一个先进科学项目研究所. 说白了,就是看你穷的没钱搞研究,就施舍给你.Hinton.Bengio和他的学生在2004年拿到了Cifar投资的少量资金,建立了神经计算和自适应感知项目. 这个项目结集了不少计算机科学家.生物学家.电气工程师.神经科学家.物理学家.心理学家,加速推动了DL的进程.从这个阵容来看,DL已经

目录 VGG-19模型简单介绍 VGG-19模型文件介绍 分析模型文件 mean值查看 Weight和Bias查看 读取代码 读取模型 训练代码 参考资料 VGG-19的介绍和训练这里不做说明,网上资源很多,而且相对比较简单. 本博文主要介绍VGG-19模型调用官方已经训练好的模型,进行测试使用. VGG-19模型简单介绍 VGG-19模型文件介绍 这里是重难点,VGG-19模型存储的方式有点复杂 可以通过作者文档说明去查看 可以通过在线调试查看结构,对比模型得出结论 imagenet-vgg-

1. 下载cifar-10数据库 ciffar-10数据集包含10种物体分类,50000张训练图片,10000张测试图片. 在终端执行指令下载cifar-10数据集(二进制文件): cd ~/caffe-master ./data/cifar10/get_cifar10.sh 在./data/cifar10文件夹下生成5个.bin的训练数据集合1个测试数据集: 2. 生成lmdb以及均值文件 ./examples/cifar10/create_cifar10.sh 执行之后在./examples

采用github上star比较高的一个开源实现https://github.com/yhenon/pytorch-retinanet 在anaconda中新建了一个环境,因为一开始并没有新建环境,在原有的环境里,遇到了pytorch,numpy等版本问题,尤其是一开始用0.1.2版的pytorch,有一个TH路径不对,导致编译错误,这是我最讨厌的错误,遇到编译错误往往一脸懵逼,如果NMS部分不用编译,直接用python实现就好了,当然那样速度可能会慢很多． 先记录下我的各个包的版本 cffi 

将pytorch官网的python代码当下来,然后下载好celeba数据集(百度网盘),在代码旁新建celeba文件夹,将解压后的img_align_celeba文件夹放进去,就可以运行代码了. 输出如下 显存占用如下 与目标检测模型动不动就显存不够比,简直好太多了. 那最后有一个生成的假的图像,下面是一个epoch的结果 还有5个epoch的结果,明显效果更好了 补充下,后来又做了胸片的试验,因为胸片比较大,所以我resize的尺寸也大一些,变成256x256了,结果,崩了,当然,生成的假图像

import numpy as np import cPickle import keras as ks from keras.layers import Dense, Activation, Flatten, convolutional, Convolution2D, MaxPooling2D, Dropout from keras.utils import np_utils import logging def read_data(file): with open(file,'rb') as

第一次用卷积,看的别人的模型跑的CIFAR-10,不过吐槽一下...我觉着我的965m加速之后比我的cpu算起来没快多少..正确率64%的样子,没达到模型里说的75%,不知道问题出在哪里 import numpy as np import os import mxnet as mx import logging import cPickle def unpickle(file): with open(file,'rb') as fo: dict = cPickle.load(fo) return

1.AttributeError: 'module' object has noattribute 'random_crop' 解决方案: 将distorted_image= tf.image.random_crop(reshaped_image, [height, width])改为: distorted_image = tf.random_crop(reshaped_image,[height, width,3]) 2.AttributeError: ‘module’ object has

版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com AlexNet在2012年ImageNet图像分类任务竞赛中获得冠军.网络结构如下图所示: 对CIFAR10,图片是32*32,尺寸远小于227*227,因此对网络结构和参数需做微调: 最后一个max-pool层删除 网络定义代码如下: class AlexNet(nn.Module): def __init__(self): super(AlexNet, self).__init__() self

版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com 前面几篇文章介绍了MINIST,对这种简单图片的识别,LeNet-5可以达到99%的识别率. CIFAR10是另一个著名的深度学习图像分类识别数据集,比MINIST更复杂,而且是RGB彩色图片. 看看较简单的LeNet-5可以达到多少准确率.网络结构基本和前面MINIST代码中的差不多,主要是输入图片的通道数不同,代码如下: # -*- coding:utf-8 -*- u"""

版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com 前面通过数据增强,ResNet-34残差网络识别CIFAR10,准确率达到了92.6. 这里对训练过程增加2个处理: 1.训练数据集做进一步处理:对图片随机加正方形马赛克. 2.每50个epoch,学习率降低0.1倍. 代码具体修改如下: 自定义transform: class Cutout(object): def __init__(self, hole_size): # 正方形马赛克的边长,像素

版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com 在前一篇中的ResNet-34残差网络,经过减小卷积核训练准确率提升到85%. 这里对训练数据集做数据增强: 1.对原始32*32图像四周各填充4个0像素(40*40),然后随机裁剪成32*32. 2.按0.5的概率水平翻转图片. 代码具体修改如下: transform_train = transforms.Compose([ # 对原始32*32图像四周各填充4个0像素(40*40),然后随机裁剪

版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com 在前一篇中的ResNet-34残差网络,经过训练准确率只达到80%. 这里对网络做点小修改,在最开始的卷积层中用更小(3*3)的卷积核,并且不缩小图片尺寸,相应的最后的平均池化的核改为4*4. 具体修改如下: class ResNet34(nn.Module): def __init__(self, block): super(ResNet34, self).__init__() # 初始卷积层核池

版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com CNN的层数越多,能够提取到的特征越丰富,但是简单地增加卷积层数,训练时会导致梯度弥散或梯度爆炸. 何凯明2015年提出了残差神经网络,即Reset,并在ILSVRC-2015的分类比赛中获得冠军. ResNet可以有效的消除卷积层数增加带来的梯度弥散或梯度爆炸问题. ResNet的核心思想是网络输出分为2部分恒等映射(identity mapping).残差映射(residual mapping)

源码地址 https://github.com/stephen-v/tensorflow_vgg_classify 1. VGG介绍 1.1. VGG模型结构 1.2. VGG19架构 2. 用Tensorflow搭建VGG19网络 3. 训练网络 参考文献 1. VGG介绍 1.1. VGG模型结构 VGG网络是牛津大学Visual Geometry Group团队研发搭建,该项目的主要目的是证明增加网络深度能够在一定程度上提高网络的精度.VGG有5种模型,A-E,其中的E模型VGG19是参加

源码地址 https://github.com/stephen-v/tensorflow_vgg_classify 1. VGG介绍 1.1. VGG模型结构 1.2. VGG19架构 2. 用Tensorflow搭建VGG19网络 3. 训练网络 参考文献 1. VGG介绍 1.1. VGG模型结构 VGG网络是牛津大学Visual Geometry Group团队研发搭建,该项目的主要目的是证明增加网络深度能够在一定程度上提高网络的精度.VGG有5种模型,A-E,其中的E模型VGG19是参加

TensorFlow Models GitHub:https://github.com/tensorflow/models Document:https://github.com/jikexueyuanwiki/tensorflow-zh CIFAR-10 数据集 Web:http://www.cs.toronto.edu/~kriz/cifar.html 目标:(建立一个用于识别图像的相对较小的卷积神经网络)对一组32x32RGB的图像进行分类 数据集:60000张32*32*3的彩色图片,其

背景 机器学习工作负载与传统的工作负载相比,一个比较显著的特点是对 GPU 的需求旺盛.在之前的文章中介绍过(https://mp.weixin.qq.com/s/Nasm-cXLtJObjLwLQHALmw 和 https://mp.weixin.qq.com/s/X4VDynLfKdVp-tyciQccyQ),目前 GPU 的显存已经不足以跟上模型参数规模的发展.随着 Transformer 等新的模型结构的出现,这一问题越来越显著.算法工程师们训练模型所需要的资源越来越多,分布式训练也随之

当一块GPU不够用时,我们就需要使用多卡进行并行训练.其中多卡并行可分为数据并行和模型并行.具体区别如下图所示: 由于模型并行比较少用,这里只对数据并行进行记录.对于pytorch,有两种方式可以进行数据并行:数据并行(DataParallel, DP)和分布式数据并行(DistributedDataParallel, DDP). 在多卡训练的实现上,DP与DDP的思路是相似的: 1.每张卡都复制一个有相同参数的模型副本. 2.每次迭代,每张卡分别输入不同批次数据,分别计算梯度. 3.DP与DD