论文原文 https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Zhang_Single-Image_Crowd_Counting_CVPR_2016_paper.pdf

人群计数领域目前的研究进展

复现过程:

首先当然是准备数据集,我没有用论文作者的shanghaitech数据集,准备了malldataset数据集,反正都是大同小异啦。这篇文章的label有一点区别的就是它不是像很多分类的问题一样是0 1 啥的,而是整张图像,这还是我第一次遇到这样的问题,还是蛮新鲜的。

malldataset数据集下载

然后参见人群密度估计之MCNN密度图的生成,在MATLAB上写了程序:

clear;
load('perspective_roi.mat');
load('mall_gt.mat'); m=480;n=640;
m=m/4;
n=n/4;
mask = imresize(roi.mask,0.25); %图像缩小4倍
for i=1:2000 %2000幅图像
gt = frame{i}.loc; %第一个frame结构体的loc字段
gt = gt/4;
d_map = zeros(m,n);
for j=1:size(gt,1)
ksize = ceil(25/sqrt(pMapN(floor(gt(j,2)),1)));
ksize = max(ksize,7);
ksize = min(ksize,25);
radius = ceil(ksize/2);
sigma = ksize/2.5;
h = fspecial('gaussian',ksize,sigma);
x_ = max(1,floor(gt(j,1)));
y_ = max(1,floor(gt(j,2))); if (x_-radius+1<1)
for ra = 0:radius-x_-1
h(:,end-ra) = h(:,end-ra)+h(:,1);
h(:,1)=[];
end
end
if (y_-radius+1<1)
for ra = 0:radius-y_-1
h(end-ra,:) = h(end-ra,:)+h(1,:);
h(1,:)=[];
end
end
if (y_-radius+1<1)
for ra = 0:radius-y_-1
h(end-ra,:) = h(end-ra,:)+h(1,:);
h(1,:)=[];
end
end
if (x_+ksize-radius>n)
for ra = 0:x_+ksize-radius-n-1
h (:,1+ra) = h(:,1+ra)+h(:,end);
h(:,end) = [];
end
end
if(y_+ksize-radius>m)
for ra = 0:y_+ksize-radius-m-1
h (1+ra,:) = h(1+ra,:)+h(end,:);
h(end,:) = [];
end
end
d_map(max(y_-radius+1,1):min(y_+ksize-radius,m),max(x_-radius+1,1):min(x_+ksize-radius,n))...
= d_map(max(y_-radius+1,1):min(y_+ksize-radius,m),max(x_-radius+1,1):min(x_+ksize-radius,n))...
+ h;
end
map0_255 = Normalize(d_map)
% %方法1,保存为图片,再转为LMDB
% %把数组A中的数转换成字符串表示形式
str=num2str(i,'./density/seq_%06d.jpg');
%imwrite(d_map,str);
imshow( map0_255);
%方法2,直接转为HDF5
% trainLabels=permute(d_map,[2 1]);
% str=num2str(i,'./density_map/seq_%06d.h5');
% h5create(str,'/label',size(trainLabels),'Datatype','double');
% h5write(str,'/label',trainLabels); end 最后得到的图像规到0-255后输出为:

 

 
而d_map中的数据大致是,d_map是0-1之间的数值 

对d_map中的数值分析可以得知,就算归到0-255,数值依然很小,所以,成黑白状态。

说明:在pMapN中存的是透视变化的加权值,Roi表示在图像中定义的ROI区域,mask掩码可以实现只对ROI区域操作。

我用的深度学习框架是caffe。提取label是整个实验完成的第一关,前面说了,这个实验比较特殊,label是整张图像。一开始考虑用hdf5传输数据,然而事实证明速度太慢,所以就考虑用两个lmdb,一个装数据,另一个装label,只需要模仿着tools/convert_imageset.cpp 写一个data和label分开存放到两个LMDB里的代码,训练的时候用两个data layer读两个LMDB。

这里为了加速模型的收敛,我进行了减均值和归一化操作。由于数据集只有2000,并不像imagenet那样的大数据,为了提高泛化能力,适应不同的数据集,我这里的均值没有取2000个图片的均值,而是直接设置为127.5,归一化则除以128。

最终的测试程序如下:

  1. clear;clc;
  2. addpath('/home/caffe/matlab');
  3. caffe.reset_all();
  4. caffe.set_device(0);
  5. caffe.set_mode_gpu();
  6. model = 'deploy.prototxt';
  7. weights = 'network.caffemodel';
  8. net = caffe.Net(model, weights, 'test');
  9. cropImg=imread('IMG_12.jpg');  //cropImg是图像裁剪
  10. cropImg = cropImg(:, :, [3, 2, 1]);
  11. cropImg = permute(cropImg, [2, 1, 3]);  //permute(多维数组,[维数的组合])
  12. cropImg = single(cropImg);
  13. cropImg=imresize(cropImg,[480 640]);
  14. cropImg=(cropImg-127.5)/128;
  15. res = net.forward({cropImg});
  16. figure,imshow(cropImg,[]);
  17. figure,imagesc(res{1,1});
  18. count = sum(sum(res{1,1}))
  19. caffe.reset_all();

贴几个效果图:

 

MCNN多层神经网络论文笔记的更多相关文章

  1. 基于3D卷积神经网络的人体行为理解(论文笔记)(转)

    基于3D卷积神经网络的人体行为理解(论文笔记) zouxy09@qq.com http://blog.csdn.net/zouxy09 最近看Deep Learning的论文,看到这篇论文:3D Co ...

  2. Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现(转)

    Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 zouxy09@qq.com http://blog.csdn.net/zouxy09          自己平时看了一些论文, ...

  3. ufldl学习笔记与编程作业:Multi-Layer Neural Network(多层神经网络+识别手写体编程)

    ufldl学习笔记与编程作业:Multi-Layer Neural Network(多层神经网络+识别手写体编程) ufldl出了新教程,感觉比之前的好,从基础讲起,系统清晰,又有编程实践. 在dee ...

  4. 【论文笔记】Progressive Neural Networks 渐进式神经网络

    Progressive NN Progressive NN是第一篇我看到的deepmind做这个问题的.思路就是说我不能忘记第一个任务的网络,同时又能使用第一个任务的网络来做第二个任务. 为了不忘记之 ...

  5. 论文笔记(1):Deep Learning.

    论文笔记1:Deep Learning         2015年,深度学习三位大牛(Yann LeCun,Yoshua Bengio & Geoffrey Hinton),合作在Nature ...

  6. 论文笔记(2):A fast learning algorithm for deep belief nets.

    论文笔记(2):A fast learning algorithm for deep belief nets. 这几天继续学习一篇论文,Hinton的A Fast Learning Algorithm ...

  7. 论文笔记:Mastering the game of Go with deep neural networks and tree search

    Mastering the game of Go with deep neural networks and tree search Nature 2015  这是本人论文笔记系列第二篇 Nature ...

  8. 论文笔记之:Visual Tracking with Fully Convolutional Networks

    论文笔记之:Visual Tracking with Fully Convolutional Networks ICCV 2015  CUHK 本文利用 FCN 来做跟踪问题,但开篇就提到并非将其看做 ...

  9. Deep Learning论文笔记之(八)Deep Learning最新综述

    Deep Learning论文笔记之(八)Deep Learning最新综述 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完 ...

随机推荐

  1. Solr复杂条件查询

    solr复杂查询条件查询(排序.过滤.高亮) 简单案例: package cn.kingdee; import java.util.List; import java.util.Map; import ...

  2. flutter控件之ExpansionPanelList

    import 'package:flutter/material.dart'; class LearnExpansionPanelList extends StatefulWidget{ @overr ...

  3. Gpload安装手册(Linux版本)

    Gpload安装手册(Linux版本) 一.python 2.7版本 Linux系统默认是安装python2.7的,如果没有需要手动安装(python版本要求2.4.4以上): 通过命令:python ...

  4. UI自动化(十)selenium定位

    浏览器操作   1 2 3 4 5 6 7 8 # 刷新 driver.refresh()   # 前进 driver.forward()   # 后退 driver.back() 获取标签元素   ...

  5. 剑指offer(40)数组中只出现一次的数字

    题目描述 一个整型数组里除了两个数字之外,其他的数字都出现了两次.请写程序找出这两个只出现一次的数字. 题目分析 第一种方法:使用js中的indexOf()和lastIndexOf(),只要两个相等, ...

  6. Win10在右键菜单添加在此处打开命令窗口项

    转载:https://jingyan.baidu.com/article/2d5afd6930107a85a2e28e2d.html 第一步:新建一个文本文档,输入如下代码,然后另存为OpenCmdH ...

  7. 对负载均衡的理解及nginx负载均衡的配置

    https://blog.csdn.net/qq_28602957/article/details/61615876

  8. UVA1428 Ping pong

    思路 分别统计这个位置左边和右边各有多少大于和小于它的数,乘起来即可 使用权值树状数组 代码 #include <cstdio> #include <algorithm> #i ...

  9. CF438E The Child and Binary Tree

    思路 设F(x)的第x项系数为权值和为x的答案 题目中要求权值必须在集合中出现,这个不好处理,考虑再设一个C,C的第x项如果是1代表x出现在值域里,如果是0,代表x没有出现在值域里,然后由于二叉树可以 ...

  10. Convolutional Pose Machines

    Convolutional Pose Machines 2018-12-10 18:17:20 Paper:https://www.cv-foundation.org/openaccess/conte ...