引言

Fast R-CNN设计思路

  1. Fast R-CNN将整张图片和选择性搜索算法提取出来的候选区域作为输入,对整张图片利用卷积+池化的组合提取特征,产生一个feature map(特征层),结合选择性搜索算法提取出来的候选区域位置,从feature map中选择对应位置的特征(红色框)送到RoI pooling层
  2. 因为后面的全连接层需要固定大小的输入,所以作者在RoI pooling层对其采用了特殊的处理。即将\(h \times w\)输入划分成固定的输出大小\(H \times W\),这样\(H \times W\)的每个单元格中包含了\(h/H \times w/W\)个元素,对其中的元素进行maxpool,就得到了固定的输出大小\(H \times W\)。
  3. 将RoI pooling后的输出送入全连接层后在两个子网络分别进行输出和回归。

一、动机

​目标检测领域一个经典的问题,难易样本不均衡。

二、现有方案hard negative mining 及其窘境

hard negative mining实现

  1. 固定模型,去寻找难样本添加到样本集中
  2. 在上一步中选出的样本集中更新模型
  3. 重复以上步骤直到满足条件如模型性能不再上升

窘境

​固定模型寻找难样本对于目标检测计算量太大,一个图片有约\(2k+\)个候选区域,其次因为难样本RoI与对应的图片关联,没有办法单独保存难RoI到样本集中去,要想学习难样本必须对对应图片再来一次候选区域提取和卷积特征提取,并对不需要再学习的简单样本来一次梯度更新,想想都很麻烦还慢。所以Fast R-CNN中没有用。不过Fast R-CNN采用了一个正负样本1:3的设计。

设计思路

​由以上分析可以看出来,这种交替执行寻找难样本的方法在Fast R-CNN中实现是不现实的,如果能在线学习的话,就可以解决掉这个问题。下面是作者的思路

OHEM步骤:

  1. 提取N张图片的特征,提取RoI
  2. 对所有的RoI计算loss, 然后选择其中表现最差(\(loss=l_{cls}+l_{reg}\)最大)的B/N个RoI。
  3. 然后利用选择出来的B/N个RoI更新网络
  4. 重复2-3步骤
    ​对于第二步,作者说因为卷积特征提取层的参数共享,前向传播计算所有loss的计算量很小。
    ​这里有个注意事项是,因为相邻的RoI很可能拥有相邻的loss,对loss进行选择的时候容易重复选择,所以采用了NMS的方法,将IoU大于0.7的loss低的RoI移除了。
    ​另一个问题是,如果只是简单的将其他没有被选择的RoI的loss置为零,但是仍然会对所有RoI分配空间存储参数并进行反向传播计算,这十分不高效。所以,作者设计了一个新的结构来优化上述结构。

    作者设计了一个只进行前向传播的结构(绿色)和一个用来进行反向更新的结构(红色)。红色和绿色的部分网络完全相同且共享权重参数。前向结构用来计算所有RoI的loss,然后从中挑出B/N个loss最大的RoI送到红色的结构中进行反向传播,这样,进行反向传播的就只有B/N个RoI了,从而减少了计算量。作者实验表明,使用这种方法与不使用相比,空间占用差不多,但是快了两倍多。

反向传播

​看不懂Fast R-CNN的反向传播,暂时先空着。

实验结果


​其中N表示一次采样几张图片,LR是学习率,B是batch_size,bg_lo是Fast R-CNN中正负样本划分的值,[bg_lo, 0,5)被认为是负样本。可以看到网络精度提升了2个百分点。

​推理时间慢了一点,但也不是特别多。

OHEM论文笔记的更多相关文章

  1. Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现(转)

    Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 zouxy09@qq.com http://blog.csdn.net/zouxy09          自己平时看了一些论文, ...

  2. 论文笔记之:Visual Tracking with Fully Convolutional Networks

    论文笔记之:Visual Tracking with Fully Convolutional Networks ICCV 2015  CUHK 本文利用 FCN 来做跟踪问题,但开篇就提到并非将其看做 ...

  3. Deep Learning论文笔记之(八)Deep Learning最新综述

    Deep Learning论文笔记之(八)Deep Learning最新综述 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完 ...

  4. Twitter 新一代流处理利器——Heron 论文笔记之Heron架构

    Twitter 新一代流处理利器--Heron 论文笔记之Heron架构 标签(空格分隔): Streaming-process realtime-process Heron Architecture ...

  5. Deep Learning论文笔记之(六)Multi-Stage多级架构分析

    Deep Learning论文笔记之(六)Multi-Stage多级架构分析 zouxy09@qq.com http://blog.csdn.net/zouxy09          自己平时看了一些 ...

  6. Multimodal —— 看图说话(Image Caption)任务的论文笔记(一)评价指标和NIC模型

    看图说话(Image Caption)任务是结合CV和NLP两个领域的一种比较综合的任务,Image Caption模型的输入是一幅图像,输出是对该幅图像进行描述的一段文字.这项任务要求模型可以识别图 ...

  7. 论文笔记(1):Deep Learning.

    论文笔记1:Deep Learning         2015年,深度学习三位大牛(Yann LeCun,Yoshua Bengio & Geoffrey Hinton),合作在Nature ...

  8. 论文笔记(2):A fast learning algorithm for deep belief nets.

    论文笔记(2):A fast learning algorithm for deep belief nets. 这几天继续学习一篇论文,Hinton的A Fast Learning Algorithm ...

  9. 论文笔记:Towards Diverse and Natural Image Descriptions via a Conditional GAN

    论文笔记:Towards Diverse and Natural Image Descriptions via a Conditional GAN ICCV 2017 Paper: http://op ...

随机推荐

  1. HDU 3839 Ancient Messages(DFS)

    In order to understand early civilizations, archaeologists often study texts written in ancient lang ...

  2. Linux下的expect

    expect简介 expect是一款自动化的脚本解释型的工具. expect基于tcl脚本,expect脚本的运行需要tcl的支持. expect对一些需要交互输入的命令很有帮助,比如ssh ftp ...

  3. yum管理及源码安装

    一.配置YUM库及更新操作 yum概述 基于RPM包构建的软件更新机制,自动解决软件依赖关系 YUM仓库格式 本地:file:// 网络:ftp://或http:// yum源里面包含的内容 .rpm ...

  4. 深入理解JVM-类加载及类加载器

    深入理解JVM 2020年02月06日22:43:09 - 记录学习过程 终于开始了.在学习这个之前,看了zhanglong老师的 java 8 和springboot 迫不及待了.先开始吧. 写在前 ...

  5. pdo数据操作,3-4,0724

    require 'connect.php'; $linshi = $dbh->prepare('UPDATE `category` SET `name` = :name, `alias`=:al ...

  6. 《Python学习手册 第五版》 -第13章 while循环和for循环

    上一章已经讲过if条件语句,这章重点是循环语句:while.for 本章的重点内容 1.while循环 1)一般形式 2)break.continue.pass和循环的else 2.for循环 1)一 ...

  7. Go语言实现:【剑指offer】按之字形打印二叉树

    该题目来源于牛客网<剑指offer>专题. 请实现一个函数按照之字形打印二叉树,即第一行按照从左到右的顺序打印,第二层按照从右至左的顺序打印,第三行按照从左到右的顺序打印,其他行以此类推. ...

  8. 大话IDL之(基本操作流程)

    这里将对ENVI-IDL二次开发程序的一个通用流程做一个总结. 1.首先是文件打开和数据读取: 文件打开work_dir = dialog_pickfile(title='选择路径',/directo ...

  9. Burpsuite Pro 2020.1最新破解版

    简介 Burp Suite 是用于攻击web 应用程序的集成平台,包含了许多工具.Burp Suite为这些工具设计了许多接口,以加快攻击应用程序的过程.所有工具都共享一个请求,并能处理对应的HTTP ...

  10. DNS 查询 - Domain Name Server

    DNS 查询 - Domain Name Server socket.getaddrinfo("www.baidu.com",None) 返回时一个 tuple list - (f ...