Mask R-CNN用于目标检测和分割代码实现

Mask R-CNN for object detection and instance segmentation on Keras and TensorFlow

代码链接:https://github.com/matterport/Mask_RCNN

这是基于Python 3,Keras和TensorFlow 的Mask R-CNN的实现。该模型为图像中对象的每个实例生成边界框和分割masks。基于功能金字塔网络Feature Pyramid Network(FPN)和ResNet101主干网。

该存储库包括:

  • 基于FPN和ResNet101构建的Mask R-CNN的源代码。
  • MS COCO的训练代码
  • MS COCO的预训练权重
  • Jupyter说明文件电脑可在每个步骤可视化检测管线
  • 用于多GPU训练的Parallel Model类
  • 评估MS COCO指标(AP)
  • 自主数据集训练示例

该代码已记录并设计为易于扩展。如果在研究中使用,请考虑引用该存储库(下面的bibtex)。如果从事3D视觉工作,可能会发现最近发布的Matterport3D数据集也很有用。该数据集是由客户捕获的3D重构空间创建的,这些客户同意将其公开提供给学术用途。可以在此处看到更多示例。

开始启动

  • demo.ipynb是最简单的启动方法。显示了一个示例,该示例使用在MS COCO上进行预训练的模型来分割自己的图像中的对象。包括在任意图像上运行对象检测和实例分割的代码。
  • train_shapes.ipynb显示了如何在自己的数据集上训练Mask R-CNN。本说明文件介绍了玩具数据集(形状),以演示对新数据集的训练。
  • model.pyutils.pyconfig.py):这些文件包含主要Mask RCNN实现。
  • inspect_data.ipynb。该说明文件可视化了准备训练数据的不同预处理步骤。
  • inspect_model.ipynb本说明文件深入介绍了检测和分割对象所执行的步骤。提供了管道中每个步骤的可视化。
  • inspect_weights.ipynb 此说明文件检查经过训练的模型的权重,并查找异常和奇数模式。

逐步检测

为了帮助调试和理解模型,共有3个说明文件(inspect_data.ipynbinspect_model.ipynb, inspect_weights.ipynb)提供了很多可视化效果,并允许逐步运行模型以检查每个点的输出。这里有一些例子:

1.锚点排序和过滤

可视化第一阶段区域提议网络的每个步骤,并显示正锚和负锚以及锚框的细化。

2.边界框优化

这是最终检测框(虚线)的示例,在第二阶段对其进行了改进(实线)。

3.遮罩生成

生成的masks示例。然后将缩放并放置在正确位置的图像上。

4,分层激活

通常,检查不同层的激活以查找故障迹象(全零或随机噪声)通常很有用。

5.重量直方图

另一个有用的调试工具是检查重量直方图。这些都包含在inspect_weights.ipynb说明文件中。

6.登录到TensorBoard

TensorBoard是另一个出色的调试和可视化工具。该模型配置为记录损失并在每个时期结束时节省权重。

7.将不同的部分组合成最终结果

MS COCO训练

正在为MS COCO提供预训练的权重,以使其易于启动。可以将这些权重用作在网络上训练自己的变体的起点。训练和评估代码在中samples/coco/coco.py。可以在Jupyter说明文件中导入此模块(有关示例,请参阅提供的说明文件),也可以直接从命令行运行,如下所示:

# Train a new model starting from pre-trained COCO weights

python3 samples/coco/coco.py train --dataset=/path/to/coco/ --model=coco

# Train a new model starting from ImageNet weights

python3 samples/coco/coco.py train --dataset=/path/to/coco/ --model=imagenet

# Continue training a model that you had trained earlier

python3 samples/coco/coco.py train --dataset=/path/to/coco/ --model=/path/to/weights.h5

# Continue training the last model you trained. This will find

# the last trained weights in the model directory.

python3 samples/coco/coco.py train --dataset=/path/to/coco/ --model=last

还可以使用以下命令运行COCO评估代码:

# Run COCO evaluation on the last trained model

python3 samples/coco/coco.py evaluate --dataset=/path/to/coco/ --model=last

训练时间表,学习率和其参数应在中设置samples/coco/coco.py。

训练自己的数据集

首先阅读有关气球颜色飞溅示例的博客文章。涵盖了从注释图像到训练再到在示例应用程序中使用结果的过程。

总之,要在自己的数据集上训练模型,需要扩展两个类:

Config 此类包含默认配置。对其进行子类化,然后修改需要更改的属性。

Dataset 此类提供了使用任何数据集的一致方式。允许使用新的数据集进行训练,而无需更改模型的代码。还支持同时加载多个数据集,如果要检测的对象在一个数据集中并非全部可用,这将很有用。

见例子samples/shapes/train_shapes.ipynb,samples/coco/coco.py,samples/balloon/balloon.py,和samples/nucleus/nucleus.py。

与官方文件的差异

此实现大部分遵循Mask RCNN论文,但是在少数情况下,偏向于代码简单和通用化。这些是知道的一些差异。如果遇到其差异,请告诉。

  • 图像调整大小:为了支持每批训练多幅图像,将所有图像调整为相同大小。例如,在MS COCO上为1024x1024px。保留宽高比,因此,如果图像不是正方形,则将其填充为零。在本文中,进行了调整大小,以使最小的一面为800像素,最大的一面为1000像素。
  • 边界框:某些数据集提供边界框,而某些数据集仅提供masks。为了支持对多个数据集的训练,选择忽略数据集随附的边界框,而是动态生成。选择封装masks所有像素的最小框作为边界框。这简化了实现,并且还使图像增强很容易应用,否则图像增强将很难应用于边界框,例如图像旋转。

为了验证这种方法,将计算出的边界框与COCO数据集提供的边界框进行了比较。发现〜2%的边界框相差1px或更多,〜0.05%的边界相差5px或更多,只有0.01%的相差10px或更多。

  • 学习率:本文使用的学习率是0.02,但发现该值太高,通常会导致权重爆炸,尤其是在使用小批量时。这可能与Caffe和TensorFlow计算梯度之间的差异(批次与GPU之间的总和与均值)之间的差异有关。或者,也许官方模型使用渐变修剪来避免此问题。确实使用了梯度裁剪,但不要设置得太过激。发现,较小的学习率无论如何都会收敛得更快,因此继续这样做。

引文

使用以下bibtex引用此存储库:

@misc{matterport_maskrcnn_2017,

title={Mask R-CNN for object detection and instance segmentation on Keras and TensorFlow},

author={Waleed Abdulla},

year={2017},

publisher={Github},

journal={GitHub repository},

howpublished={\url{https://github.com/matterport/Mask_RCNN}},

}

贡献

欢迎对该存储库做出贡献。可以做出贡献的示例:

  • 速度改进。就像在TensorFlow或Cython中重写一些Python代码一样。
  • 训练其数据集。
  • 精度提高。
  • 可视化和示例。

也可以加入团队,并帮助建立更多像这样的项目。

要求

列出了Python 3.4,TensorFlow 1.3,Keras 2.0.8和其常见软件包requirements.txt。

MS COCO要求:

要对MS COCO进行训练或测试,还需要:

如果使用Docker,则代码已通过验证可在此Docker容器上工作 。

安装

  1. copy此存储库
  2. 安装依赖

pip3 install -r requirements.txt

  1. 从存储库根目录运行安装程序

python3 setup.py安装

  1. 发布页面下载预训练的COCO权重(mask_rcnn_coco.h5)。
  2. (可选)pycocotools从这些存储库之一中进行MS COCO安装的训练或测试。是原始pycocotools的分支,具有针对Python3和Windows的修复(官方仓库似乎不再处于活动状态)。

Mask R-CNN用于目标检测和分割代码实现的更多相关文章

  1. 带你读AI论文丨用于目标检测的高斯检测框与ProbIoU

    摘要:本文解读了<Gaussian Bounding Boxes and Probabilistic Intersection-over-Union for Object Detection&g ...

  2. 【神经网络与深度学习】【计算机视觉】RCNN- 将CNN引入目标检测的开山之作

    转自:https://zhuanlan.zhihu.com/p/23006190?refer=xiaoleimlnote 前面一直在写传统机器学习.从本篇开始写一写 深度学习的内容. 可能需要一定的神 ...

  3. 使用Faster R-CNN做目标检测 - 学习luminoth代码

    像玩乐高一样拆解Faster R-CNN:详解目标检测的实现过程 https://mp.weixin.qq.com/s/M_i38L2brq69BYzmaPeJ9w 直接参考开源目标检测代码lumin ...

  4. Histograms of Sparse Codes for Object Detection用于目标检测的稀疏码直方图

    AbstractObject detection has seen huge progress in recent years, much thanks to the heavily-engineer ...

  5. OpenVINO 目标检测底层C++代码改写实现(待优化)

    System: Centos7.4 I:OpenVINO 的安装 refer:https://docs.openvinotoolkit.org/latest/_docs_install_guides_ ...

  6. tensorflow C++接口调用目标检测pb模型代码

    #include <iostream> #include "tensorflow/cc/ops/const_op.h" #include "tensorflo ...

  7. 关于目标检测 Object detection

    NO1.目标检测 (分类+定位) 目标检测(Object Detection)是图像分类的延伸,除了分类任务,还要给定多个检测目标的坐标位置.      NO2.目标检测的发展 R-CNN是最早基于C ...

  8. CVPR2020:三维实例分割与目标检测

    CVPR2020:三维实例分割与目标检测 Joint 3D Instance Segmentation and Object Detection for Autonomous Driving 论文地址 ...

  9. 目标检测网络之 Mask R-CNN

    Mask R-CNN 论文Mask R-CNN(ICCV 2017, Kaiming He,Georgia Gkioxari,Piotr Dollár,Ross Girshick, arXiv:170 ...

随机推荐

  1. PHP正则匹配各种匹配方法

    平时做网站经常要用正则表达式,下面是一些讲解和例子,仅供大家参考和修改使用: 匹配数字 "^\d+$" //非负整数(正整数 + 0) "[1][1-9][0-9]$&q ...

  2. 深入学习Android系统上mount命令的使用

    博客链接:http://blog.csdn.net/qq1084283172/article/details/52493227 在Android系统的预装apk病毒和elf病毒的清除时,经常需要先获取 ...

  3. DVWA之SQL注入考点小结

    SQL Injection SQL Injection,即SQL注入,是指攻击者通过注入恶意的SQL命令,破坏SQL查询语句的结构,从而达到执行恶意SQL语句的目的.SQL注入漏洞的危害是巨大的,常常 ...

  4. hdu5249KPI动态中位数(两个set)

    题意(中问题直接粘题意吧)                                                                      KPI Problem Descr ...

  5. WPF之事件绑定命令

    目录 事件绑定意义 无参数的事件绑定 带EventArgs参数的事件绑定 使用事件绑定 扩展:基于InvokeCommandAction源码的实现(推荐) 参考资料 事件绑定意义 一般事件的处理程序都 ...

  6. WPF之自定义委托命令

    常用命令 WPF的命令实际上就是实现了ICommand接口的类,平时使用最多的是RoutedCommand类,还可以使用自定义命令. RoutedCommand只负责跑腿,并不对命名目标做任何操作,实 ...

  7. CCNA 第五章 变长子网掩码、汇总和TCP/IP故障排除

    1:VLSM:即变长子网掩码,使用长度不同的子网掩码将大型网络划分为众多子网,以满足不同类型的网络设计. 2:运行老式的路由器和例如:RIP V1协议的网络不能使用VLSM,因为它使用分类路由器选择. ...

  8. Masm32sdk安装指南

    上一年学习win32汇编时用的masm32sdk不是最新版本的.因为最近准备继续学习win32汇编,所以准备安装最新的masm32sdk软件包.其中遇到了一些问题,从网上找了2个小时才搞定(宝宝心里苦 ...

  9. Spring Cloud Gateway之动态路由(数据库版)

    1.实现动态路由的关键是RouteDefinitionRepository接口,该接口存在一个默认实现(InMemoryRouteDefinitionRepository) 通过名字我们应该也知道该实 ...

  10. [笔记] 《c++ primer》书店程序 Chapter7

    Sales_data.h 1 #ifndef SALES_DATA_H 2 #define SALES_DATA_H 3 4 #include "Version_test.h" 5 ...