a 2017 guide to semantic segmentation with deep learning paper: http://blog.qure.ai/notes/semantic-segmentation-deep-learning-review ParseNet: Looking Wider to See Better [ICLR 2016] paper: https://arxiv.org/pdf/1506.04579.pdf codes: https://github.c…

摘要 卷积网络在特征分层领域是非常强大的视觉模型.我们证明了经过端到端.像素到像素训练的卷积网络超过语义分割中最先进的技术.我们的核心观点是建立"全卷积"网络,输入任意尺寸,经过有效的推理和学习产生相应尺寸的输出.我们定义并指定全卷积网络的空间,解释它们在空间范围内dense prediction任务(预测每个像素所属的类别)和获取与先验模型联系的应用.我们改编当前的分类网络(AlexNet [22] ,the VGG net [34] , and GoogLeNet [35] )到完…

Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation xx…

Instance-aware Semantic Segmentation via Multi-task Network Cascades Jifeng Dai Kaiming He Jian Sun 本文的出发点是做Instance-aware Semantic Segmentation,但是为了做好这个,作者将其分为三个子任务来做: 1) Differentiating instances. 实例区分 2) Estimating masks. 掩膜估计 3) Categorizing obje…

Rich feature hierarchies for accurate object detection and semantic segmentation 作者: Ross Girshick Jeff Donahue Trevor Darrell Jitendra Malik 引用: Girshick, Ross, et al. "Rich feature hierarchies for accurate object detection and semantic segmentation…

发表于2015年这篇<Fully Convolutional Networks for Semantic Segmentation>在图像语义分割领域举足轻重. 1 CNN 与 FCN 通常CNN网络在卷积层之后会接上若干个全连接层, 将卷积层产生的特征图(feature map)映射成一个固定长度的特征向量.以AlexNet为代表的经典CNN结构适合于图像级的分类和回归任务,因为它们最后都期望得到整个输入图像的一个数值描述(概率),比如AlexNet的ImageNet模型输出一个1000维的…

论文题目是STC,即Simple to Complex的一个框架,使用弱标签(image label)来解决密集估计(语义分割)问题. 2014年末以来,半监督的语义分割层出不穷,究其原因还是因为pixel级别的GroundTruth太难标注,因此弱监督成了人们研究的一个热门方向. 作者的核心思想是提出了层层递进的三个DCNN. 具体来讲,作者一共训练了三个网络:Initial DCNN.Enhanced DCNN和Powerful DCNN.分别解释如下: 1 . Initial DCNN:…

paper链接:https://arxiv.org/pdf/1812.09953.pdf code链接:https://github.com/YangZhang4065/AdaptationSeg 摘要: 在过去的5年里面,卷积神经网络在语义分割领域大获全胜,语义分割是许多其他应用的核心任务之一,这其中包括无人驾驶.增强现实.然而,训练一个卷积神经网络需要大量的数据,而对于这些数据的收集和标注是极其困难的.计算机图形学领域的最新研究进展使得利用计算机生成的注释在接近真实照片的合成图像上训练CNN…

记笔记目的:刻意地.有意地整理其思路,综合对比,以求借鉴.他山之石,可以攻玉. <Convolutional Simplex Projection Network for Weakly Supervised Semantic Segmentation>-20180724,一篇来自德国波恩大学与锡根大学的paper. 论文code: https://github.com/briqr/CSPN Abstract The method introduces a novel layer which a…

Decoders Matter for Semantic Segmentation: Data-Dependent Decoding Enables Flexible Feature Aggregation 2019-04-24 16:53:25 Paper:https://arxiv.org/pdf/1903.02120.pdf Code(unofficial PyTorch Implementation):https://github.com/LinZhuoChen/DUpsampling…

Fast Neural Architecture Search of Compact Semantic Segmentation Models via Auxiliary Cells 2019-04-24 14:49:10 Paper:https://arxiv.org/pdf/1810.10804.pdf 在过去的许多年,大家一直认为网络结构的设计是人类的事情.但是,近些年 NAS 的发展,打破了这种观念,用自动化的方法在给定的数据上设计合适的网络结构,变的势不可挡.本文在语义分割的任务上,尝…

Adversarial Examples for Semantic Segmentation and Object Detection (语义分割和目标检测中的对抗样本) 作者:Cihang Xie, Jianyu Wang, Zhishuai Zhang, Yuyin Zhou, Lingxi Xie, Alan Yuille, Department of Computer Science, The Johns Hopkins University, Baltimore, MD 21218 U…

3D Graph Neural Networks for RGBD Semantic Segmentation 原文章:https://www.yuque.com/lart/papers/wmu47a 动机 主要针对的任务是RGBD语义分割, 不同于往常的RGB图像的语义分割任务, 这里还可以更多的考虑来自D通道的深度信息. 所以对于这类任务需要联合2D外观和3D几何信息来进行联合推理. 深度信息编码 关于将深度信息编码为图像的方法有以下几种: 通过HHA编码来将深度信息编码为三通道: hori…

Decoders Matter for Semantic Segmentation:Data-Dependent Decoding Enables Flexible Feature Aggregation https://www.yuque.com/lart/papers 动机 语义分割领域最常用的编解码方案中, 上采样是一个重要的环节, 用来恢复分辨率. 常用的是, 双线性插值和卷积的配合. 相较于具有一定的棋盘效应的转置卷积, 双线性插值简单快捷, 而且配合后续卷积, 也可以实现和转置卷积类…

在上计算机视觉这门课的时候,老师曾经留过一个作业:识别一张 A4 纸上的手写数字.按照传统的做法,这种手写体或者验证码识别的项目,都是按照定位+分割+识别的套路.但凡上网搜一下,就能找到一堆识别的教程,分割的文章次之,而定位的文章就少之又少了.这其中的缘由也很简单:识别目前来说已经不是什么难事了,所以容易写,但分割和定位却仍然是一个头疼不已的问题,不同场景方法不同,甚至同一场景也要结合多种图像处理方法,因此很难有通用的解决策略.在深度学习火起来之后,很多研究人员开始尝试用深度学习的特征提取能力来…

论文源址:http://www.cs.berkeley.edu/~rbg/#girshick2014rcnn 摘要 在PASCAL VOC数据集上,最好的方法的思路是将低级信息与较高层次的上下文信息进行结合.该文的两个亮点:(1)将CNN应用到region proposals 用于对目标物体的定位.(2)对于较少数量的标签数据,先在规模较大的数据集上进行有监督的预训练,然后针对特定场景进行微调,发现性能提升的较大.R-CNN:region with CNN features 介绍 特征问题:视觉…

论文源址:https://arxiv.org/abs/1611.06612 tensorflow代码:https://github.com/eragonruan/refinenet-image-segmentation 摘要 RefineNet是一种生成式的多路径增强网络,在进行高分辨率的预测时,借助远距离的残差连接,尽可能多的利用下采样过程中的所有信息.这样,通过前期卷积操作得到的细粒度特征可以增强能够获得图像更高层次信息更深的网络.RefineNet的组件基于残差连接,可以进行端到端的训练.…

论文源址:https://arxiv.org/abs/1505.04366 tensorflow代码:https://github.com/fabianbormann/Tensorflow-DeconvNet-Segmentation 基于DenconvNet的钢铁分割实验:https://github.com/fourmi1995/IronSegExperiment-DeconvNet 摘要 通过学习一个反卷积网络来实现分割算法, 本文卷积部分基于改进的VGG-16,反卷积网络部分由反卷积层和…

论文链接:https://arxiv.org/abs/1506.04924 摘要 该文提出了基于混合标签的半监督分割网络.与当前基于区域分类的单任务的分割方法不同,Decoupled 网络将分割与分类任务分离,并为每个任务单独学习一个分离的网络.分类网络识别与图片相关的标签,然后在每个识别的标签中进行二进制的分割.Decoupled网络可以基于图像级别标签学习分类网络,基于像素级别标签学习分割网络.该网络通过桥链接层获得类别明确的激活maps来减少分割的搜索空间.该文在少量训练数据的条件下仍优于…

作者:Ross Girshick,Jeff Donahue,Trevor Darrell,Jitendra Malik 该论文提出了一种简单且可扩展的检测算法,在VOC2012数据集上取得的mAP比当时性能最好的算法高30%.算法主要结合了两个key insights: (1)可以将高容量的卷积神经网络应用到自底向上的Region proposals(候选区域)上,以定位和分割目标 (2)当带标签的训练数据稀少时,可以先使用辅助数据集进行有监督的预训练,然后再使用训练集对网络的特定范围进行微调,…

语义分割是将标签分配给图像中的每个像素的过程.这与分类形成鲜明对比,其中单个标签被分配给整个图片.语义分段将同一类的多个对象视为单个实体.另一方面,实例分段将同一类的多个对象视为不同的单个对象(或实例).通常,实例分割比语义分割更难. 语义和实例分割之间的比较.(来源) 本博客探讨了使用经典和深度学习方法执行语义分割的一些方法.此外,还讨论了流行的损失函数选择和应用. 经典方法 在深度学习时代开始之前,使用了大量的图像处理技术将图像分割成感兴趣的区域.下面列出了一些常用的方法. 灰度分割 最简单…

作者:周博磊链接:https://www.zhihu.com/question/51704852/answer/127120264来源:知乎著作权归作者所有,转载请联系作者获得授权. 图1. 这张图清楚说明了image classification, object detection, semantic segmentation, instance segmentation之间的关系. 摘自COCO dataset (https://arxiv.org/pdf/1405.0312.pdf) Se…

Semantic Segmentation using Adversarial Networks 2018-04-27 09:36:48 Abstract: 对于产生式图像建模来说,对抗训练已经取得了很好的效果.本文中,我们提出了一种对抗训练的方法来训练语义分割模型.其实这里就是加了一个对抗loss,即:用一个 CNN 来判断给定的图是分割的结果呢?还是 GT?本文方法的动机是:it can detect and correct higher-order inconsistencies betw…

A Review on Deep Learning Techniques Applied to Semantic Segmentation 2018-02-22  10:38:12   1. Introduction: 语义分割是计算机视觉当中非常重要的一个课题,其广泛的应用于各种类型的数据,如:2D image,video,and even 3D or volumetric data. 最近基于 deep learning 的方法,取得了非常巨大的进展,在语义分割上也是遥遥领先于传统算法. 本…

语义分割和实例分割概念 语义分割:对图像中的每个像素都划分出对应的类别,实现像素级别的分类. 实例分割:目标是进行像素级别的分类,而且在具体类别的基础上区别不同的实例. 语义分割(Semantic Segmentation) 输入:一张原始的RGB图像 输出:带有各像素类别标签的与输入同分辨率的分割图像 对预测的分类目标采用one-hot编码,为每个分类类别创建一个输出的channel. 将分割图相加到原始图像上的效果. 语义分割的难点 在经典的网络中,需要经过多层卷积和池化进行提取特征工作,从…

[论文信息] <Feedforward semantic segmentation with zoom-out features> CVPR 2015 superpixel-level,fully supervised,CNN [方法简单介绍] 首先对输入图像以superpixel为单位提取CNN特征(使用VGG16),然后把这些特征作为CNN classifier(使用imageNet)的输入,imageNet输出是每一个superpixel的class. [细节记录] feature 特征…

部分转自:https://zhuanlan.zhihu.com/p/37618829 一.语义分割基本介绍 1.1 概念 语义分割(semantic segmentation) : 就是按照"语义"给图像上目标类别中的每一点打一个标签,使得不同种类的东西在图像上被区分开来.可以理解成像素级别的分类任务. 输入: (HW3)就是正常的图片 输出: ( HWclass )可以看为图片上每个点的one-hot表示,每一个channel对应一个class,对每一个pixel位置,都有class…

原文地址:DeepLabv3 代码: TensorFlow Abstract DeepLabv3进一步探讨空洞卷积,这是一个在语义分割任务中:可以调整滤波器视野.控制卷积神经网络计算的特征响应分辨率的强大工具.为了解决多尺度下的目标分割问题,我们设计了空洞卷积级联或不同采样率空洞卷积并行架构.此外,我们强调了ASPP(Atrous Spatial Pyramid Pooling)模块,该模块可以在获取多个尺度上卷积特征,进一步提升性能.同时,我们分享了实施细节和训练方法,此次提出的DeepLab…

这篇文章比较简单,但还是不想写overview,转自: https://blog.csdn.net/zimenglan_sysu/article/details/52451098 另外,读这篇paper的时候,一直想不明白白一个问题,就是他分出了\(k^2\)个Instance-sensitive score maps,他是怎么训练的..换句话说,ground truth是怎么弄的? 文章里只说了用logistics做损失函数,应该需要看代码,因为还没有搞分割的打算,先不详细了解代码. Inst…

目录 0. 论文链接 1. 概述 2. Adapting classifiers for dense prediction 3. upsampling 3.1 Shift-and-stitch 3.2 decreasing subsampling 3.3 Deconvolution(backwards strided convolution) 4. Segmentation Architecture 5. Metric @ 0. 论文链接 FCN(https://arxiv.org/abs/14…