几篇关于RGBD语义分割文章的总结

  最近在调研3D算法方面的工作，整理了几篇多视角学习的文章。还没调研完，先写个大概。

  基于RGBD的语义分割的工作重点主要集中在如何将RGB信息和Depth信息融合，主要分为三类：省略。

目录

• 1、(ICCV2017)《RDFNet: RGB-D Multi-level Residual Feature Fusion for Indoor Semantic Segmentation》
• 2、（2018 Arxiv）RedNet:Residual Encoder-Decoder Network for indoor RGB-D Semantic Segmentation
• 3、（ICIP2019）ACNet：使用注意力网络的RGBD图像语义分割方法
• 4、(NIPS2020)Deep Multimodal Fusion by Channel Exchanging
• 5、（ECCV2020）Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation
• 6、（arxiv2021）GLPNet:Global-Local Propagation Network for RGB-D Semantic Segmentation
• 7、(ACCV 2016) FuseNet: Incorporating Depth into Semantic Segmentation via Fusion-based CNN Architecture
• 8、（SCIA2017）Multimodal Neural Networks: RGB-D for Segmantic Segmentation and Object Detection
• 9、（3DV2019）3D Neighborhood Convolution: Learning Depth-Aware Features for RGB-D and RGB Semantic Segmentation
• 10、（ICCV2017）3D Graph Neural Networks for RGBD Semantic Segmentation
• 多模态Transformer
• Transformer语义分割（SETR）
• TransUNet：用于医学图像分割的Transformers强大编码器
• SegFormer：使用Transformer进行语义分割的简单高效设计
• Swin-Unet：首个纯Transformer的医学图像分割网络
• 学习跨模态深度表达用于多模态MR图像分割

1、(ICCV2017)《RDFNet: RGB-D Multi-level Residual Feature Fusion for Indoor Semantic Segmentation》

用于室内语义分割的RGB-D多级残差特征融合

论文地址：https://openaccess.thecvf.com/content_iccv_2017/html/Park_RDFNet_RGB-D_Multi-Level_ICCV_2017_paper.html

代码：https://github.com/SeongjinPark/RDFNet

文章介绍：https://blog.csdn.net/u012113559/article/details/81363756

2、（2018 Arxiv）RedNet:Residual Encoder-Decoder Network for indoor RGB-D Semantic Segmentation

论文地址：https://arxiv.org/abs/1806.01054

代码：https://github.com/JindongJiang/RedNet

文章介绍：https://blog.csdn.net/qq_41375318/article/details/104311597、

https://blog.csdn.net/qq_41375318/article/details/103451966

3、（ICIP2019）ACNet：使用注意力网络的RGBD图像语义分割方法

论文地址：https://arxiv.org/abs/1905.10089

代码：https://github.com/anheidelonghu/ACNet

文章介绍：https://blog.csdn.net/kevin_zhao_zl/article/details/100750591、

https://zhuanlan.zhihu.com/p/82193530

4、(NIPS2020)Deep Multimodal Fusion by Channel Exchanging

论文地址：https://arxiv.org/abs/2011.05005

代码：https://github.com/yikaiw/CEN

文章介绍：https://zhuanlan.zhihu.com/p/341959576、

https://blog.csdn.net/hongyuge/article/details/109632887

视频讲解：https://www.bilibili.com/video/BV1ya4y1W7Hf

5、（ECCV2020）Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation

论文地址：https://arxiv.org/abs/2007.09183

代码：https://github.com/charlesCXK/RGBD_Semantic_Segmentation_PyTorch

文章介绍：https://blog.csdn.net/sinat_17456165/article/details/107805136

6、（arxiv2021）GLPNet:Global-Local Propagation Network for RGB-D Semantic Segmentation

论文地址：https://arxiv.org/abs/2101.10801

代码：无

文章介绍：

7、(ACCV 2016) FuseNet: Incorporating Depth into Semantic Segmentation via Fusion-based CNN Architecture

论文地址：https://www.semanticscholar.org/paper/FuseNet%3A-Incorporating-Depth-into-Semantic-via-CNN-Hazirbas-Ma/9360ce51ec055c05fd0384343792c58363383952

代码：https://github.com/tum-vision/fusenet

文章介绍：https://blog.csdn.net/u013841196/article/details/82939619

8、（SCIA2017）Multimodal Neural Networks: RGB-D for Segmantic Segmentation and Object Detection

论文地址：https://www.researchgate.net/publication/317803469_Multimodal_Neural_Networks_RGB-D_for_Semantic_Segmentation_and_Object_Detection

代码：

文章介绍：https://blog.csdn.net/qq_38316300/article/details/109546441

9、（3DV2019）3D Neighborhood Convolution: Learning Depth-Aware Features for RGB-D and RGB Semantic Segmentation

论文地址：https://arxiv.org/abs/1910.01460

代码：

文章介绍：https://blog.csdn.net/cangafuture/article/details/113822865

10、（ICCV2017）3D Graph Neural Networks for RGBD Semantic Segmentation

论文地址：https://ieeexplore.ieee.org/document/8237818

代码：https://github.com/yanx27/3DGNN_pytorch

文章介绍：https://blog.csdn.net/P_LarT/article/details/88774811、https://blog.csdn.net/P_LarT/article/details/88774811

多模态Transformer

论文地址：https://arxiv.org/abs/1906.00295

代码：https://github.com/yaohungt/Multimodal-Transformer

论文介绍：https://zhuanlan.zhihu.com/p/84678022?from_voters_page=true、https://zhuanlan.zhihu.com/p/340113856、https://blog.csdn.net/zpainter/article/details/111867693

Transformer语义分割（SETR）

论文地址:https://arxiv.org/abs/2012.15840

代码：https://github.com/fudan-zvg/SETR

文章介绍：https://zhuanlan.zhihu.com/p/341768446

TransUNet：用于医学图像分割的Transformers强大编码器

论文地址：https://arxiv.org/abs/2102.04306

代码：https://github.com/Beckschen/TransUNet

文章介绍：https://blog.csdn.net/weixin_49627776/article/details/115710379

SegFormer：使用Transformer进行语义分割的简单高效设计

论文地址：https://arxiv.org/abs/2105.15203

代码：https://github.com/NVlabs/SegFormer

文章介绍：https://zhuanlan.zhihu.com/p/379054782

Swin-Unet：首个纯Transformer的医学图像分割网络

论文地址：https://arxiv.org/abs/2105.05537

代码：https://github.com/HuCaoFighting/Swin-Unet（目前未开源）

文章介绍：https://blog.csdn.net/amusi1994/article/details/116957208

学习跨模态深度表达用于多模态MR图像分割

地址：https://zhuanlan.zhihu.com/p/349918500