Valse2019笔记——弱监督视觉理解
程明明(南开大学):面向开放环境的自适应视觉感知
(图片来自valse2019程明明老师ppt)
面向识别与理解的神经网络共性技术
深度神经网络通用架构 —— VggNet(ICLR’15)、ResNet(CVPR‘16)、DenseNet(CVPR’17)、DLA(CVPR‘18)、Res2Net()富尺度空间的深度神经网络通用架构
富尺度空间的深度神经网络通用架构
网络结构:
应用:检测任务、分类任务、分割任务
通用视觉基元属性感知
显著性物体检测技术
A Simple Pooling-Based Design for Real-Time Salient Object Detection;
Contrast Prior and Fluid Pyramid Integration for RGBD Salient Object Detection(RGBD显著性物体检测) 难点:深度图质量、多模态融合机制,利用对比度先验;
S4Net: Single Stage Salient-Instance Segmentation(显著性Instance检测)。
边缘检测技术
关键机器学习算法到多种行业应用
面向行业开放应用场景,而非传统实验环境下的高可靠、高通用性基础算法。
相关论文
Self-Erasing Network for Integral Object Attention](http://mmcheng.net/SeeNet)(视觉注意机制与弱监督语义分割);
Deeply supervised salient object detection with short connections(基元属性和互联网大数据的自主学习);
Associating Inter-Image Salient Instances for Weakly Supervised Semantic Segmentation(面向普适应用的关键机器学习方法);
Sketch2Photo: Internet Image Montage(利用互联网大数据的自主学习)
总结
- 通过引入层内分层递进残差链接,实现富尺度空间的深度神经网络通用架构,并通过多任务协同求解提高鲁棒性;
- 通过预先构建显著性物体检测、边缘提取等任务类别无关的基元属性感知能力,减少具体任务中的数据依赖,实现“举一反三”;
- 利用互联网海量多媒体数据,减少对人工标注数据的依赖,自主地学习目标类别的识别与检测模型,实现系统智能的自主发育。
叶齐祥(中国科学院大学):从弱监督到自学习视觉目标建模 —— weakly supervised object detection, localization, and instance segmentation
引子
存在问题:
有监督的目标检测和实例分割的主要流程
(图片来自valse2019叶齐祥老师ppt)
从上图看出,数据集的制作需要对大量数据从不同方面进行标注。
解决方法
如何实现 “ 图像数据库 → 训练数据集 ”?
人工标注:耗时耗力
弱监督的数据标注 → 弱监督学习:高效低耗
弱监督学习
相关论文:
CVPR18: Min-entropy Latent Model (MELM)
PAMI2019: Recurrent Learning(MELM+RecurrentLearning)
CVPR19: Continuation Multiple Instance Learning(CMIL)
ICCV17: Soft Proposal Network(SPN)CVPR18:PeakResponseMapping(PRM)
CVPR19:InstanceActivationMap(IAM)
论文详解
问题提出:隐变量学习、多实例学习
往往无法学习到全局最优结果
解决方法:
如上图所示,针对无法得到全局最优问题,提出了convex regularization和continuation optimization两种方法。
- convex regularization(Min-entropy Latent Model for Weakly Supervised object Detection CVPR2018)
- continuation optimization(CMIL: Continuation Multiple Instance Learningfor Weakly Supervised object Detection CVPR2019)
- Recurrent Learning(Min-entropy Latent Model for Weakly Supervised object Detection PAMI2019)
- soft proposal network(Soft Proposal Network for Weakly Supervised Object Localization ICCV2017)
- Peak Response Mapping(Weakly Supervised Instance Segmentation using Class Peak Response CVPR2018)
- learning Instance Activation Maps(Learning Instance Activation Maps for Weakly Supervised Instance Segmentation CVPR2019)
未来发展方向:
- Beyond regularization and continuation optimization
- Beyond weakly supervised detection and segmentation
- Fill the gap of supervised and weakly supervised methods
- Weakly supervised detection meets X (Self-learning Scene-specific Pedestrian Detectors using a Progressive Latent Model)
X= Few-shot Active Learning | Online Feedback | Temporal
魏秀参(旷视科技):Weakly-supervised object discovery based on pre-trained deep CNNs
引子
Deep learning三驾马车
许多可用的预训练好的深度学习模型
深度学习模型的训练还需要大量标记的数据
图像检索(Image Retrieval)
一般图像检索流程:
(图片来自valse2019魏秀参老师ppt)
黄圣君(南京航空航天大学):Cost-Sensitive Active Learning
引子
- 一个传统的有监督学习
- 有标签的数据非常重要
当m越大,表示估计的模型越接近真实模型。
- 有标签的数据非常稀少
- 有标签的数据非常昂贵:耗时、专业知识人才、耗资
Active Learning —— 可以用更少的标注数据进行学习
Cost Sensitive Active Learning
标记代价 ≠ 查询数量 (查询次数越多不代表所查的东西代价越大)
影响标记代价因素:实例——用于视频推荐的多视角主动学习(instances ——multi-view active learning for video recommendation)
特征——有监督矩阵补全的主动特征获取(features——active feature acquisition with supervised matrix completion) 标签——主动查询分层多标签学习(labels——active querying for hierarchical multi-label learning) oracles- 积极学习各种不完美的oracles(Oracles——active learning from diverse and imperfect oracles)
影响标记代价因素详细介绍
instances ——multi-view active learning for video recommendation
视频推荐:协同过滤(冷门启动问题)/基于内容的过滤(需要大量数据训练)
多视角视频表示:视觉特征、文本特征、用户特征、标签
motivation:在视频推荐任务中,文本特征(即评论)获取需要很大代价,视觉特征不需要人力代价。
idea: Visual to text Mapping
features——active feature acquisition with supervised matrix completion
问题:现实应用中往往会出现特征丢失现象,通常导致学习性能下降
motivation: SMC——supervised matrix completion(exploit the label information / Trace-norm for low-rank assumption)
AFA——Active Feature Acquisition(minimize the feature acquisition cost / contribute to both recovering missing entries and classification)
idea:(这部分设计太多专业基础知识,不太明白)
labels——active querying for hierarchical multi-label learning
标签有层次结构
平衡成本和信息
Oracles——active learning from diverse and imperfect oracles
不同的oracles有不同的价格
同时选择instance和oracle
准确而便宜的标签
总结
主动学习:用最少的标签代价训练一个高效的模型
代价和不同的 instances/features/labels/oracles 有关系
魏云超(UIUC):Towards Weakly Supervised Object Recognition and Scene Parsing
- Self-Erasing Network for Integral Object Attention
- Weakly Supervised Scene Parsing with Point-based Distance Metric Learning
Valse2019笔记——弱监督视觉理解的更多相关文章
- CVPR2020:点云弱监督三维语义分割的多路径区域挖掘
CVPR2020:点云弱监督三维语义分割的多路径区域挖掘 Multi-Path Region Mining for Weakly Supervised 3D Semantic Segmentation ...
- 化繁为简,弱监督目标定位领域的新SOTA - 伪监督目标定位方法(PSOL) | CVPR 2020
论文提出伪监督目标定位方法(PSOL)来解决目前弱监督目标定位方法的问题,该方法将定位与分类分开成两个独立的网络,然后在训练集上使用Deep descriptor transformation(DDT ...
- CVPR2022 | 弱监督多标签分类中的损失问题
前言 本文提出了一种新的弱监督多标签分类(WSML)方法,该方法拒绝或纠正大损失样本,以防止模型记忆有噪声的标签.由于没有繁重和复杂的组件,提出的方法在几个部分标签设置(包括Pascal VOC 20 ...
- Deep learning for visual understanding: A review 视觉理解中的深度学习:回顾 之一
Deep learning for visual understanding: A review 视觉理解中的深度学习:回顾 ABSTRACT: Deep learning algorithms ar ...
- 【转载】MDX Step by Step 读书笔记(三) - Understanding Tuples (理解元组)
1. 在 Analysis Service 分析服务中,Cube (多维数据集) 是以一个多维数据空间来呈现的.在Cube 中,每一个纬度的属性层次结构都形成了一个轴.沿着这个轴,在属性层次结构上的每 ...
- go笔记--几个例子理解context的作用
目录 go笔记--几个例子理解context的作用 context interface 先看一个简单的例程 context的作用 contxt相关函数 go笔记--几个例子理解context的作用 经 ...
- 读书笔记之《深入理解Java虚拟机》不完全学习总结
写在前面: 之所以称作不完全总结,因为我其实没有完完全全地看完此书,但是涵盖了大部分重要章节:同时以下总结是我自己认为很重要知识,细枝末节处难免遗漏,还请详细参考原著. 转载请注明原文出处:http: ...
- 读书笔记,《深入理解java虚拟机》,第三章 垃圾收集器与内存分配策略
要实现虚拟机,其实人们主要考虑完成三件事情: 第一,哪些内存需要回收: 第二,什么时候回收: 第三,如何回收. 第二节,对象已死吗 垃圾收集其实主要是针对java堆里面的数据来说的,传统的垃圾收 ...
- [原创]java WEB学习笔记27:深入理解面向接口编程
本博客为原创:综合 尚硅谷(http://www.atguigu.com)的系统教程(深表感谢)和 网络上的现有资源(博客,文档,图书等),资源的出处我会标明 本博客的目的:①总结自己的学习过程,相当 ...
随机推荐
- Eclipse集成Hadoop插件
一.Eclipse集成Hadoop插件 1.在这之前我们需要配置真机上的hadoop环境变量 注:在解压tar包的时候普通解压会出现缺文件的现象,所以在这里我们需要用管理员的方式启动我们的解压软件(我 ...
- c++ STL概述
2018-09-26 c++ STL(标准模板库)是一套通过c++模板类实现的标准类库,提供了通用的模板和函数,功能强大,大大的提高了c++的开发效率. c++ STL的核心主要包括三个组件:(1)容 ...
- pc端字体大小计算以及echart中字体大小计算
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8" ...
- 深入理解Java虚拟机8-chap12-13-斗者5星
一.操作系统与内存 通过在处理器与内存之间添加一层访问及更新速度更快的高速缓存,可以一定程度解决处理器与内存速度的矛盾 引入新问题:缓存一致性,即每个处理器只与自己的缓存交互,如果操作的是内存中的同一 ...
- 安装mongodb服务
摘要:https://www.cnblogs.com/z-x-y/p/9305635.html 欢迎转载,转载请标明出处:https://www.cnblogs.com/z-x-y/p/9305635 ...
- IntelliJ IDEA使用笔记
IntelliJ IDEA 2016.3.7激活 1.下载 JetbrainsCrack-2.10-release-enc.jar 链接:https://pan.baidu.com/s/1qVdhWg ...
- Fastcgi、CGI 是什么
1.CGI是干嘛的?CGI是为了保证web server传递过来的数据是标准格式的,方便CGI程序的编写者. 2.web server(比如说nginx)只是内容的分发者. 比如,如果请求/index ...
- git for linux使用
1 Linux下Git和GitHub环境的搭建 第一步: 安装Git,使用命令 “sudo apt-get install git” 第二步: 创建GitHub帐号 第三步: 生成ssh key,使用 ...
- IT题库3-线程实现的方式
1.继承Thread类创建线程 Thread类本质上是实现了Runnable接口的一个实例,代表一个线程的实例.启动线程的唯一方法就是通过Thread类的start()实例方法.start()方法是一 ...
- angular4实战开发问题——ngclass不起作用
由于路由机制会导致页面不刷新. 在项目中,很多都是使用click做的路由跳转.ngclass有时候会不起作用, 这个时候我是很盲目的,一开始在考虑是不是书写的问题.ngclass需要有特定的格式?第一 ...