SalGAN: Visual saliency prediction with generative adversarial networks 2017-03-17 摘要:本文引入了对抗网络的对抗训练机制来进行显著性物体的预测.虽然我们老板很不喜欢显著性,但是,做显著性检测的人还是会说:这是有意义的.如本文说的:恩,显著性可以作为 soft-attention,来引导其他计算机视觉任务的进行,也可以直接引导 marketing 领域. 本文区别于其他方法最显著的地方在于:the usage of

视觉显著性检测(Visual saliency detection)指通过智能算法模拟人的视觉特点,提取图像中的显著区域(即人类感兴趣的区域). 视觉注意机制(Visual Attention Mechanism,VA),即面对一个场景时,人类自动地对感兴趣区域进行处理而选择性地忽略不感兴趣区域,这些人们感兴趣区域被称之为显著性区域.如图所示,当看到这幅图像时,图中的四个人最能引起人的注意. 人类视觉注意机制有两种策略: 1)自底而上基于数据驱动的注意机制 仅受感知数据的驱动,将人的视点指导到场

1. 早期C. Koch与S. Ullman的研究工作. 他们提出了非常有影响力的生物启发模型. C. Koch and S. Ullman . Shifts in selective visual attention: Towards the underlying neural circuitry. Human Neurobiology, 4(4):219-227, 1985. C. Koch and T. Poggio. Predicting the Visual World: Silenc

内容转移到博客文章系列:显著性检测 1.简介 视觉显著性包括从下而上和从上往下两种机制.从下而上也可以认为是数据驱动,即图像本身对人的吸引,从上而下则是在人意识控制下对图像进行注意.科研主要做的是从下而上的视觉显著性,而从上而下的视觉显著性由于对人的大脑结构作用了解还很肤浅,无法深刻的揭示作用原理所以做研究的人也相对较少. 2. 方法 显著性检测一般分为空域和频域. 空域的方法比如:特征提取类似ltti的做法:使用图论知识,显著图建立引入了马尔科夫链:分层提取,并训练SVM用作检测:分析上下文,

top-down visual saliency via joint CRF anddictionary learning 自顶向下的视觉显著性是使用目标对象的可判别表示和一个降低搜索空间的概率图来进行目标定位.一,提出了一个联合CRF和判别字典自顶向下的显著性模型.该模型建立在包含潜在变量的CRF的基础上,将稀疏编码作为潜在变量,对CRF调制的字典进行训练,同时训练具有稀疏编码的CRF,二,提出一种最大间隔方法,通过快速推理来训练模型. Bag of word(Bow)模型高度依赖于字典和采样

帧内显著性检测: 将卷积网络的多层特征进行组合通过unsampling 得到粗显著性预测: 帧间显著性检测: (粗检测结果+新卷积网络的特征图,最后+之前卷积网络的卷积特征输入到LSTM中)进行预测.. 视频目标分割:   https://www.jiqizhixin.com/articles/2017-10-06

Neural activities in V1 create a bottom-up saliency map 本文证明了人类的初级视皮层可以在视觉信息加工的非常早期阶段,生成视觉显著图,用以引导空间选择性注意的分布.这一发现挑战了传统注意理论,相关成果公布在神经科学注明期刊Neuron杂志上. 文章的通讯作者是北京大学感知与智能教育部重点实验室方方教授,第一作者是心理学系博士生张喜淋.研究合作者包括伦敦大学学院(University College London)李兆平教授和中科院生物物理所周

译文: <基于二值化赋范梯度特征的一般对象估计> 摘要: 通过训练通用的对象估计方法来产生一组候选对象窗口,能够加速传统的滑动窗口对象检测方法.我们观察到一般对象都会有定义完好的封闭轮廓,而且通过将相关图像窗口重置为固定大小,就可以通过梯度幅值进行区分.基于以上的观察以及复杂度的考虑,为了明确训练方法,我们将窗口固定为8*8的,并将梯度幅值转化为一个简单的64维的特征来描述这个窗口. 我们进一步说明这个二值化赋范特性(BING),它可以很有效的用于一般对象估计.而且只需要一些原子操作(例如加法

------------------------------------------------------------------------------------------------------------------------------------------------------------------- 译文 摘要:在深度卷积网络(ConvNet)的帮助下,边缘检测已经取得了重大进展.基于ConvNet的边缘检测器在标准基准测试中达到了人类水平.我们提供了对于这些检测器输出

Saliency Detection via Graph-Based Manifold Ranking https://www.yuque.com/lart/papers 本文不是按照之前的论文那样, 考虑显著性目标与背景之间的对比度, 而是通过使用流形排序方法, 来使用前景/背景线索对图像元素(像素或者区域)进行排序.  在这种方法中, 图像元素的显著性是基于它们与给定种子/查询的相关性来定义的. 我们将图像表示为一个以超像素为节点的闭环图.这些节点的排序是基于与背景和前景查询的相似性,基于关

Saliency Detection: A Spectral Residual Approach 题目:Saliency Detection: A Spectral Residual Approach 作者:Xiaodi Hou, Liqing Zhang 领域:显著性目标检测 类型:新视角, 新方法 概述 The ability of human visual system to detect visual saliency is extraordinarily fast and reliab

这篇文章目前发表在arxiv,日期:20180309. 这是一篇针对多种综合性信息的视觉显著性检测的综述文章. 注:有些名词直接贴原文,是因为不翻译更容易理解.也不会逐字逐句都翻译,重要的肯定不会错过^_^.我们的目的是理解文章思想,而不是为了翻译而纯粹翻译.翻译得不好,敬请包涵~ 欢迎同道中人QQ交流:1505543113 abstract: 随着采集技术( acquisition technology)的发展,许多综合性信息(comprehensive information)诸如depth

Deep 360 Pilot Learning a Deep Agent for Piloting through 360° Sports Videos 源码.数据集和视频演示 ego-centric(以自我为中心的) 背景: 看360°运动视频需要观察者连续选择视角,通过一系列的鼠标点击或头部运动 解决方案: 叫作deep 360 pilot的方法(基于深度学习的方式在360°运动视频里进行导航) 自动帮用户选择合适的视角的代理人 每一帧,代理人观察全景图,结合之前帧的视角得出下一个最合适的视

BING: Binarized Normed Gradients for Objectness Estimation at 300fps Ming-Ming Cheng, Ziming Zhang, Wen-Yan Lin, Philip Torr, IEEE CVPR, 2014 基于二值化赋范梯度特征的一般对象估计 摘要: 通过训练通用的对象估计方法来产生一组候选对象窗口,能够加速传统的滑动窗口对象检测方法.我们观察到一般对象都会有定义完好的封闭轮廓,而且通过将相关图像窗口重置为固定大小,就

1.源码下载及转换为VS2012 WIN32版本. http://www.cnblogs.com/larch18/p/4560690.html 2.原文: http://wenku.baidu.com/link?url=ls5vmcYnsUdC-ynKdBzWgxMX9WomZH2sDRvnQ634UlN8p7oJm_ATFWrLlTQ3H_Co3y-7fL8Jt0MbHu800RWJtSABPKRxrtZvkjkXiFzdLLG 3.原文翻译: http://www.cnblogs.com/l

BING: Binarized Normed Gradients for Objectness Estimation at 300fps Ming-Ming Cheng, Ziming Zhang, Wen-Yan Lin, Philip Torr, IEEE CVPR, 2014 基于二值化赋范梯度特征的一般对象估计 摘要: 通过训练通用的对象估计方法来产生一组候选对象窗口,能够加速传统的滑动窗口对象检测方法.我们观察到一般对象都会有定义完好的封闭轮廓,而且通过将相关图像窗口重置为固定大小,就

翻译 局部不变特征探测器:一项调查 摘要 -在本次调查中,我们概述了不变兴趣点探测器,它们如何随着时间的推移而发展,它们如何工作,以及它们各自的优点和缺点.我们首先定义理想局部特征检测器的属性.接下来是对过去四十年中根据不同类别的特征提取方法组织的文献的概述.然后,我们对选择的方法进行更详细的分析,这些方法对研究领域产生了特别重大的影响.最后总结并展望未来的研究方向. 1引言 在本节中,我们将讨论局部(不变)特征的本质.这个词我们的意思是什么?使用局部特征有什么好处?我们可以用它们做什么?理想的

数据集:http://bigdata.51cto.com/art/201702/531276.htm 计算机视觉 MNIST: 最通用的健全检查.25x25 的数据集,中心化,B&W 手写数字.这是个容易的任务——但是在 MNIST 有效,不等同于其本身是有效的. 地址:http://pjreddie.com/projects/mnist-in-csv/ CIFAR 10 & CIFAR 100: 32x32 彩色图像.虽不再常用,但还是用了一次,可以是一项有趣的健全检查. 地址:http

引言 语义分割得到边缘信息指导修复其三 存在问题:现在的图像修复方法主要的通过周围像素来修复,当修复区域与前景区域(显著物体)有交叠时,由于修复区域缺失前景与背景的时间内容导致修复结果不理想. 提出方法:a foreground-aware image inpainting system,可明确区分结构推断和内容修复.模型首先预测前景轮廓,然后根据预测发前景轮廓进行区域修复. 论文来源:CVPR 2019 相关论文: <Image inpainting for irregular holes u

2-2.5-3D的室内场景理解 主要内容 摘要随着低成本.紧凑型2-2.5-3D视觉传感设备的出现,计算机视觉界对室内环境的视景理解越来越感兴趣.本文为本课题的研究提供了一个全面的背景,从历史的角度开始,接着是流行的三维数据表示和对可用数据集的比较分析.在深入研究特定于应用程序的细节之前,简要介绍了在文献中广泛使用的底层方法的核心技术.之后根据基于场景理解任务的分类,回顾了所开发的技术:包括全局室内场景理解以及子任务,例如场景分类.对象检测.姿势估计.语义分割.三维重建.显著性检测.基于物理的推

1. Bayesian Matting, Chuang, CVPR 2001.http://grail.cs.washington.edu/projects/digital-matting/papers/cvpr2001.pdf  论文下载http://grail.cs.washington.edu/projects/digital-matting/image-matting/项目网址 2. GraphCut Segmentation System, Rother, 2004.http://pd