研究内容:弱监督时域动作定位 结果:Thumos14 mAP0.5 = 27.0 ActivityNet1.3 mAP0.5 = 34.5 从结果可以看出弱监督这种瞎猜的方式可以PK掉早些时候的一些全监督方法 Code: GitHub P.S.我在机器上复现始终差一点点 Motivation: 发现之前的工作没有考虑到背景类别,会将背景帧误分为动作类别,造成大量FP.本文提出了背景抑制网络BaSNet,引入了额外的背景类,两支镜像网络(一支为base网络,一支为用attention抑制背景的su…

Motivation: 阈值分割的阈值并没有通过模型训练学出来,而是凭借主观经验设置,本文通过与背景得分比较提取对应的proposal,不用阈值的另一篇文章是Shou Zheng的AutoLoc,通过伪标签训练回归网络 阈值分割缺点:低阈值会把多个动作实例ground-truth合并成一个动作实例,高阈值会将一个动作实例ground-truth分割成多个动作实例 忽略背景建模: 过去的方法没有对视频的背景建模无法利用动作和背景之间的先验知识 Feature Transformation Modu…

记笔记目的:刻意地.有意地整理其思路,综合对比,以求借鉴.他山之石,可以攻玉. <Convolutional Simplex Projection Network for Weakly Supervised Semantic Segmentation>-20180724,一篇来自德国波恩大学与锡根大学的paper. 论文code: https://github.com/briqr/CSPN Abstract The method introduces a novel layer which a…

Motivation 实现快速和准确地抽取出视频中的语义片段 Proposed Method -提出了TURN模型预测proposal并用temporal coordinate regression来校正proposal的边界 -通过复用unit feature来实现快速计算 主要步骤如下: Video Unit Processing: 将输入的视频平均分为多个video units,每一个unit包含16帧,源码给的feature是30fps的帧率.将每一个unit送入visual encod…

SST: Single-Stream Temporal Action Proposals 2017-06-11 14:28:00 本文提出一种 时间维度上的 proposal 方法,进行行为的识别.本文方法具有如下的几个特点: 1. 可以处理 long video sequence,只需要一次前向传播就可以处理完毕整个video:可以处理任意长度的 video,而不需要处理重叠的时间窗口: 2. 在 proposal generation task 上取得了顶尖的效果: 3. SST propo…

SST:Single-Stream Temporal Action Proposals 这是本仙女认认真真读完且把算法全部读懂(其实也不是非常懂)的第一篇论文 CVPR2017 一作 论文写作的动机motivation 这篇文章介绍了一个时间维度上的proposal方法,用来进行动作识别 Introduction 视频中记录了大量关于人类行为动作的信息,要想处理这些数据,计算机视觉算法需要能够进行人类动作识别和检测的能力 以往所用的动作识别的方法: 一开始动作识别被简单的看作是视频分割,也就是把…

http://openaccess.thecvf.com/content_cvpr_2017/papers/Jie_Deep_Self-Taught_Learning_CVPR_2017_paper.pdf Deep Self-Taught Learning for Weakly Supervised Object Localization. Zequn Jie, Yunchao Wei, Xiaojie Jin, Jiashi Feng, Wei Liu 亮点 监督学习中用难例挖掘,弱监督中靠…

Action Recognition: 行为识别,视频分类,数据集为剪辑过的动作视频 Temporal Action Detection: 从未剪辑的视频,定位动作发生的区间,起始帧和终止帧并预测类别 难点 1: 边界不明确(助跑跳远,上篮,高尔夫挥杆) 2: 如何利用时序信息 3: 时序跨度大(Activitynet:1s — 200s) 上图为模型框架,用temporal actionness grouping算法提取proposal后进行上下文信息的金字塔池化,后接两个级联分类器分别是完整…

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 13.0px "Helvetica Neue"; color: #323333 } p.p2 { margin: 0.0px 0.0px 0.0px 0.0px; font: 13.0px "Helvetica Neue"; color: #042eee } p.p3 { margin: 0.0px 0.0px 0.0px 0.0px; font: 13.0px "…

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 14.0px "Helvetica Neue"; color: #042eee } p.p2 { margin: 0.0px 0.0px 0.0px 0.0px; font: 14.0px "Helvetica Neue"; color: #323333 } p.p3 { margin: 0.0px 0.0px 0.0px 0.0px; font: 16.0px "…