Action Recognition: 行为识别,视频分类,数据集为剪辑过的动作视频 Temporal Action Detection: 从未剪辑的视频,定位动作发生的区间,起始帧和终止帧并预测类别 难点 1: 边界不明确(助跑跳远,上篮,高尔夫挥杆) 2: 如何利用时序信息 3: 时序跨度大(Activitynet:1s — 200s) 上图为模型框架,用temporal actionness grouping算法提取proposal后进行上下文信息的金字塔池化,后接两个级联分类器分别是完整…

SST: Single-Stream Temporal Action Proposals 2017-06-11 14:28:00 本文提出一种 时间维度上的 proposal 方法,进行行为的识别.本文方法具有如下的几个特点: 1. 可以处理 long video sequence,只需要一次前向传播就可以处理完毕整个video:可以处理任意长度的 video,而不需要处理重叠的时间窗口: 2. 在 proposal generation task 上取得了顶尖的效果: 3. SST propo…

  End-to-End Learning of Action Detection from Frame Glimpses in Videos  CVPR 2016  Motivation:    本文主要是想借助空间的 attention model 来去协助进行行人识别的工作.作者认为 long, read-world videos 是一个非常具有挑战的视觉问题.算法必须推理出是否出现了某个 action, 并且还要在时间步骤上推出出现在什么时刻.大部分的工作都是通过构建 frame-lev…

Motivation 实现快速和准确地抽取出视频中的语义片段 Proposed Method -提出了TURN模型预测proposal并用temporal coordinate regression来校正proposal的边界 -通过复用unit feature来实现快速计算 主要步骤如下: Video Unit Processing: 将输入的视频平均分为多个video units,每一个unit包含16帧,源码给的feature是30fps的帧率.将每一个unit送入visual encod…

SST:Single-Stream Temporal Action Proposals 这是本仙女认认真真读完且把算法全部读懂(其实也不是非常懂)的第一篇论文 CVPR2017 一作 论文写作的动机motivation 这篇文章介绍了一个时间维度上的proposal方法,用来进行动作识别 Introduction 视频中记录了大量关于人类行为动作的信息,要想处理这些数据,计算机视觉算法需要能够进行人类动作识别和检测的能力 以往所用的动作识别的方法: 一开始动作识别被简单的看作是视频分割,也就是把…

研究内容:弱监督时域动作定位 结果:Thumos14 mAP0.5 = 27.0 ActivityNet1.3 mAP0.5 = 34.5 从结果可以看出弱监督这种瞎猜的方式可以PK掉早些时候的一些全监督方法 Code: GitHub P.S.我在机器上复现始终差一点点 Motivation: 发现之前的工作没有考虑到背景类别,会将背景帧误分为动作类别,造成大量FP.本文提出了背景抑制网络BaSNet,引入了额外的背景类,两支镜像网络(一支为base网络,一支为用attention抑制背景的su…

主要观点:基于sliding window(SW)类的方法,如TURN,可以达到很高的AR,但定位不准:基于Group的方法,如TAG,AR有明显的上界,但定位准.所以结合两者的特长,加入Complementary Filtering(互补滤波)模块,实际上就是加一个网络预测TAG能不能搞,不能搞就用SW. 第一阶段:视频被划分为等长的单元,使用两层时序卷积生成unit-level的actionness score,基于这一分数序列,分别使用TAG和滑动窗口生成两组proposals,其中TAG…

互补时域动作提名生成 这里的互补是指actionness score grouping 和 sliding window ranking这两种方法提proposal的结合,这两种方法各有利弊,形成互补. 滑窗均匀覆盖所有的视频片段,但时域边界不准确,聚合方法可能更准确但当actionness score比较低的时候,也会漏掉一些proposal. 整体思路: 用actionness score proposal训好PATE网络作用在滑窗proposal上,以此来收集被actionness sco…

编写高效简洁的C 语言代码,是许多软件工程师追求的目标.本文就工作中的一些体会和经验做相关的阐述,不对的地方请各位指教. 第1 招:以空间换时间 计算机程序中最大的矛盾是空间和时间的矛盾,那么,从这个角度出发逆向思维来考虑程序的效率问题,我们就有了解决问题的第1 招--以空间换时间. 例如:字符串的赋值. 方法A,通常的办法: #define LEN 32 char string1 [LEN]; memset (string1,0,LEN); strcpy (string1,"This is a…

Motivation: 阈值分割的阈值并没有通过模型训练学出来,而是凭借主观经验设置,本文通过与背景得分比较提取对应的proposal,不用阈值的另一篇文章是Shou Zheng的AutoLoc,通过伪标签训练回归网络 阈值分割缺点:低阈值会把多个动作实例ground-truth合并成一个动作实例,高阈值会将一个动作实例ground-truth分割成多个动作实例 忽略背景建模: 过去的方法没有对视频的背景建模无法利用动作和背景之间的先验知识 Feature Transformation Modu…