motivation Active Learning 存在的重要问题:现实数据极度不平衡,有许多类别很少见(rare),又有很多类别是冗余的(redundancy),又有些数据是 OOD 的(out-of-distribution). 1. 不同的次模函数 提出三种次模函数的变体: 次模条件增长(Submodular Conditional Gain, SCG),越大说明差异越大: $$f(\mathcal{A}|\mathcal{P})=f(\mathcal{A}\cup\mathcal{P}…

Motivation 与 Active Learning 类似,Target Learning 致力于 挑选外卖更"感兴趣"的数据,即人为为更重要的数据添加 bias.例如我们当前的任务目标是增强自动驾驶算法的夜间行驶性能,我们就不能单纯从未标注数据集中抽取多样性大的数据,而是要满足黑夜条件的数据. Guided Summarization 与此类似,在进行 Summarization 的同时,也只抽取用户"感兴趣"感兴趣的内容.例如在各种内容都有的新闻中做体育相关…

Visual Object Tracking based on Adaptive Siamese and Motion Estimation 本文提出一种利用上一帧目标位置坐标,在本帧中找出目标可能出现的位置的网路--motion estimation network (named MEN)  .在产生候选位置时,本文从两个可能的坐标下手,采用高斯分布产生很多候选框.然后将候选框送进Siamese Network进行相似性对比. 作者选用最近几帧的目标作为匹配对象(Buffer),提升鲁棒性.…

Analysis Coreset 是带有权重的数据子集,目的是在某个方面模拟完整数据的表现(例如损失函数的梯度,既可以是在训练数据上的损失,也可以是在验证数据上的损失): 给出优化目标的定义: $w^t$ 是 t 轮得到的 coreset 权重,$X_t$ 是 t 轮得到的 coreset,$L$ 既可以是在训练数据上的损失,也可以是在验证数据上的损失,$L_T$ 是在 coreset 上的损失函数,$\theta_t$ 是 t 轮得到模型参数: 最小化 ERR 来使 Coreset 最好地模拟…

Large Scale Distributed Semi-Supervised Learning Using Streaming Approximation Google  2016.10.06 官方 Blog 链接:https://research.googleblog.com/2016/10/graph-powered-machine-learning-at-google.html 今天讲的是一个基于 streaming approximation 的大规模分布式半监督学习框架,出自 Goo…

摘要 神经网络在多个领域都取得了不错的成绩,但是神经网络的合理设计却是比较困难的.在本篇论文中,作者使用 递归网络去省城神经网络的模型描述,并且使用 增强学习训练RNN,以使得生成得到的模型在验证集上取得最大的准确率. 在 CIFAR-10数据集上,基于本文提出的方法生成的模型在测试集上得到结果优于目前人类设计的所有模型.测试集误差率为3.65%,比之前使用相似结构的最先进的模型结构还有低0.09%,速度快1.05倍. 在 Penn Treebank数据集上,根据本文算法得到的模型能够生成一个新…

Deep Attentive Tracking via Reciprocative Learning NIPS18_tracking Type:Tracking-By-Detection 本篇论文地主要创新是在将注意机制引入到目标跟踪 摘要:源自认知神经科学地视觉注意促进人类对相关的内容的感知.近些年大量工作将注意机制引入到计算机视觉系统中.对于视觉跟踪来说,面临的最大问题在于目标外表的大尺度变化.自注图通过选择性关注临时的鲁棒特征提升视觉跟踪的性能.当前的一些检测跟踪算法主要使用额外的自注模型…

目录 一. 存在的问题 二. 解决的方案 1.点云特征 2.解决方法 三. 网络结构 四. 理论证明 五.实验效果 1.应用 (1)分类: ModelNet40数据集 (2)部件分割:ShapeNet part数据集 (3)语义分割/检测 2.网络结构分析 (1)针对无序性的解决方法比较 (2)输入和特征对齐的有效性验证 (3)鲁棒性测试(数据缺失.异常值.点扰动) 3.可视化(解释为什么鲁棒性) 4.时间和空间复杂度分析 六.仍存在的问题 七.代码分析 PointNet: Deep Learn…

这篇文章的主要贡献点在于: 1.实验证明仅仅利用图像整体的弱标签很难训练出很好的分割模型: 2.可以利用bounding box来进行训练,并且得到了较好的结果,这样可以代替用pixel-level训练中的ground truth: 3.当我们用少量的pixel-level annotations和大量的图像整体的弱标签来进行半监督学习时,其训练效果可和全部使用pixel-level annotations差不多: 4.利用额外的强弱标签可以进一步提高效果. 这是用image-level lab…

Learning how to Active Learn: A Deep Reinforcement Learning Approach 2018-03-11 12:56:04 1. Introduction: 对于大部分 NLP 的任务,得到足够的标注文本来进行模型的训练是一个关键的瓶颈.所以,active learning 被引入到 NLP 任务中以最小化标注数据的代价.AL 的目标是通过识别一小部分数据来进行标注,以此来降低 cost,选来最小化监督模型的精度. 毫无疑问的是,AL 对于其…