Large Scale Distributed Semi-Supervised Learning Using Streaming Approximation Google  2016.10.06 官方 Blog 链接:https://research.googleblog.com/2016/10/graph-powered-machine-learning-at-google.html 今天讲的是一个基于 streaming approximation 的大规模分布式半监督学习框架,出自 Goo…

摘要 神经网络在多个领域都取得了不错的成绩,但是神经网络的合理设计却是比较困难的.在本篇论文中,作者使用 递归网络去省城神经网络的模型描述,并且使用 增强学习训练RNN,以使得生成得到的模型在验证集上取得最大的准确率. 在 CIFAR-10数据集上,基于本文提出的方法生成的模型在测试集上得到结果优于目前人类设计的所有模型.测试集误差率为3.65%,比之前使用相似结构的最先进的模型结构还有低0.09%,速度快1.05倍. 在 Penn Treebank数据集上,根据本文算法得到的模型能够生成一个新…

Deep Attentive Tracking via Reciprocative Learning NIPS18_tracking Type:Tracking-By-Detection 本篇论文地主要创新是在将注意机制引入到目标跟踪 摘要:源自认知神经科学地视觉注意促进人类对相关的内容的感知.近些年大量工作将注意机制引入到计算机视觉系统中.对于视觉跟踪来说,面临的最大问题在于目标外表的大尺度变化.自注图通过选择性关注临时的鲁棒特征提升视觉跟踪的性能.当前的一些检测跟踪算法主要使用额外的自注模型…

目录 一. 存在的问题 二. 解决的方案 1.点云特征 2.解决方法 三. 网络结构 四. 理论证明 五.实验效果 1.应用 (1)分类: ModelNet40数据集 (2)部件分割:ShapeNet part数据集 (3)语义分割/检测 2.网络结构分析 (1)针对无序性的解决方法比较 (2)输入和特征对齐的有效性验证 (3)鲁棒性测试(数据缺失.异常值.点扰动) 3.可视化(解释为什么鲁棒性) 4.时间和空间复杂度分析 六.仍存在的问题 七.代码分析 PointNet: Deep Learn…

这篇文章的主要贡献点在于: 1.实验证明仅仅利用图像整体的弱标签很难训练出很好的分割模型: 2.可以利用bounding box来进行训练,并且得到了较好的结果,这样可以代替用pixel-level训练中的ground truth: 3.当我们用少量的pixel-level annotations和大量的图像整体的弱标签来进行半监督学习时,其训练效果可和全部使用pixel-level annotations差不多: 4.利用额外的强弱标签可以进一步提高效果. 这是用image-level lab…

motivation Active Learning 存在的重要问题:现实数据极度不平衡,有许多类别很少见(rare),又有很多类别是冗余的(redundancy),又有些数据是 OOD 的(out-of-distribution). 1. 不同的次模函数 提出三种次模函数的变体: 次模条件增长(Submodular Conditional Gain, SCG),越大说明差异越大: $$f(\mathcal{A}|\mathcal{P})=f(\mathcal{A}\cup\mathcal{P}…

Statical model regression $y_i=f_{\theta}(x_i)+\epsilon_i,E(\epsilon)=0$ 1.$\epsilon\sim N(0,\sigma^2)$ 2.使用最大似然估计$\rightarrow$最小二乘 $y\sim N(f_{\theta}(x),\sigma^2)$ $L(\theta)=-\frac{N}{2}log(2\pi)-Nlog\sigma -\frac{1}{2\sigma^2}\sum_i\left(y_i-f_{\…

Lecture17 Large Scale Machine Learning大规模机器学习 17.1 大型数据集的学习 Learning With Large Datasets 如果有一个低方差的模型, 通常通过增加数据集的规模,可以获得更好的结果. 但是如果数据集特别大,则首先应该检查这么大规模是否真的必要,也许只用 1000个训练集也能获得较好的效果,可以绘制学习曲线来帮助判断. 17.2 随机梯度下降法 Stochastic Gradient Descent 如果必须使用一个大规模的训练集…

论文笔记之:Natural Language Object Retrieval 2017-07-10  16:50:43   本文旨在通过给定的文本描述,在图像中去实现物体的定位和识别.大致流程图如下: 此处,作者强调了一点不同之处: Natural language object retrieval differs from text-based image retrieval task as it involves spatial information about objects with…

论文笔记之:Visual Tracking with Fully Convolutional Networks ICCV 2015  CUHK 本文利用 FCN 来做跟踪问题,但开篇就提到并非将其看做是一个 黑匣子,只是用来提取特征,而是在大量的图像和 ImageNet 分类任务上关于 CNN 的 feature 做了大量的深度的研究.这些发现促使他们设计了该跟踪系统,他们发现: 不同的卷积层会从不同的角度来刻画目标.顶层的 layer 编码了更多的关于 语义特征并且可以作为种类检测器,而底层的…