【论文笔记】A review of applications in federated learning（综述）

A review of applications in federated learning Authors Li Li, Yuxi Fan, Mike Tse, Kuo-Yi Lin Keywords Federated learning; Literature review; Citation analysis; Research front Abstract FL是一种协作地分散式隐私保护技术,它的目标是克服数据孤岛与数据隐私的挑战.本研究旨在回顾目前在工业工程中的应用,以指导未来的落地应…

论文笔记系列-Neural Architecture Search With Reinforcement Learning

摘要神经网络在多个领域都取得了不错的成绩,但是神经网络的合理设计却是比较困难的.在本篇论文中,作者使用递归网络去省城神经网络的模型描述,并且使用增强学习训练RNN,以使得生成得到的模型在验证集上取得最大的准确率. 在 CIFAR-10数据集上,基于本文提出的方法生成的模型在测试集上得到结果优于目前人类设计的所有模型.测试集误差率为3.65%,比之前使用相似结构的最先进的模型结构还有低0.09%,速度快1.05倍. 在 Penn Treebank数据集上,根据本文算法得到的模型能够生成一个新…

论文笔记：Deep Attentive Tracking via Reciprocative Learning

Deep Attentive Tracking via Reciprocative Learning NIPS18_tracking Type:Tracking-By-Detection 本篇论文地主要创新是在将注意机制引入到目标跟踪摘要:源自认知神经科学地视觉注意促进人类对相关的内容的感知.近些年大量工作将注意机制引入到计算机视觉系统中.对于视觉跟踪来说,面临的最大问题在于目标外表的大尺度变化.自注图通过选择性关注临时的鲁棒特征提升视觉跟踪的性能.当前的一些检测跟踪算法主要使用额外的自注模型…

论文笔记：（CVPR2017）PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation

目录一. 存在的问题二. 解决的方案 1.点云特征 2.解决方法三. 网络结构四. 理论证明五.实验效果 1.应用 (1)分类: ModelNet40数据集 (2)部件分割:ShapeNet part数据集 (3)语义分割/检测 2.网络结构分析 (1)针对无序性的解决方法比较 (2)输入和特征对齐的有效性验证 (3)鲁棒性测试(数据缺失.异常值.点扰动) 3.可视化(解释为什么鲁棒性) 4.时间和空间复杂度分析六.仍存在的问题七.代码分析 PointNet: Deep Learn…

论文笔记之：Large Scale Distributed Semi-Supervised Learning Using Streaming Approximation

Large Scale Distributed Semi-Supervised Learning Using Streaming Approximation Google 2016.10.06 官方 Blog 链接:https://research.googleblog.com/2016/10/graph-powered-machine-learning-at-google.html 今天讲的是一个基于 streaming approximation 的大规模分布式半监督学习框架,出自 Goo…

论文笔记（6）：Weakly-and Semi-Supervised Learning of a Deep Convolutional Network for Semantic Image Segmentation

这篇文章的主要贡献点在于: 1.实验证明仅仅利用图像整体的弱标签很难训练出很好的分割模型: 2.可以利用bounding box来进行训练,并且得到了较好的结果,这样可以代替用pixel-level训练中的ground truth: 3.当我们用少量的pixel-level annotations和大量的图像整体的弱标签来进行半监督学习时,其训练效果可和全部使用pixel-level annotations差不多: 4.利用额外的强弱标签可以进一步提高效果. 这是用image-level lab…

论文笔记 - SIMILAR: Submodular Information Measures Based Active Learning In Realistic Scenarios

motivation Active Learning 存在的重要问题:现实数据极度不平衡,有许多类别很少见(rare),又有很多类别是冗余的(redundancy),又有些数据是 OOD 的(out-of-distribution). 1. 不同的次模函数提出三种次模函数的变体: 次模条件增长(Submodular Conditional Gain, SCG),越大说明差异越大: $$f(\mathcal{A}|\mathcal{P})=f(\mathcal{A}\cup\mathcal{P}…

【论文笔记】A Survey on Federated Learning: The Journey From Centralized to Distributed On-Site Learning and Beyond（综述）

A Survey on Federated Learning: The Journey From Centralized to Distributed On-Site Learning and Beyond Author Sawsan AbdulRahman, Hanine Tout, Hakima Ould-Slimane, Azzam Mourad, Chamseddine Talhi, Mohsen Guizani Keywords AI; DL; distributed intellig…

【论文笔记】Federated Learning for Wireless Communications: Motivation, Opportunities, and Challenges（综述）

Federated Learning for Wireless Communications: Motivation, Opportunities, and Challenges Authors Solmaz Niknam, Harpreet S. Dhillon, Jeffrey H. Reed Keywords Abstract 本文介绍了FL的总体思路,讨论了在5G网络中可能的应用,描述了无线通信环境中的关键技术挑战与关于未来研究的开放性问题. Publication DATA SCIEN…

Deep Learning论文笔记之（八）Deep Learning最新综述

Deep Learning论文笔记之(八)Deep Learning最新综述 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不吝指正交流,谢谢.…

【论文笔记】Malware Detection with Deep Neural Network Using Process Behavior

[论文笔记]Malware Detection with Deep Neural Network Using Process Behavior 论文基本信息会议: IEEE(2016 IEEE 40th Annual Computer Software and Applications Conference) 单位: Nagoya University(名古屋大学).NTT Secure Platform Laboratories(NTT安全平台实验室) 方法概述数据:81个恶意软件日志文件…

论文笔记系列-Neural Network Search ：A Survey

论文笔记系列-Neural Network Search :A Survey 论文笔记 NAS automl survey review reinforcement learning Bayesian Optimization evolutionary algorithm 注:本文主要是结合自己理解对原文献的总结翻译,有的部分直接翻译成英文不太好理解,所以查阅原文会更直观更好理解. 本文主要就Search Space.Search Strategy.Performance Estimatio…

论文笔记[Slalom: Fast, Verifiable and Private Execution of Neural Networks in Trusted Hardware]

作者:Florian Tramèr, Dan Boneh [Standford University] [ICLR 2019] Abstract 为保护机器学习中隐私性和数据完整性,通常可以利用可信执行环境(Trusted Execution Environment),利用硬件和软件的保护机制来使敏感数据的计算独立出来,但这种方式存在效率上的损失.因此这篇论文提出将计算过程分到可信设备和不可信设备中,以高性能执行深度神经网络的.Slalom,将DNN中的所有线性层计算工作外包到不可信但快速的设…

Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现（转）

Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不吝指正…

论文笔记之：Visual Tracking with Fully Convolutional Networks

论文笔记之:Visual Tracking with Fully Convolutional Networks ICCV 2015 CUHK 本文利用 FCN 来做跟踪问题,但开篇就提到并非将其看做是一个黑匣子,只是用来提取特征,而是在大量的图像和 ImageNet 分类任务上关于 CNN 的 feature 做了大量的深度的研究.这些发现促使他们设计了该跟踪系统,他们发现: 不同的卷积层会从不同的角度来刻画目标.顶层的 layer 编码了更多的关于语义特征并且可以作为种类检测器,而底层的…

Twitter 新一代流处理利器——Heron 论文笔记之Heron架构

Twitter 新一代流处理利器--Heron 论文笔记之Heron架构标签(空格分隔): Streaming-process realtime-process Heron Architecture Heron 架构例如以下图: 用户编写公布topoloy到Aurora调度器.每个topology都作为一个Aurora的job在执行.每个job包含几个container,这些container由Aurora来分配和调度.第一个container作为Topology Master.其它的Cont…

Deep Learning论文笔记之（六）Multi-Stage多级架构分析

Deep Learning论文笔记之(六)Multi-Stage多级架构分析 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不…

Multimodal —— 看图说话（Image Caption）任务的论文笔记（一）评价指标和NIC模型

看图说话(Image Caption)任务是结合CV和NLP两个领域的一种比较综合的任务,Image Caption模型的输入是一幅图像,输出是对该幅图像进行描述的一段文字.这项任务要求模型可以识别图片中的物体.理解物体间的关系,并用一句自然语言表达出来. 应用场景:比如说用户在拍了一张照片后,利用Image Caption技术可以为其匹配合适的文字,方便以后检索或省去用户手动配字:此外它还可以帮助视觉障碍者去理解图像内容.类似的任务还有Video Caption,输入是一段视频,输出是对视频的…

论文笔记(1)：Deep Learning.

论文笔记1:Deep Learning 2015年,深度学习三位大牛(Yann LeCun,Yoshua Bengio & Geoffrey Hinton),合作在Nature上发表深度学习的综述性论文,介绍了什么是监督学习.反向传播来训练多层神经网络.卷积神经网络.使用深度卷积网络进行图像理解.分布式特征表示与语言处理.递归神经网络,并对深度学习技术的未来发展进行展望. 原文摘要: 1,深度学习可以让那些拥有多个处理层的计算模型来学习具有多层次抽象的数据的表示. …

论文笔记(2)：A fast learning algorithm for deep belief nets.

论文笔记(2):A fast learning algorithm for deep belief nets. 这几天继续学习一篇论文,Hinton的A Fast Learning Algorithm for Deep Belief Nets.这篇论文一开始读起来是相当费劲的,学习了好几天才了解了相关的背景,慢慢的思路也开始清晰起来.DBN算法就是Wake-Sleep算法+RBM,但是论文对Wake-Sleep算法解释特别少.可能还要学习Wake-Sleep和RBM相关的的知识才能慢慢理解,今天…

论文笔记：Towards Diverse and Natural Image Descriptions via a Conditional GAN

论文笔记:Towards Diverse and Natural Image Descriptions via a Conditional GAN ICCV 2017 Paper: http://openaccess.thecvf.com/content_ICCV_2017/papers/Dai_Towards_Diverse_and_ICCV_2017_paper.pdf Implementation(Torch): https://github.com/doubledaibo/gancapt…

论文笔记： Dual Deep Network for Visual Tracking

论文笔记: Dual Deep Network for Visual Tracking 2017-10-17 21:57:08 先来看文章的流程吧 ... 可以看到,作者所总结的三个点在于: 1. 文章将边界和形状信息结合到深度网络中.底层 feature 和高层 feature 结合起来,得到 coarse prior map,然后用 ICA-R model 得到更加显著的物体轮廓,以得到更好的似然性模型: 2. Dual network 分别处理两路不同的网络,使得前景和背景更加具有…

论文笔记之：Natural Language Object Retrieval

论文笔记之:Natural Language Object Retrieval 2017-07-10 16:50:43 本文旨在通过给定的文本描述,在图像中去实现物体的定位和识别.大致流程图如下: 此处,作者强调了一点不同之处: Natural language object retrieval differs from text-based image retrieval task as it involves spatial information about objects with…

论文笔记之：Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning

论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning 2017-06-06 21:43:53 这篇文章的 Motivation 来自于 MDNet: 本文所提出的 framework 为:…

Learning to Track at 100 FPS with Deep Regression Networks ECCV 2016 论文笔记

Learning to Track at 100 FPS with Deep Regression Networks ECCV 2016 论文笔记工程网页:http://davheld.github.io/GOTURN/GOTURN.html GitHub 地址:https://github.com/davheld/GOTURN 本文第一次利用 Deep Learning 技术将跟踪的速度维持在 100fps,当然是使用 GPU 的前提下.本文的流程框架如下所示: 将跟踪看做是回归问题,…

Face Aging with Conditional Generative Adversarial Network 论文笔记

Face Aging with Conditional Generative Adversarial Network 论文笔记 2017.02.28 Motivation: 本文是要根据最新的条件产生式对抗玩网络(CGANs)来完成,人类老年照片的估计. 主要是做了一下两个事情: 1. 根据年龄阶段,进行照片的老年估计,用 acGAN 网络来完成: 2. 提出一种隐层变量优化算法(latent vector optimization approach),允许 acGAN 可以重构输入人脸图像…

Video Frame Synthesis using Deep Voxel Flow 论文笔记

Video Frame Synthesis using Deep Voxel Flow 论文笔记 arXiv 摘要:本文解决了模拟新的视频帧的问题,要么是现有视频帧之间的插值,要么是紧跟着他们的探索.这个问题是非常具有挑战性的,因为,视频的外观和运动是非常复杂的.传统 optical-flow-based solutions 当 flow estimation 失败的时候,就变得非常困难:而最新的基于神经网络的方法直接预测像素值,经常产生模糊的结果. 于是,在此motivation的基础上,作者…