郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! 以下是对本文关键部分的摘抄翻译,详情请参见原文. ASPLOS 2019 Abstract 最近的研究表明,在机器学习的背景下,去中心化算法比中心化算法能提供更好的性能.这两种方法的主要区别在于它们不同的通信模式,它们都容易在异构环境中性能下降.尽管人们一直致力于支持中心化算法来对抗异构性,但在去中心化算法中很少有人涉及到这个问题. 本文提出了第一个考虑异构的去中心化训练协议Hop.基于我们所发现的去中心化训练的一个独特特性,即迭代间…

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! arXiv:1908.07873v1 [cs.LG] 21 Aug 2019 Abstract 联邦学习包括通过远程设备或孤立的数据中心(如移动电话或医院)训练统计模型,同时保持数据本地化.在异构和潜在的大规模网络中进行训练带来了新的挑战,这些挑战的要求从根本上偏离了大规模机器学习.分布式优化和隐私保护数据分析的标准方法.在这篇文章中,我们讨论了联邦学习的独特特点和挑战,对当前的方法进行了广泛的概述,并概述了与广泛的研究界相关的未来工…

1,概述 模型量化属于模型压缩的范畴,模型压缩的目的旨在降低模型的内存大小,加速模型的推断速度(除了压缩之外,一些模型推断框架也可以通过内存,io,计算等优化来加速推断). 常见的模型压缩算法有:量化,剪枝,蒸馏,低秩近似以及紧凑模型设计(如mobileNet)等操作.但在这里有些方法只能起到缩减模型大小,而起不到加速的作用,如稀疏化剪枝.而在现代的硬件设备上,其实更关注的是模型推断速度.今天我们就讲一种既能压缩模型大小,又能加速模型推断速度:量化. 量化一般可以分为两种模式:训练后的量化(po…

A Recipe for Training Neural Networks Andrej Karpathy blog  2019-04-27 09:37:05 This blog is copied from:https://karpathy.github.io/2019/04/25/recipe/ Some few weeks ago I posted a tweet on “the most common neural net mistakes”, listing a few common…

Techniques are presented that include determining, for data to be written to a nonvolatile memory, a location in the nonvolatile memory to which the data should be written based at least on one or more wear metrics corresponding to the location. The…

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Proceedings of the 20th International Conference on Artificial Intelligence and Statistics (AISTATS) 2017, Fort Lauderdale, Florida, USA. JMLR: W&CP volume 54. Copyright 2017 by the author(s). Abstract 现代移动设备可以访问大量适合模型学…

B. McMahan, E. Moore, D. Ramage, S. Hampson, and B. A. y Arcas, "Communication-Efficient Learning of Deep Networks from Decentralized Data," in Proceedings of the 20th International Conference on Artificial Intelligence and Statistics, Apr. 2017…

一.spring容器中的aware接口介绍 Spring中提供了各种Aware接口,比较常见的如BeanFactoryAware,BeanNameAware,ApplicationContextAware,BeanClassLoaderAware等,方便从上下文中获取当前的运行环境.我们先从使用的角度来说明aware接口的使用方式,举例如我们想得到当前的BeanFactory,我们可以让我们的实现类继承BeanFactoryAware接口,然后通过接口注入的方式得到当前容器中的BeanFacto…

Area of Mushroom Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/65536 K (Java/Others)Total Submission(s): 2390    Accepted Submission(s): 578 Problem Description Teacher Mai has a kingdom with the infinite area. He has n students guard…

2016 Multi-University Training Contest 1 2016 Multi-University Training Contest 2 2016 Multi-University Training Contest 3 2016 Multi-University Training Contest 4 2016 Multi-University Training Contest 5 2016 Multi-University Training Contest 6…