本文链接:https://blog.csdn.net/Sinsa110/article/details/90697728代码微众银行+杨强教授团队的联邦学习FATE框架代码:https://github.com/WeBankFinTech/FATE谷歌联邦迁移学习TensorFlow Federated (TFF)框架代码:https://www.tensorflow.org/federated/论文Towards Federated Learning at Scale: System Desi…

核心问题:如果每个用户只有一类数据,如何进行联邦学习? Felix X. Yu, , Ankit Singh Rawat, Aditya Krishna Menon, and Sanjiv Kumar. "Federated Learning with Only Positive Labels." (2020). 简述 在联邦学习中,如果每个用户节点上只有一类数据,那么在本地训练时会将任何数据映射到对应标签,此时使用分布式SGD或FedAvg算法学习分类器会导致整体学习失效.为了安全性…

联邦学习简介        联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换时的信息安全.保护终端数据和个人数据隐私.保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习.其中,联邦学习可使用的机器学习算法不局限于神经网络,还包括随机森林等重要算法.联邦学习有望成为下一代人工智能协同算法和协作网络的基础. 联邦学习的系统构架       以包…

Sunwoo Lee, , Anit Kumar Sahu, Chaoyang He, and Salman Avestimehr. "Partial Model Averaging in Federated Learning: Performance Guarantees and Benefits." (2022). 简介 传统FedAvg算法下,SGD的多轮本地训练会导致模型差异增大,从而使全局loss收敛缓慢.本文作者提出每次本地用户更新后,仅对部分网络参数进行聚合,从而降低模型…

本人是学生党,同时也是小菜鸡一枚,撞运气有机会能够给老师当项目助理,在这个过程中肯定会学到一些有趣的知识,就在此平台上记录一下,在知识点方面有不对的还请各位指正. What(什么是联邦学习?) 联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换时的信息安全.保护终端数据和个人数据隐私.保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习.其中,…

B. McMahan, E. Moore, D. Ramage, S. Hampson, and B. A. y Arcas, "Communication-Efficient Learning of Deep Networks from Decentralized Data," in Proceedings of the 20th International Conference on Artificial Intelligence and Statistics, Apr. 2017…

挖个大坑,等有空了再回来填.心心念念的大综述呀(吐血三升)! 郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! 项目地址:https://github.com/open-intelligence/federated-learning-chinese 具体内容参见项目地址,欢迎大家在项目的issue上提出问题!!! Abstract 联邦学习(FL)是一种机器学习环境,其中许多客户端(如移动设备或整个组织)在中央服务器(如服务提供商)的协调下协同训练模型,同时保持训练数据去中心化.FL…

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! arXiv:1908.07873v1 [cs.LG] 21 Aug 2019 Abstract 联邦学习包括通过远程设备或孤立的数据中心(如移动电话或医院)训练统计模型,同时保持数据本地化.在异构和潜在的大规模网络中进行训练带来了新的挑战,这些挑战的要求从根本上偏离了大规模机器学习.分布式优化和隐私保护数据分析的标准方法.在这篇文章中,我们讨论了联邦学习的独特特点和挑战,对当前的方法进行了广泛的概述,并概述了与广泛的研究界相关的未来工…

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! 以下是对本文关键部分的摘抄翻译,详情请参见原文. NeurIPS 2019 Workshop on Federated Learning for Data Privacy and Confidentiality, Vancouver, Canada. Abstract 我们解决了非i.i.d.情况下的联邦学习问题,在这种情况下,局部模型漂移,抑制了学习.基于与终身学习的类比,我们将灾难性遗忘的解决方案改用在联邦学习上.我们在损失函数中…

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! 以下是对本文关键部分的摘抄翻译,详情请参见原文. arXiv: 1910.06837v1 [cs.CR] 14 Oct 2019 Abstract 联邦学习是一种很有前途的机器学习方法,它利用来自多个节点(如移动设备)的分布式个性化数据集来提高性能,同时为移动用户提供隐私保护.在联邦学习中,训练数据广泛分布在移动设备上,作为用户得到维护.中央聚合方通过使用移动设备的本地训练数据从移动设备收集本地更新来更新全局模型,以在每次迭代中训练全…

我们在博文<联邦学习:按病态独立同分布划分Non-IID样本>中学习了联邦学习开山论文[1]中按照病态独立同分布(Pathological Non-IID)划分样本. 在上一篇博文<联邦学习:按Dirichlet分布划分Non-IID样本>中我们也已经提到了按照Dirichlet分布划分联邦学习Non-IID数据集的一种算法.下面让我们来看按Dirichlet分布划分数据集的另外一种变种,即按混合分布划分Non-IID样本,该方法为论文[2]中首次提出. 该论文提出了一个重要的假设…

这是一个新开的每周六定期更新栏目,将本周arxiv上新出的联邦学习等感兴趣方向的文章进行总结.与之前精读文章不同,本栏目只会简要总结其研究内容.解决方法与效果.这篇作为栏目首发,可能不止本周内容(毕竟欠账太多了). 量化 A. T. Suresh, Z. Sun, J. H. Ro, and F. Yu, "Correlated quantization for distributed mean estimation and optimization," arXiv:2203.0492…

A Survey on Federated Learning: The Journey From Centralized to Distributed On-Site Learning and Beyond Author Sawsan AbdulRahman, Hanine Tout, Hakima Ould-Slimane, Azzam Mourad, Chamseddine Talhi, Mohsen Guizani Keywords AI; DL; distributed intellig…

A review of applications in federated learning Authors Li Li, Yuxi Fan, Mike Tse, Kuo-Yi Lin Keywords Federated learning; Literature review; Citation analysis; Research front Abstract FL是一种协作地分散式隐私保护技术,它的目标是克服数据孤岛与数据隐私的挑战.本研究旨在回顾目前在工业工程中的应用,以指导未来的落地应…

Federated Learning for Wireless Communications: Motivation, Opportunities, and Challenges Authors Solmaz Niknam, Harpreet S. Dhillon, Jeffrey H. Reed Keywords Abstract 本文介绍了FL的总体思路,讨论了在5G网络中可能的应用,描述了无线通信环境中的关键技术挑战与关于未来研究的开放性问题. Publication DATA SCIEN…

近日,微众银行联邦学习FATE开源社区迎来了两位新贡献者——来自腾讯的刘洋及秦姝琦,作为云计算安全领域的专家,两位为FATE构造了新的功能点,并在Github上提交修复了相关漏洞.(Github项目地址:https://github.com/FederatedAI/FATE )从FATE的面世,到贡献者激励制度的推出,参与开源社区建设的数据安全行业从业者不断踊现,FATE在业内的关注度.价值认可度逐步提升,联邦学习生态正进一步深化及拓展. AI时代数据安全问题严峻,联邦学习是必经解决路径 人工智…

挖个坑吧,督促自己仔细看一遍论文(ICLR 2020),看看自己什么时候也能中上那么一篇(流口水)~ 郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Abstract 联邦学习允许边缘设备协同学习共享模型,同时将训练数据保留在设备上,将模型训练能力与将数据存储在云中的需求分离开来.针对例如卷积神经网络(CNNs)和LSTMs等的现代神经网络结构的联邦学习问题,我们提出了联邦匹配平均(FedMA)算法.FedMA通过对提取到的具有相似特征的隐元素(即卷积层的通道:LSTM的隐状态:全…

最近在学深度学习相关的东西,在网上搜集到了一些不错的资料,现在汇总一下: Free Online Books  by Yoshua Bengio, Ian Goodfellow and Aaron Courville Neural Networks and Deep Learning42 by Michael Nielsen Deep Learning27 by Microsoft Research Deep Learning Tutorial23 by LISA lab, University…

接下来我们回顾一下动态规划算法(DP)和蒙特卡罗方法(MC)的特点,对于动态规划算法有如下特性: 需要环境模型,即状态转移概率\(P_{sa}\) 状态值函数的估计是自举的(bootstrapping),即当前状态值函数的更新依赖于已知的其他状态值函数. 相对的,蒙特卡罗方法的特点则有: 可以从经验中学习不需要环境模型 状态值函数的估计是相互独立的 只能用于episode tasks 而我们希望的算法是这样的: 不需要环境模型 它不局限于episode task,可以用于连续的任务 本文介绍的时…

集成学习(Ensembling Learning) 标签(空格分隔): 机器学习 Adabost 对于一些弱分类器来说,如何通过组合方法构成一个强分类器.一般的思路是:改变训练数据的概率分布(权值分布),针对不同的训练数据分布调用弱学习算法学习一系列的弱分类器,然后将他们组合起来,形成强分类器. 需要解决的问题有: 在每一轮如何改变训练数据的权值或概率分布? 如何将若分类器组合成一个强分类器. 已知数据集\(T = \{(x_{1},y_{1}),(x_{2},y_{2}),..., (x_{n…

转自:机器学习(Machine Learning)&深度学习(Deep Learning)资料 <Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决策树.SVM.Adaboost到随机森林.Deep Learning. <Deep Learning in Neural Networks: An Overview> 介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最…

特别棒的一篇文章,仍不住转一下,留着以后需要时阅读 基于Theano的深度学习(Deep Learning)框架Keras学习随笔-01-FAQ…

强化学习读书笔记 - 06~07 - 时序差分学习(Temporal-Difference Learning) 学习笔记: Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto c 2014, 2015, 2016 数学符号看不懂的,先看看这里: 强化学习读书笔记 - 00 - 术语和数学符号 时序差分学习简话 时序差分学习结合了动态规划和蒙特卡洛方法,是强化学习的核心思想. 时序差分这个词不…

Deep Learning是机器学习中一个非常接近AI的领域,其动机在于建立.模拟人脑进行分析学习的神经网络,近期研究了机器学习中一些深度学习的相关知识,本文给出一些非常实用的资料和心得. Key Words:有监督学习与无监督学习.分类.回归.密度预计.聚类,深度学习,Sparse DBN, 1. 有监督学习和无监督学习 给定一组数据(input,target)为Z=(X,Y). 有监督学习:最常见的是regression & classification. regression:Y是实数ve…

##机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 2)---#####注:机器学习资料[篇目一](https://github.com/ty4z2008/Qix/blob/master/dl.md)共500条,[篇目二](https://github.com/ty4z2008/Qix/blob/master/dl2.md)开始更新------#####希望转载的朋友**一定要保留原文链接**,因为这个项目还在继续也在不定期更新．希望看到…

[重磅干货整理]机器学习(Machine Learning)与深度学习(Deep Learning)资料汇总 .…

[面向代码]学习 Deep Learning(二)Deep Belief Nets(DBNs) http://blog.csdn.net/dark_scope/article/details/9447967 分类: 机器学习2013-07-24 11:50 517人阅读 评论(5) 收藏 举报 目录(?)[-] DBNdbnsetupm DBNdbntrainm DBNrbmtrainm DBNdbnunfoldtonnm 总结 =================================…

阅读目录 1. 写在前面 2. 什么是active learning? 3. active learning的基本思想 4. active learning与半监督学习的不同 5. 参考文献   1. 写在前面 在机器学习(Machine learning)领域,监督学习(Supervised learning).非监督学习(Unsupervised learning)以及半监督学习(Semi-supervised learning)是三类研究比较多,应用比较广的学习技术,wiki上对这三种学习…

在线学习 online learning Online learning并不是一种模型,而是模型的训练方法.能够根据线上反馈数据,实时快速的进行模型调优,使得模型能够及时反映线上的变化,提高线上预测的准确率. 在线模型的评估之--Mistake Bound 假设有一个模型完全预测正确,Mistake Bound表示的就是找到这个模型最多犯错的次数. 用Halving算法来解决这个问题,算法步骤如下: 所以犯错次数小于等于对模型集合数量求以2为底的对数. 在线模型的评估之--Regret 后悔度…

流形学习 (manifold learning) zz from prfans............................... dodo:流形学习 (manifold learning) dodo 流形学习是个很广泛的概念.这里我主要谈的是自从2000年以后形成的流形学习概念和其主要代表方法.自从2000年以后,流形学习被认为属于非线性降维的一个分支.众所周知,引导这一领域迅速发展的是2000年Science杂志上的两篇文章: Isomap and LLE (Locally Lin…