百科问答小站 logo
百科问答小站 font logo



机器学习小白来提问:关于联邦学习FedAVG和FedSGD的问题? 第1页

  

user avatar   felix_zlf 网友的相关建议: 
      

参考FedSGD和FedAVG的原始论文《Federated Learning of Deep Networks using Model Averaging》中的一段话:

To apply this approach in the federated setting, we select a C-fraction of clients on each round, and compute the gradient of the loss over all the data held by these clients. Thus, C controls the global batch size, with C = 1 corresponding to full-batch (non-stochastic) gradient descent.2 We refer to this baseline algorithm as FederatedSGD (or FedSGD).

FedSGD:每次采用client的所有数据集进行训练,本地训练次数为1,然后进行aggregation。

C:the fraction of clients that perform computation on each round

每次参与联邦聚合的clients数量占client总数的比例。C=1 代表所有成员参与聚合

B:the local minibatch size used for the client updates.

client的本地的训练的batchsize

E:then number of training passes each client makes over its local dataset on each round

两次联邦训练之间的本地训练的次数

综上所述,C=E=1 ,B=∞时,FedAvg等价于FedSGD,FedSGD是特殊形式的FedAVG,与采用什么优化器没有关系。




  

相关话题

  腾讯面试题,如何寻找一个数组里面唯一不重复的元素?要求时间复杂度o(n)和空间复杂度o(1)? 
  Partial Multi-Label Learning是什么?它的发展史又是怎样的?最新的进展如何? 
  DL/ML 模型如何部署到生产环境中? 
  目前有哪些比较成功的人工智能应用? 
  训练过程中loss震荡特别严重,可能是什么问题? 
  [题]两个数的最小公倍数是36,最大公因数是6,这两个数可能是多少? 
  如何利用群论的知识解决三阶魔方? 
  能否对卷积神经网络工作原理做一个直观的解释? 
  基于计算机视觉从一张图片重建人体的三维网格,能否获取腰围、胸围、臂长、腿长等数据? 
  腾讯面试题,如何寻找一个数组里面唯一不重复的元素?要求时间复杂度o(n)和空间复杂度o(1)? 

前一个讨论
我对多普勒效应不太理解,大家可以教教我吗?
下一个讨论
K-means聚类算法中的K如何确定?





© 2024-09-19 - tinynew.org. All Rights Reserved.
© 2024-09-19 - tinynew.org. 保留所有权利