联邦学习在机器学习领域有什么独立存在的价值? 第1页

@王晋东不在家 写的很不错了，我权当提供一些我的看法。

确实，我们看已经发表的（主要）成果，看起来都很工程，比如，谷歌的一系列文章^[1][2][3]给人的感觉就是，一个FedAvg搞一堆应用，打几个补丁，能用了，over.

不过我觉得一个概念从提出到完善一定要经历如下的过程。

提出——价值被认可——有人先应用——应用了，发现问题——把问题规范化（俗称挖坑）——解决问题

一般说来只有把问题规范化了以后，才能发表（至少看起来）很学术的成果。所以，如果认为联邦学习只是一个工程应用那还是不合适的，与其说它只能做工程应用，不如说是大部分人还没有着手去发现问题。就像在2012年AlexNet刚刚提出的时候，我们也想不到CV会有那么多open questions，比如各种检测，语义分割，模型压缩，等等……

另外，我觉得现在联邦学习主要在工业上，其实不一定是坏事，原因有两点，

1. 证明了联邦学习这个概念——多方合作的隐私保护机器学习是有价值且值得继续做的，这就带动了企业的科研团队研究，毕竟做了能挣钱。
2. 只有大规模用了，才能发现要解决的问题。如果提出一个概念根本没人用，那这个概念的问题这辈子都发现不了。反之如果一个东西一直有人用，那总会有人感到不满意从而提出问题。

以上是我对联邦学习研究现状的一些粗浅的解读。

从我最近对联邦学习的思考和文章阅读，我觉得有不少学术问题是联邦学习需要解决的：

1. 优化。已经有工作证明了朴素的FedAvg在非iid数据上会有发散和不最优的问题^[4][5]（今年7月挂的arxiv，三个月已经有7个引用了）
2. 通讯和计算花费。如果是部署在终端上的联邦学习，你肯定不可能让什么麒麟980跑Transformer和DenseNet，这就意味着肯定要经过特定的模型压缩才能让模型真正跑起来。而且，你也不可能指望家用wifi能有多大的带宽，传几个G的模型参数肯定是不靠谱的，所以降低通讯成本也是必要的。这方面有相关工作，但是比较general^[6]
3. 鲁棒性，就像刚才说的一样，不可能指望家用wifi有多好的可靠性，这样就必须要应对客户端掉线的问题，怎么做鲁棒的联邦学习，是有必要研究的（比如说调度策略，安全计算策略）
4. 激励机制：如果是面向企业（2B）的联邦学习，自然要让企业看到好处才能建立生态。这方面我不是太懂，只是提出一个概念，建立相关机制可能要用到超越CS/AI领域的知识。
5. 安全隐私。联邦学习提出是为了解决数据隐私，但是很不好意思，已经有很多工作研究了它的安全漏洞^[7][8]，所以这方面肯定是重要课题，如何应对对隐私的攻击。现有的解决方式有的用了加密计算，不过这样的话效率又很成问题。
6. 数据问题。联邦学习提出是为了解决数据不够/质量不好，但是目前的应用里面，数据量都特别大（参见谷歌那么多应用，哪个应用真的数据不够了），所以这一点还没有得到足够的回应。某些领域里面，天生的就是数据不够或者质量不好（比如医疗），在这种情况下怎么发挥联邦的作用，也是一个值得讨论的问题。

我能想到的大概这么多。毫无疑问，一旦等这些问题被回应/严格化了以后，联邦学习就能超越工程应用了。

参考

1. ^McMahan, H. Brendan, et al. "Communication-efficient learning of deep networks from decentralized data." arXiv preprint arXiv:1602.05629 (2016). https://arxiv.org/pdf/1602.05629
2. ^Bonawitz, Keith, et al. "Practical secure aggregation for privacy-preserving machine learning." Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security. ACM, 2017. http://delivery.acm.org/10.1145/3140000/3133982/p1175-bonawitz.pdf?ip=175.159.126.140&id=3133982&acc=OA&key=CDD1E79C27AC4E65%2EFC30B8D6EF32B758%2E4D4702B0C3E38B35%2E5945DC2EABF3343C&__acm__=1571921715_7c82a1a879563b41f046994ae4000087
3. ^Yang, Timothy, et al. "Applied federated learning: Improving google keyboard query suggestions." arXiv preprint arXiv:1812.02903 (2018). https://arxiv.org/pdf/1812.02903
4. ^On the Convergence of FedAvg on Non-IID Data https://arxiv.org/pdf/1907.02189.pdf
5. ^Federated Learning with Non-IID Data https://arxiv.org/pdf/1806.00582.pdf
6. ^Federated learning: Strategies for improving communication efficiency https://arxiv.org/pdf/1610.05492
7. ^Deep models under the GAN: information leakage from collaborative deep learning https://arxiv.org/pdf/1702.07464
8. ^Exploiting unintended feature leakage in collaborative learning https://arxiv.org/pdf/1805.04049.pdf

亲身经历：在大数据公司实习时，第一次见识到数据的重要性，由于不同公司下属业务不同，所得到的用户字段和标签具有领域特色，如银行用户的特征为金融活动，购物app的用户特征为购物活动，交通app用户的特征为交通活动，那么在构造用户画像的时候，不同公司只能根据自己公司数据库的数据进行特征设计和数据挖掘，来构造领域内用户画像。但人们会轻而易举得想到，各个方面、不同特征的建立可以使用户画像更丰满，真实度更高，因此需要联通各个领域的用户特征。但同公司间数据因为隐私不能直接共享，要么脱敏，要么上区块链，使得数据获取非常麻烦。联邦学习很大程度上缓解了这种麻烦。

以下推荐杨强教授的讲座，清晰展示了联邦学习的发展和应用。

杨强教授在市北·GMIS 2019 全球数据智能峰会上的演讲内容：