光华讲坛——社会名流与企业家论坛第 期

主 题：Towards a mathematical foundation of federated learning: a statistical perspective

主讲人： 清华大学杨朋昆博士

主持人：统计学院林华珍教授

时间：2023年3月31日（周五）下午15:00-16:00

举办地点：柳林校区弘远楼408会议室

主办单位：统计研究中心和统计学院 科研处

主讲人简介：

杨朋昆，清华大学统计学研究中心助理教授。在加入清华大学之前，他在普林斯顿大学电子工程系做博士后。他获得伊利诺伊大学香槟分校电子与计算机工程博士学位(2018年)和硕士学位(2016年)，以及清华大学电子工程系学士学位(2013年)。他的研究兴趣包括高维统计理论，机器学习，算法及优化。他于2020年获得Thomas M. Cover论文奖，在2015年IEEE ISIT上作半全体大会报告并获得Jack Keil Wolf论文奖。

内容简介：

Federated Learning is a promising framework that has great potentials in privacy preservation and in lowering the computation load at the cloud. The successful deployment faces many challenges in both theory and practice such as data heterogeneity and client unavailability. In this talk, I will discuss the resolution from a statistical perspective including the statistical efficiency of FedAvg and FedProx from a nonparametric regression viewpoint, and a new algorithm achieving global convergence when the clients exhibit cluster structure. A key innovation in our analysis is a uniform estimate on the clustering errors, which we prove by bounding the VC dimension of general polynomial concept classes based on the theory of algebraic geometry. I will also discuss the impact of adversarial client unavailability from a robust statistics perspective.

联邦学习是一个有前途的framework，在隐私保护和降低云计算负载方面具有巨大潜力。 成功的部署在理论和实践上都面临着许多挑战，例如数据异构性和客户端不可用。 在本次演讲中，主讲人将从统计角度讨论解决方案，包括从非参数回归角度考虑FedAvg和FedProx的统计效率，以及当客户端表现出聚类结构时实现全局收敛的新算法。 主讲人分析的一个关键创新是对聚类误差的统一估计，通过基于代数几何理论的一般多项式概念类的VC维数来证明这一点。 主讲人还将从稳健统计的角度讨论对抗性客户端不可用的影响。