《2023联邦学习全球研究与应用趋势报告》重磅发布 多维度展示前沿新动向

8月19日至25日，第32届国际人工智能联合会议（IJCAI）在澳门隆重举办。在21日上午举办的IJCAI 2023可信联邦学习国际研讨会（International Workshop on Trustworthy Federated Learning in Conjunction with IJCAI 2023，FL-IJCAI’23）上，由清华大学人工智能研究院知识工程研究中心（KEG）、北京智谱华章科技有限公司、开放群岛开源社区联合编写的《2023联邦学习全球研究与应用趋势报告》重磅发布。

清华大学计算机系唐杰教授在会上对《2023联邦学习全球研究与应用趋势报告》进行了精彩解读，并与联邦学习领域研究与应用带头人展开了交流讨论。报告主要从技术研究、学者画像、主流框架、行业应用，以及发展趋势几大方面，较为全面深入地介绍联邦学习的技术研究和应用进展，并展望该技术的未来发展前景。

人工智能未来能否可持续发展面临着三大困境：数据困境、法律挑战、算力困境。

针对以上困境，联邦学习（Federated Learning）成为解决数据孤岛问题、满足隐私保护和数据安全的一个可行性解决方案。自2016年首次由 Google 提出、2018年由微众银行引入国内并率先在 B 端进行创新应用以来，联邦学习逐渐成为一种解决合作中数据隐私与数据共享矛盾的新路径，被大量应用于金融、安防、医疗、在线推荐系统等领域。近年来联邦学习技术得到了飞速的发展，其研究和应用的发展动向和趋势备受关注。

《2023联邦学习全球研究与应用趋势报告》（以下简称报告）重点突出展示了联邦学习领域具有较高技术质量、创新力的科研成果，例如，对科研实践具有较大影响力的高被引论文及其作者的分析，来自人工智能国际顶会的联邦学习专题研讨会最佳论文相关分析等，大中华地区联邦学习领域的国家自然科学基金获批项目分析，以及融合了大模型技术的联邦学习论文和专利分析，以展示更加丰富的联邦学习新方向和新探索。

主要核心要点

“中美双雄”继续引领全球联邦学习发展

●中国和美国的联邦学习论文发布量遥遥领先于其他国家。六成以上高被引论文来自中美两国，中美两国论文合作数量也是全球最多；七成以上最佳论文来自中美两国。

●联邦学习全球高被引论文数量领先的机构是谷歌、卡内基·梅隆大学。中国的高被引论文量较多的机构是北京邮电大学、香港科技大学、中山大学以及深圳市大数据研究院。最佳论文数量则是卡内基·梅隆大学与香港科技大学各以3篇而并列第一。全球高被引论文作者主要聚集在中美，美国的高被引论文作者数量是中国的2.3倍。

●全球专利受理数量以中国地区最多，约占全球受理总量的七成。专利申请数量前三名机构全部是中国机构。

●联邦学习的九成以上国家自然科学基金资助是青年科学基金项目和面上项目。

●开源框架主要来自中美，其中OpenMined 推出的Pysyft 、FATE开源社区的FATE热度超过4000，居于第一梯队；FedML.AI的FedML、Adap 的Flower、谷歌的TFF等框架的热度也较高，热度超过2000，且FATE和FedML两个框架目前已推出LLM模块。

未来联邦学习研究趋势将更多与算法模型和安全隐私技术相关

●目前联邦学习研究热点主要聚焦在机器学习方法、模型训练、隐私保护三方面。

●未来几年研究将更多涉及算法模型和安全隐私技术，如数据隐私、差分隐私、边缘计算、物联网、同态加密等。可信联邦学习成为重要趋势，联邦大模型技术、模型产权保护（IPR）、模型定价等正在初步探索。

●行业应用越来越成熟，应用研究方向呈现出更多与物联网、区块链、客户端、电子设备等融合的态势。

下面我们具体来看看，当前联邦学习的技术发展现状如何。

全球联邦学习论文发布量增长较快

基于AMiner 系统，通过关键词组在标题和摘要中检索2016年至2022年论文数据。结果显示，研究时段内联邦学习相关论文数量逐年增多。

图｜联邦学习研究论文趋势（来源：《2023联邦学习全球研究与应用趋势报告》）

中美两国的联邦学习高被引论文发布量领跑全球

根据论文第一作者所在机构的所属国家进行统计分析，发现联邦学习的近年来高被引论文发表主要是来自于美国和中国。其中，美国的高被引论文占39.2%，较上期占比略升，保持全球首位；中国的高被引论文占22%，仍居于全球第二位；澳大利亚、英国等国也拥有一定数量的高被引论文。

图｜联邦学习高被论文国家分布（来源：《2023联邦学习全球研究与应用趋势报告》）

美国的论文被引用量全球显著领先

联邦学习相关论文总引用量TOP 10国家是美国、中国、德国、英国、新加坡、澳大利亚、印度、瑞士、加拿大和韩国。美国、中国已经连续三年稳居全球前两名。本期，美国的论文总被引用量仍明显高于其他国家，并较上期增长2.3倍，仍占据榜首；中国的论文被引用量较上期增长近2倍，保持第二位置。瑞士、加拿大和韩国是本期新进入前十的国家，上期居于前十的日本、以色列和波兰本期未能进入前十。

图｜联邦学习高被引论文引用量TOP 10 国家（来源：《2022联邦学习全球研究与应用趋势报告》）

联邦学习当前的跨国合作情况

报告指出，四成以上的高被引论文存在着跨国科研合作，涉及到37个国家。中国和美国合作的论文数量最多，高达23篇；其次是美国和英国、中国和新加坡，两者之间各分别有18篇、11篇的合作论文；之后，中国和英国、美国和韩国之间都各有9篇合作论文；中国和澳大利亚、中国和加拿大之间都各有6篇合作论文。其他各国家之间虽有合作但大部分为5篇及以下。

图｜联邦学习高被论文中外合作情况（2016-2022年）（来源：《2023联邦学习全球研究与应用趋势报告》）

七成以上最佳论文来自中美两国

一些人工智能国际学术顶会在年度会议举办期间，专门设立了联邦学习主题研讨会（workshop）并且评选出联邦学习领域最佳论文。数据显示，2016年至2022年期间人工智能顶会期间联邦学习专题研讨会的最佳论文共计发现31篇，它们来自包括FL -NeurIPS、FL-IJCAI、FL-ICML以及FL -AAAI四个顶会系列。基于论文一作的所属国家，发现联邦学习的最佳论文来自于美国、中国、瑞士、沙特阿拉伯、新加坡、韩国和法国七个国家。

FL-IJCAI获奖论文相关作者共计50位，来自中国、新加坡、美国、瑞士、法国、韩国、澳大利亚、芬兰八个国家的20多个机构；FL-NeurIPS获奖论文相关作者共计45位，来自美国、日本、中国、新加坡四个国家的10多个机构。

相比而言，中国作者在FL-IJCAI研讨会获奖论文中表现最突出，共计有33人次获奖，是美国作者在该研讨会获奖人次的6倍以上；美国作者则在FL-NeurIPS研讨会获奖论文中表现更突出，共计有40人次获奖。

联邦学习的高被引学者地图与画像

报告对联邦学习的高被引论文学者人才地图与画像进行了分析，指出全球联邦学习学者主要聚集在美国和中国，这两个国家拥有的学者数量分别为392位和173位，明显多于其他国家的学者数量。其他国家的高被引论文学者数量的均不足百人。澳大利亚和英国的高被引论文作者数量并列第三。值得注意，美国的高被引论文作者数量全球最多，占全球四成以上，约是中国高被引论文作者数量的2.3倍。

从机构上看，联邦学习领域高被引学者总量TOP 10机构之中，半数席位被美国机构占据，其余几家机构则来自中国、新加坡。前十机构之中包括五家企业，分别是谷歌、IBM、英伟达、微众银行和英特尔；可见，在联邦学习领域，企业人才是一个不可忽视的研究群体。谷歌的高被引论文作者数量最多，中国电子科技大学与英特尔公司并列第十。

最受关注的联邦学习研究主题

报告通过对AMiner 系统论文的热词分析发现，近年联邦学习领域的研究热点TOP 10热度榜的分别为物联网、聚合、优化、区块链、边缘计算和隐私保护等。

图｜联邦学习领域研究热点词云图（来源：《2023联邦学习全球研究与应用趋势报告》）

专利申请情况

专利在一定程度上能够反映出某项技术的发展方向和潜在前景。报告指出，全球联邦学习专利申请呈现出逐年攀升的趋势，目前的专利布局主要聚焦安全与隐私保护方向，以及机器学习方法、模型训练等方面。

全球范围内，近年来受理联邦学习专利申请数最多的地区是中国，有4000多件，约占全球受理总量的七成以上，数量优势非常突出。

中国联邦学习专利申请量占全球联邦学习专利总申请量的75.8%；其次是美国，美国联邦学习专利申请量占全球联邦学习专利总申请量的11.6%。韩国和印度虽然排名第三和第四。

图 | 联邦学习专利申请全球受理局分布（2016-2022年）（来自《2023联邦学习全球研究与应用趋势报告》）

从专利申请人来看，联邦学习专利申请量TOP 10的机构主要分布在中国和美国两个地区，依次占据八席和两席，同时，排名前3名机构都位于中国，依次是支付宝（杭州）信息科技有限公司、深圳前海微众银行股份有限公司、华控清交信息科技(北京)有限公司。

从专利申请地来看，国内近年来联邦学习专利申请量TOP 10 省市分别是北京、广东、浙江、上海、江苏、山东、陕西、四川、湖南和重庆。北京、广东和浙江属于该领域第一梯队，专利申请量均高于500件，明显超过其他省市。

国家自然科学基金项目资助分析

 从目前所获取数据的总体情况来看，虽然2016年至2022年间相关基金项目数量趋势略有上升，但是总量较少。2016至2022年期间，联邦学习领域的国家自然科学基金项目共计获批102个，所获批项目分布在全国22个省份的60多家依托单位，涉及20多个学科，总资助金额达5277万元人民币。值得注意，2019年之后，联邦学习相关基金项目获批势头增长明显：2020至2022年的基金项目获批数量占总量的84.3%，获资助金额占总额的74.5%。

图 | 联邦学习国家自然科学基金项目资助情况（2016-2022年）（来自《2023联邦学习全球研究与应用趋势报告》）

联邦学习框架与系统分析

目前，市面上有许多来自于科研机构或企业的关于联邦学习的开源工程。报告通过AMiner 数据库中的新闻数据，按照开源与非开源两类，分析梳理了国内外主要的联邦学习相关系统框架。

图 |联邦学习框架开源趋势图（2016-2022年）（来自《2023联邦学习全球研究与应用趋势报告》）

非开源的联邦学习框架基本上都是由企业推出的。根据其正式发布时间进行排序，发现这些联邦学习框架最多集中发布于2020年。其中，发布时间较早的是翼方健数的联邦学习框架，以及星云Clustar的AIOS，两者均于2019年发布。电信与银行两个领域已有行业级的联邦学习框架。其中，农业银行、光大、浦发等几家银行发布的联邦学习平台较多是基于FATE框架构建或延续的。

联邦学习与大模型融合，潜力空前

大模型时代，联邦学习的发展契合了新数字时代规避隐私风险的需求。联邦学习技术的发展趋势如何？

报告对联邦学习发展趋势进行了分析。本期的联邦学习技术研究热度前十主题包括训练、隐私、服务器端、物联网、区块链等。整体来看，这些研究主题均呈现平稳上升的发展趋势，其中，过去一年来研究热度增幅最大的主题是数据训练以及安全，物联网次之。

从近两年的发展动向看，联邦学习研究的重点，集中在如何同时兼顾数据隐私保护和模型性能、学习效率等目标，即可信联邦学习的核心问题上。2022年底以来，对联邦大模型的研究，是可信联邦学习在预训练大模型方面的应用与延申。联邦学习大模型技术框架已有发布。截至目前，发现市场上有三家机构推出了联邦大模型框架：FATE、FedLLM、和PrimiHub，它们均是横向联邦。

报告还指出，联邦学习和大模型的结合也存在着诸多严峻挑战，主要体现在计算代价、通信开销、隐私泄露、模型安全等方面。

未来，随着人工智能技术和应用的不断升级，联邦学习的技术研发和落地应用还将进一步扩大和深入，可信联邦学习将越来越受重视，融入大模型技术的联邦学习未来市场与商业化的实际落地将出现更多的场景应用。