2022联邦学习全球研究与应用趋势报告发布，联邦学习进入2.0时代

9月3日,在2022世界人工智能大会(WAIC 2022)“数据要素流通技术前沿探索论坛”期间,清华大学深圳国际研究生院知识工程研究中心、北京智谱华章科技有限公司、开放群岛开源社区联合发布了《2022联邦学习全球研究与应用趋势报告》。清华大学计算机系教授、博士生导师、清华大学人工智能研究院知识智能中心主任李涓子以现场连线的方式对报告进行了解读,随后,与中国人工智能学会(CAAI)荣誉副理事长、香港科技大学计算机与工程系讲座教授、前系主任杨强及清华大学计算机系教授、副系主任唐杰展开圆桌讨论,深度探讨了全球联邦学习热点议题。

联邦学习2016年被提出以来,从最初在通信终端上“保护用户隐私”的尝试,到目前在泛行业中的“安全护航”,已成为最受关注的隐私计算技术之一。2022年,联邦学习已全面进入2.0时代,技术正在更加安全、高效、广泛地运用于产业端。

“中美双雄”引领全球联邦学习发展,算法模型与安全隐私技术是研究重点

该报告从全球角度洞察联邦学习领域的科研论文发表、专利申请、学者地图与画像、主流框架与行业应用的进展情况,以及技术发展趋势与前景。

据李涓子介绍,本报告的一大亮点是建立了联邦学习知识树,围绕知识树中的相关知识节点,从技术研究、框架和系统以及行业应用对联邦学习的研究和应用现状进行了综述梳理,在这个基础上,从不同的方面对联邦学习的发展趋势进行了预测。从论文、专利等角度对现在的研究热点和研究者以及相关的开源框架进行了分析。

报告显示,从论文发布及“高被引用论文”数量、全球专利受理量及开源框架热度等几个方面来看,“中美双雄”正在引领全球联邦学习发展。

中国和美国的联邦学习论文发布量遥遥领先于其他国家。高被引论文之中有六成以上是来自中美两国,中美两国论文合作数量在全球范围也是最多;联邦学习全球高被引论文领先的机构依次是谷歌、卡内基·梅隆大学、北京邮电大学及微众银行。

而专利受理数量方面,中国则是更为突出。全球专利受理数量以中国地区最多,约占全球受理总量的六成,专利申请数量前三名机构全部是中国机构。

联邦学习的主流开源框架则主要来自中美,其中 OpenMined推出的 Pysyft、微众银行的 FATE和谷歌的 TFF框架的热度居于全球前三位。

通过大量案例梳理,报告指出,未来联邦学习研究趋势将更多与算法模型和安全隐私技术相关。报告显示,目前联邦学习研究热点主要聚焦在机器学习方法、模型训练、隐私保护三方面;未来几年研究趋势将更多涉及算法模型和安全隐私技术,如数据隐私、深度学习、差分隐私、边缘计算、物联网、云计算、移动设备、同态加密、优化问题、沟通效率等。行业应用越来越成熟,应用研究方向呈现出更多与物联网、区块链、车辆交互、5G/6G等技术融合的态势。

技术突破与产业融合相伴相生,是联邦学习的显著特征

经过多年发展,全球联邦学习勾勒出了怎样的人才画像?中外隐私计算、联邦学习的研究和应用方面有何异同?在物联网和边缘计算的应用中如何最大化保护数据及应用数据?算法模型和安全隐私在物联网和边缘计算中的融合趋势是什么?对未来的技术融合有哪些设想?

以报告为切入,李涓子、杨强、唐杰三位教授围绕如上联邦学习全球热点话题展开深度讨论,为业界呈现了一场重量级“联邦学习尖端对话”。

杨强介绍说,“联邦学习这几年进展非常迅猛,(论文)从2018年每年二三十篇,到现在上千篇,发展速度非常快。中外研究侧重确实是有区别的,比如美国的研究大部分侧重于横向联邦学习。中国更注重纵向和异构联邦学习。”

杨强进一步解释道,横向联邦学习以云计算为中心,有一到多个服务器,面对的是众多终端设备,需要一个全局的模型优化,并在这个过程当中保证数据不出本地、数据不出库、模型得到保护等;而异构联邦学习则强调当数据分布不一样的情况下,结合机器学习来实现“数据不动模型动,数据可用不可见”。他强调,既要保障效率和效果提升,又要保证安全,这是中外研究者的一致目标。

唐杰认为,在研究算法、加密方法、共享机制和切分及联邦学习的方法论上,全球都有一些共通之处。而在中国,有其鲜明特色,即国家层面的支持、学术界和产业界的高度融合。他表示,以开源平台来看,中国的联邦学习生态处于世界领先水平,顶层的引领、学术界的核心研究能力和产业界的技术、数据能力整合程度非常高。从长远来看,国内的数据规模更大,对于联邦学习的需求更大。“生态化发展思路加上更大的数据市场”,从这个角度来看,会促进联邦学习未来在国内的快速发展。

联邦学习未来趋势:技术融合与生态繁荣

关于未来技术融合,杨强表示,物联网和联邦学习的融合新趋势非常明显,国内的初始爆发点在金融场景中,正在快速扩展到边缘计算。边缘计算在工业上应用非常多,大家熟知的无人车、智能家电、穿戴式医疗都离不开边缘计算,边缘计算也是未来计算的范式。而从一个中心的大计算范式,到多个计算中心的协同计算过程中,如何达到既高效又可靠安全的效果?联邦学习就自然而然被提出,这也说明了联邦学习已经在向其他产业领域快速渗透的趋势。

关于共享的下一步,唐杰分享了最新的思考:“现在热度比较大的是物联网和边缘计算。随着未来生态发展、市场需求发展,我个人认为爆发点在云上,在各个互相不同的云,以及在一个云上不同机构之间的数据共享和计算。随着联邦学习联盟的发展,我相信在未来还有可能从单纯的数据共享变成模型共享。比如有可能每个机构做模型计算,最后分享出来的是计算出来的中间结果或者最终结果,这样变成模型联邦的大平台。”

2018年以来,以在金融场景中的实践为发端,联邦学习产业化进程加快。广度迅速延展至医疗、智慧城市、自动驾驶等大行业或产业中,深度演进至与物联网、区块链、5G/6G等技术融合。在越来越多的场景中,联邦学习已然不是备选项,而是必选项。

通过“建立并丰富联邦学习生态”来实现和推动技术成果的市场化、商业化已成为业界共识。而开源平台、技术标准、行业应用等多方面的协同发展共同支撑起技术生态的繁荣。截至目前,联邦学习领域已经由企业或行业联盟协会发起并发布了多个国际标准和国家级团体规范;FATE、开放群岛(Open Islands)等开源社区在促进全国性资源开放共享、推动数据要素流通方面已取得了初步成果。随着更多行业的更多企业和机构加入和布局联邦学习技术的应用,联邦学习生态逐渐从当前的跨地域、跨平台互联互通向开放、通用的方向进发。

在全球大数据时代,联邦学习正成为新型的“技术基础设施”,有望成为下一代人工智能协同算法,隐私计算和协作网络的基础,使得数据在合法合规、安全高效边界内,实现真正的价值流动。