KDD最佳论文奖首次独立颁给中国内地机构!达摩院开源工作获奖 | 您所在的位置:网站首页 › gnn什么时候提出的 › KDD最佳论文奖首次独立颁给中国内地机构!达摩院开源工作获奖 |
主办方SIGKDD评价其“推动了联邦图学习的发展”。 在此,量子位找到论文一作王桢、通讯作者李雅亮,一起聊了聊他们关于论文研究及背后的更多事儿~ 在图数据上发挥联邦学习能力 本次获奖论文的核心,聚焦在联邦图学习方面。 简单来说,它就是将图学习和联邦学习的优势合璧。 近年来,随着越来越多应用场景对隐私保护的需求增高, 联邦学习愈发火热。 它能让用户在数据始终都停留在本地的基础上,通过交换模型参数或中间结果的方式,在云端联合训练,最终让多方用户都能完成模型训练。 也就是常说的让“数据可用不可见”,从而避免“数据孤岛”问题。 目前,如谷歌的Tensorflow Federated (TFF)、微众银行的FATE等,都是目前大热的开源联邦学习框架。 不过,现有的联邦学习工作,更多关注视觉和自然语言领域, 对图的支持相对有限。 要知道,图 (graph)在表示复杂关系方面,具有很大优势。 它是由节点 (node)和边 (edge)两部分组成的一种数据结构,用来描述对象间关系。 日常生活中,你可以把每个社交账户看作一个节点。预测两个账户是不是有好友关系,就是预测这俩节点之间是否存在连边,从而给你推荐“可能认识的人”。 但是传统神经网络,都是接受几何空间的数据作为输入,无法处理图这种数据结构。 针对这种情况, 图神经网络被提出。它能利用神经网络来图进行深度特征抽取等操作,从而实现更好的推理预测效果。 常用的场景有电子商务、药物研发、金融、互联网社交等。而这些场景,对数据保护的需求往往也会很大。 比如银行反洗钱场景下,需要预测每个账户是否为风险账户,但各个银行的账户信息不能相互公开。 △银行反洗钱场景 还有药物研发过程中,不同厂商只掌握了分子图中的一部分,大家需要共享信息以完成研发任务,但各自的数据还要相互保密。 上述种种,让大家对联邦图学习算法非常渴望。 这样的背景下,达摩院在本次研究中,把图学习用在联邦学习上。 FederatedScope-GNN(以下简称FS-G)基于达摩院已开源的联邦学习框架 FederatedScope(以下简称FS)提出。 首先,FS-G提供了一个 统一视图,灵活支持异构数据的交换。 得益于底层框架FS事件驱动 (event-driven)的编程范式,多种多样的消息交换和参与者的丰富行为得以模块化进行拆分实现——FS-G允许灵活丰富的模块化行为。 其次,FS-G针对图学习提供了 DataZoo和 ModelZoo。 前者为用户提供丰富多样的联邦图数据集,后者提供相应的模型与算法。 此外,DataZoo还实现了大量不同类型的splitters,即便在单机场景里,通过FS-G提供的注册机制,开发者也能轻松把单机代码搬到联邦场景复用。 再者,针对联邦图学习对超参数敏感的现象,FS-G还实现了高效的 模型调优(model tuning)组件。 其中包括多保真度的Successive Halving Algorithm和新近提出的联邦超参优化算法FedEx,以及针对联邦异质任务的个性化。 △一个个性化图神经网络示例 因为各个参与者被允许使用独立的特有神经架构,只聚合共享部分,FS-G允许开发者根据实际情况,采用不同的异步训练策略。 最后,FS-G还提供了丰富的 隐私评估算法,对算法在隐私保护方面的能力进行检验。 春节加班提交论文 对于这次拿下大奖,论文一作 王桢说道,“开心是肯定的,感觉自己的工作得到了认可”。 通讯作者 李雅亮则表示,因为看到了团队为此付出了多少努力,所以觉得这一切更像是一种水到渠成。 实际上,这项工作的筹备时间要从一年多以前算起。 当时,团队洞察到了隐私保护计算行业的发展趋势。作为技术人员,自然而然想到从工具入手,推动这股研究浪潮更快前进。 所以,FederatedScope被提上了日程,FS-G则是其中非常重要的部分之一。 前面也有提到,联邦图学习的工作可以满足应用场景中更为广泛的需求,但是复杂程度也更高。 刚好,王桢博士非常擅长图学习方面的研究。 引用量超过 2500次的知识图谱补全算法TransH,正是他以一作身份完成的工作。 当时,他还正在 中山大学数据科学与计算机学院攻读博士学位,通过微软亚研院联合培养项目,完成了这篇论文。 博士毕业后,王桢就加入了阿里巴巴,曾任阿里云高级算法工程师。 作为主要开发者,王桢参与了阿里机器学习平台PAI中A3gent强化学习组件的研发,并将其开源为EasyRL项目。 同期还参与了伯克利大学Ray RLLib项目共建,并被社区认可为项目committer。 之后,王桢加入达摩院,开始专注联邦图领域的研究。多次在KDD Cup比赛中取得高排名成绩,在ICLR、WWW等国际顶会发表多篇论文。 但即便有优秀学者坐镇,由于联邦图学习是一个十分前沿的领域,领域内一些基础性工作都还没有搭建完整,联邦图学习算法本身也会比普通联邦学习算法难,所以研发FS-G的难度并不小。 王桢提到,最初他们甚至连一个可用的数据集都没有。 加之,图数据相较于其他数据类型,在异质消息交换上会存在更多风险;联邦学习的每个参与者也会有更丰富的行为,去处理这些信息。 因此,研究团队需要在图联邦算法上使用一个与以往不同的编程范式,并设计方案使其在图联邦中发挥最大功效,这是有别于常规开发的。 这背后,都需要更多人力、时间的投入。 论文通讯作者 李雅亮回忆,今年KDD论文提交的时间,刚好在大年初十。 当时整个团队都在兴奋地忙碌着论文的提交工作, 过年几乎都没有休息。 而这些精力的投入,最终也在论文成果中得以显现。 可以看到,FS-G中包含了丰富的联邦图数据集和相应的模型与算法。并且让没有联邦学习背景的开发者,也能自如使用FS-G。 这为后续研究做了大量的基础性工作,可以说是为联邦图学习建立了 新基准。 李雅亮在交谈中也表示,基础性工作的完成,能够吸引更多研究人员参与联邦图学习的研究。 我觉得,这是我们工作能够获得组委会认可的一大原因。 我觉得,这是我们工作能够获得组委会认可的一大原因。 值得一提的,李雅亮作为本次成果的通讯作者,还曾负责FederatedScope的开源工作。 他现在是达摩院智能计算实验室的高级算法专家。 2017年从纽约州立大学布法罗分校博士毕业,研究领域覆盖数据融合、因果推断、自动机器学习、隐私保护计算等领域。 曾担任NeurIPS’21、NeurIPS’21、AAAI’22的领域主席,在IJCAI和NeurIPS上三次组织workshop,在CIKM’22上组织了AnalytiCup比赛,并在KDD、AAAI上多次做了Tutorial。 据他透露,FederatedScope现在已经开源0.2.0版本。 新版本可以更好支持大规模下的异步联邦学习,对用户的友好度也更高。 One More Thing 最后是福利时刻~ 在聊完获奖论文的相关内容后,我们还找两位大佬问了问AI研究方面的学习经验,大家赶紧来抄作业! 首先,两位学者都表示,想学好AI, 数学非常关键。 李雅亮提到,自己观察到这几年很多学生、实习生的数学能力都有些下降,这其实非常值得关注。 现在很多工具变得好用后,大家开始更追求短平快的东西,忽略了更为深入、本质的知识学习。其实数学作为基础能力,和代码这种工程方面的能力,二者缺一不可。 现在很多工具变得好用后,大家开始更追求短平快的东西,忽略了更为深入、本质的知识学习。其实数学作为基础能力,和代码这种工程方面的能力,二者缺一不可。 其次,是大家都关心的怎么读论文的问题。 王桢表示, 读好的论文才是关键所在。 自己要先学会去甄别什么是好的论文,然后把时间花在刀刃上。 而且相较于读论文,李雅亮更鼓励大家去多读书。因为书会帮助大家更好去建立知识体系。 现在,即便他们都已经毕业很多年了,在达摩院智能计算实验室也经常组织读书活动。 推荐大家读一下《Fundation of Machine Learning》!我相信无论是小白还是行家,都会从这本书中得到更多新的见解。 推荐大家读一下《Fundation of Machine Learning》!我相信无论是小白还是行家,都会从这本书中得到更多新的见解。 除了学习经验,我们还问了问大佬们有啥业余爱好。 结果他们都表示,他们做研究就是靠兴趣驱动的,所以平常也很爱钻研。 这点你学废了吗? — 完 — 量子位 QbitAI · 头条号签约 关注我们,第一时间获知前沿科技动态返回搜狐,查看更多 |
CopyRight 2018-2019 实验室设备网 版权所有 |