语义表示与计算的最新落地实践！

分享嘉宾：

1. 宫叶云 MSRA 主管研究员

个人简介：宫叶云博士毕业于复旦大学计算机科学与技术学院，师从黄萱菁教授与张奇教授。目前就职于微软亚洲研究院 担任主管研究员职位。在国际学术期刊和会议（ACL,EMNLP, IJCAI, AAAI, CIKM, COLING等）上发表论文40余篇。获批美国专利7项。

演讲议题：基于预训练的自然语言生成在搜索与广告中的应用

演讲议题介绍：随着自然语言生成技术的快速发展，自然语言生成已经被广泛应用在Bing搜索与广告等重要产品中，该报告将从自然语言生成的预训练，如何在自然语言生成模型中引入外部知识，以及构建自然语言生成相关数据集等多个角度进行介绍。同时以实际产品为例，详细介绍生成模型如何在实际产品中落地。

听众收益：自然语言生成预训练，自然语言生成中引入外部信息，长文本建模等

新技术/实用技术点：生成中ngram预测，基于预训练的非自回归，长文本建模

2. 张俊林 新浪微博 AI Lab负责人

个人简介：张俊林，中国中文信息学会理事，中科院软件所博士。目前担任新浪微博AI Lab负责人。在此之前，张俊林曾经在阿里巴巴任资深技术专家并负责新技术团队，以及在百度和用友担任技术经理及技术总监等职务。他是技术书籍《这就是搜索引擎：核心技术详解》（该书荣获全国第十二届优秀图书奖）、《大数据日知录：架构与算法》的作者。他在自然语言处理以及推荐系统有多年理论与实践经验。

演讲议题：对比学习（Contrastive Learning）在微博内容表示的应用

演讲议题介绍：本分享首先简要介绍对比学习的基本原理，以及目前在图像处理／NLP等领域应用对比学习的主流技术框架与方法。之后会重点介绍使用对比学习，如何对抗数据中的噪音，来获得较好效果的微博文本以及多模态内容表示。

听众收益：

新技术/实用技术点：

3. 黄松芳 阿里巴巴 资深算法专家

个人简介：黄松芳负责大规模预训练语言模型的技术研发和应用，带领团队打造阿里巴巴深度语言模型体系AliceMind，登顶多个国际评测榜单，建设语言模型平台日均调用量超过50亿次，服务200多个活跃场景。

演讲议题：阿里AliceMind语言模型技术及应用

演讲议题介绍：本分享将介绍阿里巴巴深度语言模型体系AliceMind的技术创新、平台建设、业务应用等。

听众收益：了解阿里巴巴在预训练语言模型方面的技术和应用实践。

新技术/实用技术点：通用语言模型StructBERT；生成式语言模型PALM；业务应用案例。

4. 冯仕堃 百度 主任架构师

个人简介：冯仕堃，百度自然语言处理部主任架构师。毕业于中国科学院自动化所，长期深耕语义表示计算、图学习等领域的研发工作，并领导相关工作在百度搜索、信息流、商业广告等核心产品应用落地。在CVPR、AAAI、IJCAI等人工智能顶级国际会议发表多篇高水平学术论文，拥有多项技术专利。曾带领团队获得KDD CUP、SemEval等权威AI比赛冠军。相关工作荣获2020世界人工智能大会最高荣誉SAIL奖、中国人工智能学会优秀科技成果奖、百度最高奖及百度骄傲最佳团队等奖项。

演讲议题：百度知识增强技术ERNIE最新进展及其应用实践

演讲议题介绍：近年来，预训练语言模型在自然语言处理领域发展迅速，并获得广泛应用。本报告将介绍百度基于知识增强的语义理解技术ERNIE的最新进展，主要内容包括首个知识增强大模型ERNIE 3.0，以及在语言生成、跨模态理解、多语言理解等方向取得的技术突破，最后分享基于ERNIE的百度应用实践。

听众收益：预训练语言模型最新技术进展

新技术/实用技术点：知识增强大模型ERNIE 3.0、基于ERNIE技术的语言生成、跨模态理解、多语言理解等技术

5. 裘捷中 清华大学 博士生

个人简介：裘捷中，清华大学计算机科学与技术系五年级博士生，导师为唐杰教授。他的研究兴趣主要包括图表示学习和大规模预训练。

演讲议题：FastMoE：开源分布式MoE模型训练系统

演讲议题介绍：MoE已经成为通往万亿参数大模型的重要工具。报告将介绍开源大规模分布式MoE训练框架FastMoE，并且着重介绍最新的FastMoE v0.2的一些特性。包括（1）全新的负载均衡模块，支持 NoisyGate、GShard、Swith Transformer 等负载均衡策略；（2）同时支持英伟达GPU平台 和 神威国产超算平台；（3）1.75万亿模型训练实战。

听众收益：

新技术/实用技术点：

▌论坛报名：返回搜狐，查看更多