多模态人机交互的应用与挑战｜CNCC论坛分享

本次论坛由Magic Data创始人兼CEO张晴晴担任主席，中科院声学所研究员、博士生导师颜永红担任共同主席。论坛同时邀请英特尔中国研究院副院长王鹏，以及鹏城实验室助理研究员、CCF YOCSEF深圳副主席张彤参与出席。四位嘉宾作为人工智能领域的资深学者、尖端从业者，对于多模态人机交互均有着独到且富有前瞻性的理解，他们分别带来了《大数据大模型大计算时代的思考》、《浅谈以多模态数据为中心的人工智能》、《非接触感知系统和未来健康管理》以及《多模态多视角医学影像分析》4场主题演讲，对多模态人机交互的最新进展，多模态在各大行业领域的应用与实现，以及如何攻克多模态人机交互领域面临的挑战等话题进行了深入浅出的分享与讨论，引发了在场观众的广泛讨论与强烈共鸣。

Magic Data 创始人兼CEO张晴晴主持论坛

近年来，随着计算技术的发展，以深度学习为核心的智能技术在各个领域都呈现出了大数据大计算大模型的特征，如何在资源有限的情况下构建实用的系统成为了从业人员的一个挑战。作为中国科学院声学所首席科学家，科学院核心骨干特聘研究员，长期从事语音信号处理和识别研究的颜永红老师所作《大数据大模型大计算时代的思考》主题分享以多案例回顾声学所近年来在知识驱动的机器学习方面主要进展为出发点，给各位多模态研究者提供了多个研究的思路。

颜永红分享

传统的深度学习算法主要通过单一数据源训练其模型，这主要与单模态人工智能有关。近年来，随着AI作画、多模态情感分析、文本生成图像、虚拟人等成为AI研究的热点。构建统一的、跨场景、多任务的多模态基础模型已经成为机器学习的主流。多模态数据已成为数据资源的主要形式。是否有可用的多模态数据集以及数据如何标注、各模态数据之间如何进行更好的融合等问题给模型训练带来了巨大的挑战。作为本次论坛的主要发起者之一，MagicData创始人兼CEO张晴晴聚焦AI产学研新生态的构建以及数字人的语音多情感合成等方向，通过《浅谈以多模态数据为中心的人工智能》的主题演讲，对多模态人工智能崛起趋势、多模态技术应用与挑战，以及MagicData对AI行业发展的核心助力产品等问题进行了深度分享与探讨。

张晴晴分享

作为多模态交互在医学领域的重要技术研究方向，非接触式感知技术包括视觉、音频、雷达、超声等多模态信号的采集、处理和分析，能够从不同角度提取和描述人的运动、生理、姿态、情绪等信息。在移动计算和边缘计算越来越关注数据发源地的同时，感知技术要考虑处理数据的实时性、舒适性、方便性和连续性。英特尔中国研究院副院长王鹏以英特尔在非接触式感知领域深耕多年的研究成果为切入点，作了题为《非接触感知系统和未来健康管理》的主题分享。对未来健康管理和服务“既要提供可靠易用的设备体验给患者，也要提供高效的辅助工具和系统给医生，两者形成良性循环以及服务闭环，实现主动健康监测和健康风险评估，为临床治疗和干预提供预警和筛查”这一标准进行了全面的解释与深入的分享。

王鹏分享

在《多模态多视角医学影像分析》主题分享中，来自鹏城实验室助理研究员、中国计算机学会YOCSEF深圳副主席张彤的分享总结了多模态医学影像AI领域模型构建等相关理论及创新成果，并细致分享了所在团队近年来在多模态动态医学图像建模及分析的工作，为医疗场景下的多模态领域研究者提供了成熟的方法论。

张彤分享

随着人工智能产业走向了发展的快车道，已经越来越被更多的人所熟知，对于人机交互技术的研究也是越发深入成熟，多模态交互也成为人机交互的必然趋势。技术与数据的融合则是推动行业发展的关键，也是赋能行业和各大应用场景的前提。本次论坛中关于多模态人机交互的在行业最新进展、多模态在各大行业领域，尤其是医疗医学领域的应用与实现，以及如何攻克多模态人机交互领域面临的难点与挑战等问题，都引发了在场研究者、从业者的热烈讨论，讨论中形成的观点与想法，也为未来多模态领域研究提供了丰富的方向与思路，期待更多的青年、研究者参与到多模态交互领域的研究中。