|
现代教育的典型特征之一就是多媒体教学手段的大量应用。多媒体教学采用诸如视频、音频等多种渠道和手段，促进教学过程的直观性和趣味性，提升学习效率。多模态手段的应用对于某些学科的知识而言是必要的，比如，很难想象如果不借助具体的图示学生如何能够理解等腰三角形这个概念。因此，教育数据往往呈现出复杂的多模态特性，这一特性多模态的教育知识图谱提出了诉求也创造了条件。教育知识图谱中通常需要将多模态教育数据挂载到相应的知识点。多模态知识图谱本质上实现抽象的符号化概念（知识点）向多模态实例（考题、多模态素材）的接地（Grounding)。人类的抽象概念或知识往往是通过具体经验归纳总结而得到。这些经验是具体的、可感官的，其对应的数据形态是图像与影音。因此，理解某个概念一定程度上体现为能够列举概念的某个多模态实例。总体而言，多模态知识图谱的自动化构建仍处于起步阶段。相对于研究较多的互联网环境的多模态知识图谱构建，教育知识图谱的多模态化尤为困难。其原因是教育与互联网（或消费互联网）等通用领域的多模态数据内容与形式不同，后者的多模态数据往往是人类社会的真实图像、影音，而教育领域的多模态数据多是面向教学的示意图、表格、公式、流程图、原理图。这些图表的抽象程度介于真实世界的图像与纯文本之间，其理解方式与处理手段与物理世界图像完全不同。如何高效地构建大规多模态化的教育知识图谱，如何基于教育多模态图谱进行跨模态推理、跨模态搜索、跨模态阅读理解等仍存在很大的研究空间。
|