我们对世界的体验是多模态的 —— 我们看到物体，听到声音，感觉到质地，闻到气味，尝到味道。模态是指某件事发生或经历的方式，当一个研究问题包含多个模态时，它就具有多模态的特征。为了让人工智能在理解我们周围的世界方面取得进展，它需要能够同时解释这些多模态的信号。

例如，图像通常与标签和文本解释相关联，文本包含图像，以更清楚地表达文章的中心思想。不同的模态具有非常不同的统计特性。

数据是AI的基础，不同行业领域的数据来源广泛、形式多样，其每一种来源或形式都可以看作是一种模态，例如视频、图片、语音以及工业场景下的传感数据，红外、声谱等。

多模态数据的语义理解与知识表示让智能体能更深入地感知、理解真实的数据场景，更能进一步对所感知的知识进行推理，以更好的支撑行业应用，例如智能问答、对话系统、人机交互与推荐等。

与此同时，知识图谱作为一种知识表示、存储的手段，因其表达能力强、扩展性好，并能够兼顾人类认知与机器自动处理，被认为是解决认知智能长期挑战和深度学习可解释性等困境的一种手段。

而多模态数据学习与知识图谱的交互作用为人工智能的应用落地和大数据的价值闭环提供了极富想象力的可能性。

华为诺亚方舟实验室开源了第一个亿级中文多模态数据集：悟空。

这个新发布的数据集不仅规模大——包含1亿组图文对，而且质量也很高。

所有图像都是筛选过的，长宽都在200个像素以上，比例从1/3-3不等。

而和图像对应的文本也根据其语言、长度和频率进行了过滤，隐私和敏感词也都考虑在内。