多模态人工智能的崛起

" 模态 "（Modality）是德国理学家赫尔姆霍茨提出的一种生物学概念，即生物凭借感知器官与经验来接收信息的通道，如人类有视觉、听觉、触觉、味觉和嗅觉模态。多模态是指将多种感官进行融合，而多模态交互是指人通过声音、肢体语言、信息载体（文字、图片、音频、视频）、环境等多个通道与计算机进行交流，充分模拟人与人之间的交互方式。

传统的深度学习算法专注于从一个单一的数据源训练其模型。例如，计算机视觉模型是在一组图像上训练的，NLP 模型是在文本内容上训练的，语音处理则涉及声学模型的创建、唤醒词检测和噪音消除。这种类型的机器学习与单模态人工智能有关，其结果都被映射到一个单一的数据类型来源。而多模态人工智能是计算机视觉和交互式人工智能智能模型的最终融合，为计算器提供更接近于人类感知的场景。

多模态人工智能的最新例子是 OpenAI 的 DALL-E，该模型使用艺术家萨尔瓦多 - 达利和皮克斯的瓦力的谐音来命名。它可以从文本描述中生成对应图像。例如，当文本描述为 " 一个甜甜圈形状的时钟 " 被发送到该模型时，它就可以生成以下图像。