AI问答中多模态输出有多关键

一、多模态输出的背景与定义

多模态是在一种媒介中应用多种文学、多元文化或“模式”有助于观众对作品的理解。从图像的放置到内容的组织再到交付方法，一切都创造了意义。这是从依赖孤立文本作为主要通信来源转变为数字时代更频繁使用图像的结果。多模态描述了用于撰写信息的文本、听觉、语言、空间和视觉资源的沟通实践。这是维基百科对于多模态的定义。

多模态这个词也是生成式AI热度起来之后才大家熟知的一个概念，指AI输出的形式除了文字之外，还包含图片、视频等多种模态。正是多模态的生成，才让更多人对AI产生了深厚的兴趣。

二、53AI多模态输出优势

我们今天要讨论的多模态输出，并不是多模态生成，是基于RAG方案架构，附加于结果文字输出，对文字结果起到配合、辅助、增强的效果。53AI除文字外还支持PDF、图片、URL、视频四种模态的输出，好处也是显而易见的。

（一）PDF：替代大段文字

通常的AI对话都是文字对文字，用户输入一段文字，AI生成一段回复，一般的问答和生成没有太大问题，如果答案是几百字甚至上千字的一段话，那就会给用户带来较大的阅读压力。比如新员工提问企业HR知识库，员工手册内容是什么，回复可能是上千字的一大段，内容准确可用，但感受一定不好。我们换一种方式，换成几十字员工手册内容概述，加上一个PDF文档。用户可以很快完成概述的阅读，如果要详细阅读员工手册的内容，可以点开PDF文档。目标一样可以达到，用户感受却很好。

（二）图片：信息直观呈现

有些时候，我们需要AI帮我们发名片、发海报、发交通指引，那就一定需要输出图片，纯文字描述达不到要求，不够直观。

（三）URL：解决内容引用问题

URL的应用更为广泛，网站的内容、公众号文章、在线文档等都可以配合文字输出。通过点击链接，用户可以轻松地访问特定网页，阅读详细内容，或获取在线文档中的相关信息。这种便捷的联动性为问题的迅速回复提供了可能，使得信息传递更为高效和直观。

（四）视频：实用操作示范

文字结合短视频，在问答中往往体验极佳。尤其像功能介绍、操作指南这类的问答，从阅读文字、理解文字，再到自己理解和上手，这中间会有一定的距离，而视频形式弥补了看不到、不直观、没感觉的不足，好比老师在讲台上连讲带实操演示的，是很容易理解和消化的。当然这类客户服务效果更好，尤其是产品类、技术类服务的场景。

很多企业在落地AI应用时都会基于大语言模型训练一个企业知识库（关于如何建立一个企业知识库，可以参考《怎样用AI快速落地一个企业知识库》），基于企业知识库进行问答和服务，要求准确，要求解决问题。就像在网络媒体中，大家更偏好图片和视频一样，企业知识库问答，同样需要多模态的加持。虽然大段文字人们一样可以沉下心来完整阅读和理解，但文字+视频这样的组合却能高效地解决问题。

加群主微信，备注“进群”，一起畅谈AI提效。

原文地址：AI问答中多模态输出有多关键