Azure OpenAI 服务推出多模态模型 GPT-4 Turbo with Vision 公共预览

Azure OpenAI 服务（国际版）现已推出多模态模型 GPT-4 Turbo with Vision 的公共预览版本，并在澳大利亚东部、瑞典中部、瑞士北部、美国西部区域可用。GPT-4 Turbo with Vision 是由 OpenAI 开发的大型多模态模型（LMM），支持图像分析并能对图像有关问题生成文本响应。它结合了自然语言处理和视觉理解能力。现在 Azure 用户可充分利用 Azure 可靠的云基础架构和 OpenAI 先进的人工智能研究成果。

过去的语言模型主要专注于文本输入，因而在不同情境中可能会应用受限。GPT-4 Turbo with Vision 通过整合视觉数据打破这一限制，达到了图像理解的先进水平。它不仅仅能够识别图片中的对象，更注重理解上下文和细节，比如创建详细的图像标题、提供丰富的上下文描述、回答关于视觉内容的问题或分配智能标签。

Instacart 这家食品科技和服务公司开发了“Ask Instacart”搜索功能，客户可用自然语言提问食物相关的开放性问题。现在，借助 Azure OpenAI 服务上的 GPT-4 Turbo with Vision，Instacart 正在升级“Ask Instacart”以支持额外的视觉功能。

Azure OpenAI 服务上的 GPT-4 Turbo with Vision 提供了尖端的人工智能能力，同时具备企业级安全性和负责任的人工智能治理。此外，它还提供了专属于 Azure AI 服务的定制增强功能的独特访问权。与 Azure AI 服务结合使用时，通过引入一系列先进功能来增强您的体验，包括：

01 视频提示

通过 Azure AI Vision Video Retrieval 的原生集成，开发者能够“输入”视频。这简化了将视频输入整合到应用程序中的过程，消除了复杂的视频处理代码的需求。通过对视觉和语音进行先进的多模态向量索引，该功能支持检索与视频提示相关的上下文，同时生成有关视频内容的摘要和答案。

Satalia 是全球最大的传播服务集团之一 WPP 的人工智能应用。Satalia 与微软合作，利用 GPT-4 Turbo 与 Azure OpenAI 服务以及 Azure AI Vision，创造性地转变了内容分析和优化。这些技术使 Satalia 能够对视频内容进行深度评估和优化，如广告和社交媒体帖子，为内容效果和受众参与提供深刻见解。

凭借 GPT-4 Turbo with Vision on Azure OpenAI Service with Video Retrieval 创建的视频详细摘要，Satalia 的 AI 工具能够预测视频内容的影响并提出改进建议，从而与受众期望和平台特性保持一致。AI 与人类创造力的融合产出的内容不仅在视觉上引人入胜，且能在情感上产生共鸣。

02 Azure OpenAI on your data 的图像应用

通过结合 GPT-4 Turbo with Vision、Azure AI Search 和 Azure AI Vision，信息检索的方式正在改变。现在，您可以将图像添加到文本数据中，并利用向量搜索来连接您的数据，从而实现更好的聊天体验。这种多模态支持建立在现有的基于文本模型的“Bring Your Data ”功能基础上。