亚马逊云科技上线Amazon Nova多模态嵌入模型

亚马逊云科技宣布，Amazon Nova Multimodal Embeddings多模态嵌入模型现已在Amazon Bedrock上线，这是一款专为Agentic RAG与语义搜索应用打造的顶尖多模态嵌入模型。该模型是首个通过单一模型支持文本、文档、图像、视频与音频的统一嵌入模型，能以行业顶尖的准确率实现跨模态检索。

当今，企业正不断寻求解决方案，以期从文本、图像、文档、视频、音频等海量非结构化数据中挖掘价值。例如，某企业可能拥有产品图片、包含信息图与文字的宣传册，以及用户上传的视频片段。嵌入模型被广泛应用于这些场景，它可将文本、视觉、音频输入转换为数值表示形式的嵌入向量，这些嵌入向量会捕捉输入内容的语义信息，供AI系统进行比较、搜索与分析，为语义搜索、检索增强生成（RAG）等场景提供技术支撑。尽管嵌入模型能够挖掘非结构化数据的价值，但传统模型通常仅擅长处理单一类型的内容。这一局限迫使客户要么构建复杂的跨模态嵌入解决方案，要么仅局限于单一内容类型的应用场景。这一问题同样存在于混合模态内容类型，例如文本与图像内容交织的文档，或融合视觉、音频、文本元素的视频，现有模型也难以有效捕捉这类内容中的跨模态关联。

Amazon Nova多模态嵌入模型正为解决上述挑战而生！它为文本、文档、图像、视频、音频构建了统一的语义空间，可支持多种场景，包括混合模态内容的跨模态搜索、基于参考图像的搜索，以及视觉文档检索。

开发团队基于各类基准测试对该模型性能进行了评估，结果显示，其开箱即用的准确率处于领先水平。Amazon Nova多模态嵌入模型支持的上下文长度最高达8000 tokens，可处理的文本语言多达200种，并能通过同步与异步API接收输入。此外，它支持分段处理功能（也称为 "分块"，Chunking），可将长文本、视频或音频内容拆分为易于处理的片段，并为每个片段生成嵌入向量。最后，该模型提供四种输出嵌入维度，采用套娃表征学习（Matryoshka Representation Learning，MRL）训练，能在几乎不影响准确率的前提下，实现低延迟的端到端检索。

Amazon Nova多模态嵌入模型提供四种输出维度选项：3072、1024、384和256。输出维度越大，生成的表征信息则越详细，但也需要占用更多的存储空间和计算资源。相反，输出维度越小，则能在检索性能与资源效率之间实现更实用的平衡。这种灵活性可帮助用户根据具体应用场景和成本需求进行优化。

该模型能处理较长的上下文内容。对于文本输入，它单次可处理多达8192个tokens；对于视频和音频输入，支持处理长达30秒的片段，且能对更长的文件进行分段处理。在处理大型媒体文件时，这种分段能力尤为实用——模型会将文件拆分为易于处理的片段，并为每个片段生成嵌入向量。

该模型包含集成了内置于Amazon Bedrock的负责任的AI功能。提交用于生成嵌入向量的内容会经过Amazon Bedrock内容安全过滤器的检测，同时模型还内置公平性措施以减少偏差。

该模型可通过同步和异步API调用。同步API适用于需要即时响应的实时应用场景，例如在搜索界面中处理用户查询；异步API则能更高效地处理对延迟不敏感的工作负载，因此更适合处理视频等大型内容。

Amazon Nova多模态嵌入模型现已在Amazon Bedrock上线，可用区域包括美国东部（弗吉尼亚北部）的亚马逊云科技区域。

即刻体验Amazon Nova多模态嵌入模型，开启多模态AI应用构建之旅！更多详情可参阅Amazon Bedrock页面及《Amazon Nova用户指南》文档。

关于亚马逊云科技

自2006年以来，亚马逊云科技（Amazon Web Services）一直以技术创新、服务丰富、应用广泛而享誉业界。亚马逊云科技一直不断扩展其服务组合以支持几乎云上任意工作负载，目前提供超过240项全功能的服务，涵盖计算、存储、数据库、网络、数据分析、机器学习与人工智能、物联网、移动、安全、混合云、媒体，以及应用开发、部署与管理等方面；基础设施遍及38个地理区域的120个可用区，并已公布计划在智利和沙特阿拉伯等新建3个区域、10个可用区。全球数百万客户，包括发展迅速的初创公司、大型企业和领先的政府机构，都信赖亚马逊云科技，通过亚马逊云科技的服务支撑其基础设施，提高敏捷性，降低成本。要了解更多关于亚马逊云科技的信息，请访问：www.amazonaws.cn。