Google VertexAI 多模态嵌入

实验性。仅用于实验目的。尚不支持 VectorStores。

Vertex AI 支持两种类型的嵌入模型：文本和多模态。本文档介绍如何使用 Vertex AI 多模态嵌入 API 创建多模态嵌入。

多模态嵌入模型根据您提供的输入生成 1408 维向量，这些输入可以包括图像、文本和视频数据的组合。然后，嵌入向量可用于后续任务，例如图像分类或视频内容审核。

图像嵌入向量和文本嵌入向量位于相同的语义空间中，并且具有相同的维数。因此，这些向量可以互换使用，用于搜索图像文本或视频图像等用例。

VertexAI 多模态 API 施加了 以下限制。
对于仅文本嵌入的用例，我们建议改用 Vertex AI 文本嵌入模型。

先决条件

  • 安装适用于您操作系统的 gcloud CLI。

  • 运行以下命令进行身份验证。将 PROJECT_ID 替换为您的 Google Cloud 项目 ID，将 ACCOUNT 替换为您的 Google Cloud 用户名。

gcloud config set project <PROJECT_ID> &&
gcloud auth application-default login <ACCOUNT>

添加存储库和 BOM

Spring AI 工件发布在 Spring Milestone 和 Snapshot 存储库中。请参阅 存储库 部分，以将这些存储库添加到您的构建系统。

为了帮助进行依赖项管理，Spring AI 提供了一个 BOM（物料清单）以确保在整个项目中使用一致版本的 Spring AI。请参阅 依赖项管理 部分，以将 Spring AI BOM 添加到您的构建系统。

自动配置

Spring AI 为 VertexAI 嵌入模型提供 Spring Boot 自动配置。要启用它，请将以下依赖项添加到项目的 Maven pom.xml 文件

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-vertex-ai-embedding-spring-boot-starter</artifactId>
</dependency>

或您的 Gradle build.gradle 构建文件。

dependencies {
    implementation 'org.springframework.ai:spring-ai-vertex-ai-embedding-spring-boot-starter'
}
请参阅 依赖项管理 部分，以将 Spring AI BOM 添加到您的构建文件。

嵌入属性

前缀 spring.ai.vertex.ai.embedding 用作属性前缀，允许您连接到 VertexAI 嵌入 API。

属性 描述 默认值

spring.ai.vertex.ai.embedding.project-id

Google Cloud Platform 项目 ID

-

spring.ai.vertex.ai.embedding.location

区域

-

spring.ai.vertex.ai.embedding.apiEndpoint

Vertex AI 嵌入 API 端点。

-

前缀 spring.ai.vertex.ai.embedding.multimodal 是属性前缀，允许您配置 VertexAI 多模态嵌入的嵌入模型实现。

属性 描述 默认值

spring.ai.vertex.ai.embedding.multimodal.enabled

启用 Vertex AI 嵌入 API 模型。

true

spring.ai.vertex.ai.embedding.multimodal.options.model

您可以使用以下模型获取多模态嵌入

multimodalembedding@001

spring.ai.vertex.ai.embedding.multimodal.options.dimensions

指定低维嵌入。默认情况下，嵌入请求会为数据类型返回 1408 个浮点向量。您还可以为文本和图像数据指定低维嵌入（128、256 或 512 个浮点向量）。

1408

spring.ai.vertex.ai.embedding.multimodal.options.video-start-offset-sec

视频片段的起始偏移量（以秒为单位）。如果未指定，则计算结果为 max(0, endOffsetSec - 120)。

-

spring.ai.vertex.ai.embedding.multimodal.options.video-end-offset-sec

视频片段的结束偏移量（以秒为单位）。如果未指定，则计算结果为 min(视频长度, startOffSec + 120)。如果同时指定了 startOffSec 和 endOffSec，则 endOffsetSec 将调整为 min(startOffsetSec+120, endOffsetSec)。

-

spring.ai.vertex.ai.embedding.multimodal.options.video-interval-sec

将生成嵌入的视频间隔。interval_sec 的最小值为 4。如果间隔小于 4，则返回 InvalidArgumentError。interval 的最大值没有限制。但是，如果间隔大于 min(视频长度, 120 秒)，则会影响生成的嵌入质量。默认值：16。

-

手动配置

VertexAiMultimodalEmbeddingModel 实现 DocumentEmbeddingModel。

将 spring-ai-vertex-ai-embedding 依赖项添加到项目的 Maven pom.xml 文件

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-vertex-ai-embedding</artifactId>
</dependency>

或您的 Gradle build.gradle 构建文件。

dependencies {
    implementation 'org.springframework.ai:spring-ai-vertex-ai-embedding'
}
请参阅 依赖项管理 部分，以将 Spring AI BOM 添加到您的构建文件。

接下来，创建一个 VertexAiMultimodalEmbeddingModel 并将其用于嵌入生成

VertexAiEmbeddingConnectionDetails connectionDetails =
    VertexAiEmbeddingConnectionDetails.builder()
        .withProjectId(System.getenv(<VERTEX_AI_GEMINI_PROJECT_ID>))
        .withLocation(System.getenv(<VERTEX_AI_GEMINI_LOCATION>))
        .build();

VertexAiMultimodalEmbeddingOptions options = VertexAiMultimodalEmbeddingOptions.builder()
    .withModel(VertexAiMultimodalEmbeddingOptions.DEFAULT_MODEL_NAME)
    .build();

var embeddingModel = new VertexAiMultimodalEmbeddingModel(this.connectionDetails, this.options);

Media imageMedial = new Media(MimeTypeUtils.IMAGE_PNG, new ClassPathResource("/test.image.png"));
Media videoMedial = new Media(new MimeType("video", "mp4"), new ClassPathResource("/test.video.mp4"));

var document = new Document("Explain what do you see on this video?", List.of(this.imageMedial, this.videoMedial), Map.of());

EmbeddingResponse embeddingResponse = this.embeddingModel
	.embedForResponse(List.of("Hello World", "World is big and salvation is near"));

DocumentEmbeddingRequest embeddingRequest = new DocumentEmbeddingRequest(List.of(this.document),
        EmbeddingOptions.EMPTY);

EmbeddingResponse embeddingResponse = multiModelEmbeddingModel.call(this.embeddingRequest);

assertThat(embeddingResponse.getResults()).hasSize(3);