Google Vertex AI 文本嵌入

Vertex AI 支持两种类型的嵌入模型：文本和多模态。本文档介绍如何使用 Vertex AI 文本嵌入 API 创建文本嵌入。

Vertex AI 文本嵌入 API 使用密集向量表示。与倾向于将单词直接映射到数字的稀疏向量不同，密集向量旨在更好地表示一段文本的含义。在生成式 AI 中使用密集向量嵌入的好处是，您可以更好地搜索与查询含义一致的段落，即使这些段落没有使用相同的语言，而不是搜索直接的单词或语法匹配。

先决条件

  • 安装适用于您操作系统的 gcloud CLI。

  • 运行以下命令进行身份验证。将 PROJECT_ID 替换为您的 Google Cloud 项目 ID，并将 ACCOUNT 替换为您的 Google Cloud 用户名。

gcloud config set project <PROJECT_ID> &&
gcloud auth application-default login <ACCOUNT>

添加存储库和 BOM

Spring AI 工件发布在 Spring Milestone 和 Snapshot 存储库中。请参考 存储库 部分，将这些存储库添加到您的构建系统。

为了帮助进行依赖项管理，Spring AI 提供了一个 BOM（物料清单）以确保在整个项目中使用一致版本的 Spring AI。请参考 依赖项管理 部分，将 Spring AI BOM 添加到您的构建系统。

自动配置

Spring AI 为 Vertex AI 嵌入模型提供了 Spring Boot 自动配置。要启用它，请将以下依赖项添加到您项目的 Maven pom.xml 文件

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-vertex-ai-embedding-spring-boot-starter</artifactId>
</dependency>

或您的 Gradle build.gradle 构建文件。

dependencies {
    implementation 'org.springframework.ai:spring-ai-vertex-ai-embedding-spring-boot-starter'
}
请参考 依赖项管理 部分，将 Spring AI BOM 添加到您的构建文件。

嵌入属性

前缀 spring.ai.vertex.ai.embedding 用作属性前缀，允许您连接到 Vertex AI 嵌入 API。

属性 描述 默认值

spring.ai.vertex.ai.embedding.project-id

Google Cloud Platform 项目 ID

-

spring.ai.vertex.ai.embedding.location

区域

-

spring.ai.vertex.ai.embedding.apiEndpoint

Vertex AI 嵌入 API 端点。

-

前缀 spring.ai.vertex.ai.embedding.text 是属性前缀，允许您配置 Vertex AI 文本嵌入的嵌入模型实现。

属性 描述 默认值

spring.ai.vertex.ai.embedding.text.enabled

启用 Vertex AI 嵌入 API 模型。

true

spring.ai.vertex.ai.embedding.text.options.model

这是要使用的 Vertex 文本嵌入模型

text-embedding-004

spring.ai.vertex.ai.embedding.text.options.task-type

预期的下游应用程序，以帮助模型生成更高质量的嵌入。可用的 task-types

RETRIEVAL_DOCUMENT

spring.ai.vertex.ai.embedding.text.options.title

可选标题，仅在 task_type=RETRIEVAL_DOCUMENT 时有效。

-

spring.ai.vertex.ai.embedding.text.options.dimensions

结果输出嵌入应具有的维度数。支持 004 及更高版本的模型。您可以使用此参数来减少嵌入大小，例如，用于存储优化。

-

spring.ai.vertex.ai.embedding.text.options.auto-truncate

设置为 true 时，将截断输入文本。设置为 false 时，如果输入文本超过模型支持的最大长度，则会返回错误。

true

示例控制器

创建一个新的 Spring Boot 项目并将 spring-ai-vertex-ai-embedding-spring-boot-starter添加到您的 pom（或 gradle）依赖项中。

在src/main/resources目录下添加一个application.properties文件，以启用和配置Vertex AI聊天模型。

spring.ai.vertex.ai.embedding.project-id=<YOUR_PROJECT_ID>
spring.ai.vertex.ai.embedding.location=<YOUR_PROJECT_LOCATION>
spring.ai.vertex.ai.embedding.text.options.model=text-embedding-004

这将创建一个VertexAiTextEmbeddingModel实现，您可以将其注入到您的类中。这是一个使用嵌入模型生成嵌入的简单@Controller类的示例。

@RestController
public class EmbeddingController {

    private final EmbeddingModel embeddingModel;

    @Autowired
    public EmbeddingController(EmbeddingModel embeddingModel) {
        this.embeddingModel = embeddingModel;
    }

    @GetMapping("/ai/embedding")
    public Map embed(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        EmbeddingResponse embeddingResponse = this.embeddingModel.embedForResponse(List.of(message));
        return Map.of("embedding", embeddingResponse);
    }
}

手动配置

该VertexAiTextEmbeddingModel实现了EmbeddingModel接口。

将spring-ai-vertex-ai-embedding依赖项添加到您项目的Maven pom.xml文件中。

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-vertex-ai-embedding</artifactId>
</dependency>

或您的 Gradle build.gradle 构建文件。

dependencies {
    implementation 'org.springframework.ai:spring-ai-vertex-ai-embedding'
}
请参考 依赖项管理 部分，将 Spring AI BOM 添加到您的构建文件。

接下来，创建一个VertexAiTextEmbeddingModel并将其用于文本生成。

VertexAiEmbeddingConnectionDetails connectionDetails =
    VertexAiEmbeddingConnectionDetails.builder()
        .withProjectId(System.getenv(<VERTEX_AI_GEMINI_PROJECT_ID>))
        .withLocation(System.getenv(<VERTEX_AI_GEMINI_LOCATION>))
        .build();

VertexAiTextEmbeddingOptions options = VertexAiTextEmbeddingOptions.builder()
    .withModel(VertexAiTextEmbeddingOptions.DEFAULT_MODEL_NAME)
    .build();

var embeddingModel = new VertexAiTextEmbeddingModel(this.connectionDetails, this.options);

EmbeddingResponse embeddingResponse = this.embeddingModel
	.embedForResponse(List.of("Hello World", "World is big and salvation is near"));

从Google服务帐号加载凭据

要以编程方式从服务帐号json文件加载GoogleCredentials，您可以使用以下方法：

GoogleCredentials credentials = GoogleCredentials.fromStream(<INPUT_STREAM_TO_CREDENTIALS_JSON>)
        .createScoped("https://www.googleapis.com/auth/cloud-platform");
credentials.refreshIfExpired();

VertexAiEmbeddingConnectionDetails connectionDetails =
    VertexAiEmbeddingConnectionDetails.builder()
        .withProjectId(System.getenv(<VERTEX_AI_GEMINI_PROJECT_ID>))
        .withLocation(System.getenv(<VERTEX_AI_GEMINI_LOCATION>))
        .withApiEndpoint(endpoint)
        .withPredictionServiceSettings(
            PredictionServiceSettings.newBuilder()
                .setEndpoint(endpoint)
                .setCredentialsProvider(FixedCredentialsProvider.create(credentials))
                .build());