VertexAI Gemini Chat

Vertex AI Gemini API 允许开发者使用 Gemini 模型构建生成式 AI 应用。Vertex AI Gemini API 支持多模态提示作为输入，并输出文本或代码。多模态模型能够处理来自多种模态的信息，包括图像、视频和文本。例如，您可以向模型发送一张饼干盘的照片，并要求它提供这些饼干的食谱。

Gemini 是 Google DeepMind 开发的一系列生成式 AI 模型，专为多模态用例而设计。Gemini API 让您可以访问 Gemini 1.0 Pro Vision 和 Gemini 1.0 Pro 模型。有关 Vertex AI Gemini API 模型的规格，请参阅 模型信息。

Gemini API 参考

先决条件

  • 安装适合您操作系统的 gcloud CLI。

  • 运行以下命令进行身份验证。将 PROJECT_ID 替换为您的 Google Cloud 项目 ID，并将 ACCOUNT 替换为您的 Google Cloud 用户名。

gcloud config set project <PROJECT_ID> &&
gcloud auth application-default login <ACCOUNT>

自动配置

Spring AI 为 VertexAI Gemini Chat 客户端提供 Spring Boot 自动配置。要启用它，请将以下依赖项添加到项目的 Maven pom.xml 或 Gradle build.gradle 构建文件中

  • Maven

  • Gradle

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-vertex-ai-gemini-spring-boot-starter</artifactId>
</dependency>
dependencies {
    implementation 'org.springframework.ai:spring-ai-vertex-ai-gemini-spring-boot-starter'
}
请参阅 依赖项管理 部分，将 Spring AI BOM 添加到您的构建文件中。

聊天属性

前缀 spring.ai.vertex.ai.gemini 用作属性前缀，允许您连接到 VertexAI。

属性 描述 默认值

spring.ai.vertex.ai.gemini.projectId

Google Cloud Platform 项目 ID

-

spring.ai.vertex.ai.gemini.location

区域

-

spring.ai.vertex.ai.gemini.credentialsUri

Vertex AI Gemini 凭据的 URI。提供时，它用于创建 GoogleCredentials 实例以验证 VertexAI。

-

spring.ai.vertex.ai.gemini.apiEndpoint

Vertex AI Gemini API 端点。

-

spring.ai.vertex.ai.gemini.scopes

-

spring.ai.vertex.ai.gemini.transport

API 传输方式。GRPC 或 REST。

GRPC

前缀 spring.ai.vertex.ai.gemini.chat 是属性前缀，允许您配置 VertexAI Gemini Chat 的聊天模型实现。

属性 描述 默认值

spring.ai.vertex.ai.gemini.chat.options.model

支持的 Vertex AI Gemini Chat 模型 包括 (1.0) gemini-pro、gemini-pro-vision（已弃用）以及新的 gemini-1.5-pro-001、gemini-1.5-flash-001 模型。

gemini-1.5-pro-001

spring.ai.vertex.ai.gemini.chat.options.responseMimeType

生成的候选文本的输出响应 MIME 类型。

text/plain：（默认）文本输出或 application/json：JSON 响应。

spring.ai.vertex.ai.gemini.chat.options.googleSearchRetrieval

使用 Google 搜索基础功能

true 或 false，默认为 false。

spring.ai.vertex.ai.gemini.chat.options.temperature

控制输出的随机性。值范围为 [0.0,1.0]（含）。越接近 1.0 的值将产生变化更大的响应，而越接近 0.0 的值通常会产生不太令人意外的响应。此值指定后端在调用生成模型时使用的默认值。

0.8

spring.ai.vertex.ai.gemini.chat.options.topK

采样时要考虑的最大标记数量。生成模型使用组合的 Top-k 和 nucleus 采样。Top-k 采样考虑最可能的前 topK 个标记的集合。

-

spring.ai.vertex.ai.gemini.chat.options.topP

采样时要考虑的最大标记累积概率。生成模型使用组合的 Top-k 和 nucleus 采样。Nucleus 采样考虑概率总和至少为 topP 的最小标记集。

-

spring.ai.vertex.ai.gemini.chat.options.candidateCount

要返回的生成的响应消息数量。此值必须介于 [1, 8]（含）之间。默认为 1。

-

spring.ai.vertex.ai.gemini.chat.options.candidateCount

要返回的生成的响应消息数量。此值必须介于 [1, 8]（含）之间。默认为 1。

-

spring.ai.vertex.ai.gemini.chat.options.maxOutputTokens

要生成的标记的最大数量。

-

spring.ai.vertex.ai.gemini.chat.options.frequencyPenalty

-

spring.ai.vertex.ai.gemini.chat.options.presencePenalty

-

spring.ai.vertex.ai.gemini.chat.options.functions

要为单个提示请求中的函数调用启用的函数列表（按其名称标识）。具有这些名称的函数必须存在于 functionCallbacks 注册表中。

-

spring.ai.vertex.ai.gemini.chat.options.proxy-tool-calls

如果为 true，则 Spring AI 不会在内部处理函数调用，而是将其代理给客户端。然后，客户端负责处理函数调用，将其分派到相应的函数并返回结果。如果为 false（默认值），则 Spring AI 将在内部处理函数调用。仅适用于支持函数调用的聊天模型

false
所有以 spring.ai.vertex.ai.gemini.chat.options 为前缀的属性都可以在运行时通过向 Prompt 调用添加特定于请求的 运行时选项 来覆盖。

运行时选项

VertexAiGeminiChatOptions.java 文件提供了模型配置，例如温度、topK 等。

启动时，可以使用 VertexAiGeminiChatModel(api, options) 构造函数或 spring.ai.vertex.ai.chat.options.* 属性配置默认选项。

在运行时，您可以通过向 Prompt 调用添加新的、特定于请求的选项来覆盖默认选项。例如，覆盖特定请求的默认温度。

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        VertexAiGeminiChatOptions.builder()
            .withTemperature(0.4)
        .build()
    ));
除了特定于模型的 VertexAiGeminiChatOptions 之外，您还可以使用可移植的 ChatOptions 实例，该实例使用 ChatOptionsBuilder#builder() 创建。

函数调用

截至 2023 年 4 月 30 日，Vertex AI Gemini Pro 模型对函数调用的支持已显著下降！虽然该功能仍然可用，但不建议用于生产环境。显然，Gemini Pro 无法再正确处理函数名。并行函数调用也消失了。

您可以使用 VertexAiGeminiChatModel 注册自定义 Java 函数，并让 Gemini Pro 模型智能地选择输出包含要调用一个或多个已注册函数的参数的 JSON 对象。这是一种强大的技术，可以将 LLM 功能与外部工具和 API 连接起来。阅读更多关于 Vertex AI Gemini 函数调用 的内容。

多模态

多模态是指模型同时理解和处理来自各种来源的信息的能力，包括文本、图像、音频和其他数据格式。这种范式代表了人工智能模型的重大进步。

Google 的 Gemini AI 模型通过理解和整合文本、代码、音频、图像和视频来支持此功能。有关更多详细信息，请参阅博客文章 Introducing Gemini。

Spring AI 的 Message 接口通过引入媒体类型来支持多模态 AI 模型。此类型包含有关消息中媒体附件的数据和信息，使用 Spring 的 org.springframework.util.MimeType 和一个 java.lang.Object 来表示原始媒体数据。

下面是从 VertexAiGeminiChatModelIT.java 中提取的一个简单的代码示例，演示了用户文本与图像的组合。

byte[] data = new ClassPathResource("/vertex-test.png").getContentAsByteArray();

var userMessage = new UserMessage("Explain what do you see on this picture?",
        List.of(new Media(MimeTypeUtils.IMAGE_PNG, this.data)));

ChatResponse response = chatModel.call(new Prompt(List.of(this.userMessage)));

示例控制器

使用 Spring Initializr 创建一个新的 Spring Boot 项目，并将 spring-ai-vertex-ai-gemini-spring-boot-starter 添加到您的 pom（或 gradle）依赖项中。

在 src/main/resources 目录下添加一个 application.properties 文件，以启用和配置 VertexAi 聊天模型。

spring.ai.vertex.ai.gemini.project-id=PROJECT_ID
spring.ai.vertex.ai.gemini.location=LOCATION
spring.ai.vertex.ai.gemini.chat.options.model=vertex-pro-vision
spring.ai.vertex.ai.gemini.chat.options.temperature=0.5
将 project-id 替换为您的 Google Cloud 项目 ID，并将 location 替换为 Gemini 地区。

这将创建一个 VertexAiGeminiChatModel 实现，您可以将其注入到您的类中。这是一个使用聊天模型进行文本生成的简单 @Controller 类的示例。

@RestController
public class ChatController {

    private final VertexAiGeminiChatModel chatModel;

    @Autowired
    public ChatController(VertexAiGeminiChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", this.chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        Prompt prompt = new Prompt(new UserMessage(message));
        return this.chatModel.stream(prompt);
    }
}

手动配置

VertexAiGeminiChatModel 实现 ChatModel 并使用 VertexAI 连接到 Vertex AI Gemini 服务。

将 spring-ai-vertex-ai-gemini 依赖项添加到项目的 Maven pom.xml 文件

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-vertex-ai-gemini</artifactId>
</dependency>

或 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-vertex-ai-gemini'
}
请参阅 依赖项管理 部分，将 Spring AI BOM 添加到您的构建文件中。

接下来，创建一个 VertexAiGeminiChatModel 并将其用于文本生成。

VertexAI vertexApi =  new VertexAI(projectId, location);

var chatModel = new VertexAiGeminiChatModel(this.vertexApi,
    VertexAiGeminiChatOptions.builder()
        .withModel(ChatModel.GEMINI_PRO_1_5_PRO)
        .withTemperature(0.4)
    .build());

ChatResponse response = this.chatModel.call(
    new Prompt("Generate the names of 5 famous pirates."));

VertexAiGeminiChatOptions 提供聊天请求的配置信息。VertexAiGeminiChatOptions.Builder 是一个流畅的选项构建器。

底层 Java 客户端

下面的类图说明了 Vertex AI Gemini 原生 Java API

vertex ai gemini native api