Mistral AI 聊天

Spring AI 支持 Mistral AI 的各种 AI 语言模型。您可以与 Mistral AI 语言模型交互，并基于 Mistral 模型创建多语言对话助手。

Mistral AI 还提供与 OpenAI API 兼容的端点。请查看OpenAI API 兼容性部分，了解如何使用Spring AI OpenAI集成与 Mistral 端点进行交互。

先决条件

您需要使用 Mistral AI 创建一个 API 才能访问 Mistral AI 语言模型。在Mistral AI 注册页面创建帐户，并在API 密钥页面生成令牌。Spring AI 项目定义了一个名为spring.ai.mistralai.api-key的配置属性，您应该将其设置为从 console.mistral.ai 获得的API 密钥的值。导出环境变量是一种设置该配置属性的方法。

export SPRING_AI_MISTRALAI_API_KEY=<INSERT KEY HERE>

添加仓库和 BOM

Spring AI 工件发布在 Spring Milestone 和 Snapshot 仓库中。请参考仓库部分，将这些仓库添加到您的构建系统。

为了帮助进行依赖项管理，Spring AI 提供了一个 BOM（物料清单），以确保在整个项目中使用一致版本的 Spring AI。请参考依赖项管理部分，将 Spring AI BOM 添加到您的构建系统。

自动配置

Spring AI 为 Mistral AI 聊天客户端提供了 Spring Boot 自动配置。要启用它，请将以下依赖项添加到您项目的 Maven pom.xml 文件

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-mistral-ai-spring-boot-starter</artifactId>
</dependency>

或您的 Gradle build.gradle 构建文件。

dependencies {
    implementation 'org.springframework.ai:spring-ai-mistral-ai-spring-boot-starter'
}
请参考依赖项管理部分，将 Spring AI BOM 添加到您的构建文件。

聊天属性

重试属性

前缀spring.ai.retry用作属性前缀，允许您配置 Mistral AI 聊天模型的重试机制。

属性 描述 默认值

spring.ai.retry.max-attempts

最大重试次数。

10

spring.ai.retry.backoff.initial-interval

指数退避策略的初始休眠时长。

2 秒。

spring.ai.retry.backoff.multiplier

退避间隔乘数。

5

spring.ai.retry.backoff.max-interval

最大退避时长。

3 分钟。

spring.ai.retry.on-client-errors

如果为 false，则抛出 NonTransientAiException，并且不会为4xx客户端错误代码尝试重试

false

spring.ai.retry.exclude-on-http-codes

不应触发重试的 HTTP 状态代码列表（例如，抛出 NonTransientAiException）。

空

spring.ai.retry.on-http-codes

应触发重试的 HTTP 状态代码列表（例如，抛出 TransientAiException）。

空

连接属性

前缀spring.ai.mistralai用作属性前缀，允许您连接到 OpenAI。

属性 描述 默认值

spring.ai.mistralai.base-url

连接到的 URL

api.mistral.ai

spring.ai.mistralai.api-key

API 密钥

-

配置属性

前缀spring.ai.mistralai.chat是属性前缀，允许您配置 Mistral AI 的聊天模型实现。

属性 描述 默认值

spring.ai.mistralai.chat.enabled

启用 Mistral AI 聊天模型。

true

spring.ai.mistralai.chat.base-url

spring.ai.mistralai.base-url属性的可选覆盖，用于提供特定于聊天的 URL。

-

spring.ai.mistralai.chat.api-key

spring.ai.mistralai.api-key的可选覆盖，用于提供特定于聊天的 API 密钥。

-

spring.ai.mistralai.chat.options.model

这是要使用的 Mistral AI 聊天模型

open-mistral-7b, open-mixtral-8x7b, open-mixtral-8x22b, mistral-small-latest, mistral-large-latest

spring.ai.mistralai.chat.options.temperature

要使用的采样温度，它控制生成的完成的明显创造性。较高的值将使输出更随机，而较低的值将使结果更集中和确定性。不建议为相同的完成请求修改temperature和top_p，因为这两个设置的交互难以预测。

0.8

spring.ai.mistralai.chat.options.maxTokens

在聊天完成中生成的令牌最大数量。输入令牌和生成的令牌的总长度受模型上下文长度的限制。

-

spring.ai.mistralai.chat.options.safePrompt

指示是否在所有对话之前注入安全提示。

false

spring.ai.mistralai.chat.options.randomSeed

此功能处于测试阶段。如果指定，我们的系统将尽最大努力确定性地进行采样，这样使用相同的种子和参数重复请求应该返回相同的结果。

-

spring.ai.mistralai.chat.options.stop

如果检测到此令牌，则停止生成。或者，如果提供数组时检测到这些令牌之一。

-

spring.ai.mistralai.chat.options.topP

一种替代使用温度进行采样的方法，称为核采样，其中模型考虑具有 top_p 概率质量的令牌的结果。因此，0.1 表示仅考虑包含前 10% 概率质量的令牌。我们通常建议更改此值或temperature，但不要同时更改两者。

-

spring.ai.mistralai.chat.options.responseFormat

一个对象，指定模型必须输出的格式。设置为{ "type": "json_object" }启用 JSON 模式，这保证模型生成的 message 是有效的 JSON。

-

spring.ai.mistralai.chat.options.tools

模型可以调用的工具列表。目前，仅支持函数作为工具。使用此选项提供模型可以为其生成 JSON 输入的函数列表。

-

spring.ai.mistralai.chat.options.toolChoice

控制模型调用哪个（如果有）函数。none表示模型不会调用函数，而是生成消息。auto表示模型可以在生成消息或调用函数之间选择。通过指定特定函数，例如{"type: "function", "function": {"name": "my_function"}}，强制模型调用该函数。如果不存在函数，则默认值为none。如果存在函数，则默认值为auto。

-

spring.ai.mistralai.chat.options.functions

要在单个提示请求中启用函数调用的函数列表，通过其名称标识。这些名称的函数必须存在于 functionCallbacks 注册表中。

-

spring.ai.mistralai.chat.options.functionCallbacks

向 ChatModel 注册的 Mistral AI 工具函数回调。

-

spring.ai.mistralai.chat.options.proxy-tool-calls

如果为 true，则 Spring AI 不会内部处理函数调用，而是将其代理到客户端。然后，客户端有责任处理函数调用，将其分派到相应的函数并返回结果。如果为 false（默认值），则 Spring AI 将内部处理函数调用。仅适用于支持函数调用的聊天模型。

false
您可以为 ChatModel 和 EmbeddingModel 实现覆盖常见的 spring.ai.mistralai.base-url 和 spring.ai.mistralai.api-key。如果设置了 spring.ai.mistralai.chat.base-url 和 spring.ai.mistralai.chat.api-key 属性，则优先于公共属性。如果您想为不同的模型和不同的模型端点使用不同的 Mistral AI 帐户，这将非常有用。
所有以 spring.ai.mistralai.chat.options 为前缀的属性都可以在运行时通过向 Prompt 调用添加特定于请求的运行时选项来覆盖。

运行时选项

该MistralAiChatOptions.java 提供模型配置，例如要使用的模型、温度、频率惩罚等。

启动时，可以使用 MistralAiChatModel(api, options) 构造函数或 spring.ai.mistralai.chat.options.* 属性配置默认选项。

在运行时，您可以通过向 Prompt 调用添加新的、特定于请求的选项来覆盖默认选项。例如，要覆盖特定请求的默认模型和温度。

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        MistralAiChatOptions.builder()
            .withModel(MistralAiApi.ChatModel.LARGE.getValue())
            .withTemperature(0.5)
        .build()
    ));
除了特定于模型的MistralAiChatOptions 之外，您还可以使用可移植的ChatOptions 实例，该实例使用ChatOptionsBuilder#builder()创建。

函数调用

您可以使用 MistralAiChatModel 注册自定义 Java 函数，并让 Mistral AI 模型智能地选择输出包含要调用一个或多个已注册函数的参数的 JSON 对象。这是一种强大的技术，可以将 LLM 功能与外部工具和 API 连接起来。阅读有关Mistral AI 函数调用的更多信息。

OpenAI API 兼容性

Mistral 与 OpenAI API 兼容，您可以使用Spring AI OpenAI客户端与 Mistrial 通信。为此，您需要将 OpenAI 基本 URL 配置为 Mistral AI 平台：spring.ai.openai.chat.base-url=https://api.mistral.ai，并选择 Mistral 模型：spring.ai.openai.chat.options.model=mistral-small-latest 并设置 Mistral AI API 密钥：spring.ai.openai.chat.api-key=<YOUR MISTRAL API KEY>。

查看MistralWithOpenAiChatModelIT.java 测试，了解通过 Spring AI OpenAI 使用 Mistral 的示例。

示例控制器（自动配置）

创建一个新的 Spring Boot 项目，并将 spring-ai-mistral-ai-spring-boot-starter 添加到您的 pom（或 gradle）依赖项中。

在 src/main/resources 目录下添加一个 application.properties 文件以启用和配置 Mistral AI 聊天模型。

spring.ai.mistralai.api-key=YOUR_API_KEY
spring.ai.mistralai.chat.options.model=mistral-small
spring.ai.mistralai.chat.options.temperature=0.7
将 api-key 替换为您的 Mistral AI 凭据。

这将创建一个 MistralAiChatModel 实现，您可以将其注入到您的类中。这是一个使用聊天模型进行文本生成的简单 @RestController 类的示例。

@RestController
public class ChatController {

    private final MistralAiChatModel chatModel;

    @Autowired
    public ChatController(MistralAiChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map<String,String> generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", this.chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        var prompt = new Prompt(new UserMessage(message));
        return this.chatModel.stream(prompt);
    }
}

手动配置

该MistralAiChatModel 实现 ChatModel 和 StreamingChatModel，并使用低级 MistralAiApi 客户端连接到 Mistral AI 服务。

将 spring-ai-mistral-ai 依赖项添加到您项目的 Maven pom.xml 文件中。

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-mistral-ai</artifactId>
</dependency>

或您的 Gradle build.gradle 构建文件。

dependencies {
    implementation 'org.springframework.ai:spring-ai-mistral-ai'
}
请参考依赖项管理部分，将 Spring AI BOM 添加到您的构建文件。

接下来，创建一个 MistralAiChatModel 并将其用于文本生成。

var mistralAiApi = new MistralAiApi(System.getenv("MISTRAL_AI_API_KEY"));

var chatModel = new MistralAiChatModel(this.mistralAiApi, MistralAiChatOptions.builder()
                .withModel(MistralAiApi.ChatModel.LARGE.getValue())
                .withTemperature(0.4)
                .withMaxTokens(200)
                .build());

ChatResponse response = this.chatModel.call(
    new Prompt("Generate the names of 5 famous pirates."));

// Or with streaming responses
Flux<ChatResponse> response = this.chatModel.stream(
    new Prompt("Generate the names of 5 famous pirates."));

MistralAiChatOptions 提供聊天请求的配置信息。MistralAiChatOptions.Builder 是一个流畅的选项构建器。

低级 MistralAiApi 客户端

该MistralAiApi 提供轻量级 Java 客户端，用于Mistral AI API。

这是一个简单的代码片段，展示了如何以编程方式使用 API。

MistralAiApi mistralAiApi = new MistralAiApi(System.getenv("MISTRAL_AI_API_KEY"));

ChatCompletionMessage chatCompletionMessage =
    new ChatCompletionMessage("Hello world", Role.USER);

// Sync request
ResponseEntity<ChatCompletion> response = this.mistralAiApi.chatCompletionEntity(
    new ChatCompletionRequest(List.of(this.chatCompletionMessage), MistralAiApi.ChatModel.LARGE.getValue(), 0.8, false));

// Streaming request
Flux<ChatCompletionChunk> streamResponse = this.mistralAiApi.chatCompletionStream(
        new ChatCompletionRequest(List.of(this.chatCompletionMessage), MistralAiApi.ChatModel.LARGE.getValue(), 0.8, true));

请遵循MistralAiApi.java 的 JavaDoc 获取更多信息。

MistralAiApi 示例