Moonshot AI 聊天

Spring AI 支持来自 Moonshot AI 的各种 AI 语言模型。您可以与 Moonshot AI 语言模型交互，并基于 Moonshot 模型创建多语言对话助手。

先决条件

您需要在 Moonshot 创建一个 API 才能访问 Moonshot AI 语言模型。在 Moonshot AI 注册页面 创建账户并在 API 密钥页面 生成令牌。Spring AI 项目定义了一个名为 spring.ai.moonshot.api-key 的配置属性，您应该将其设置为从 API 密钥页面 获取的 API 密钥 的值。导出环境变量是设置该配置属性的一种方法。

export SPRING_AI_MOONSHOT_API_KEY=<INSERT KEY HERE>

添加存储库和 BOM

Spring AI 工件发布在 Spring Milestone 和 Snapshot 存储库中。请参阅 存储库 部分，将这些存储库添加到您的构建系统中。

为了帮助进行依赖项管理，Spring AI 提供了一个 BOM（物料清单）以确保在整个项目中使用一致版本的 Spring AI。请参阅 依赖项管理 部分，将 Spring AI BOM 添加到您的构建系统中。

自动配置

Spring AI 为 Moonshot 聊天模型提供了 Spring Boot 自动配置。要启用它，请将以下依赖项添加到项目的 Maven pom.xml 文件中

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-moonshot-spring-boot-starter</artifactId>
</dependency>

或添加到 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-moonshot-spring-boot-starter'
}
请参阅 依赖项管理 部分，将 Spring AI BOM 添加到您的构建文件中。

聊天属性

重试属性

前缀 spring.ai.retry 用作属性前缀，可让您配置 Moonshot AI 聊天模型的重试机制。

属性 描述 默认值

spring.ai.retry.max-attempts

最大重试次数。

10

spring.ai.retry.backoff.initial-interval

指数退避策略的初始睡眠时长。

2 秒。

spring.ai.retry.backoff.multiplier

退避间隔乘数。

5

spring.ai.retry.backoff.max-interval

最大退避时长。

3 分钟。

spring.ai.retry.on-client-errors

如果为 false，则抛出 NonTransientAiException，并且不尝试对 4xx 客户端错误代码进行重试

false

spring.ai.retry.exclude-on-http-codes

不应触发重试的 HTTP 状态代码列表（例如，抛出 NonTransientAiException）。

空

spring.ai.retry.on-http-codes

应触发重试的 HTTP 状态代码列表（例如，抛出 TransientAiException）。

空

连接属性

前缀 spring.ai.moonshot 用作属性前缀，可让您连接到 Moonshot。

属性 描述 默认值

spring.ai.moonshot.base-url

连接到的 URL

api.moonshot.cn

spring.ai.moonshot.api-key

API 密钥

-

配置属性

前缀 spring.ai.moonshot.chat 是属性前缀，可让您配置 Moonshot 的聊天模型实现。

属性 描述 默认值

spring.ai.moonshot.chat.enabled

启用 Moonshot 聊天模型。

true

spring.ai.moonshot.chat.base-url

可选地覆盖 spring.ai.moonshot.base-url 以提供特定于聊天的 url

-

spring.ai.moonshot.chat.api-key

可选地覆盖 spring.ai.moonshot.api-key 以提供特定于聊天的 api-key

-

spring.ai.moonshot.chat.options.model

这是要使用的 Moonshot 聊天模型

moonshot-v1-8k（moonshot-v1-8k、moonshot-v1-32k 和 moonshot-v1-128k 指向最新的模型版本）

spring.ai.moonshot.chat.options.maxTokens

在聊天完成中生成的令牌的最大数量。输入令牌和生成的令牌的总长度受模型上下文长度的限制。

-

spring.ai.moonshot.chat.options.temperature

要使用的采样温度，它控制生成的完成的明显创造力。较高的值将使输出更随机，而较低的值将使结果更集中和确定性。不建议为同一个完成请求修改温度和 top_p，因为这两个设置的交互难以预测。

0.7

spring.ai.moonshot.chat.options.topP

称为核采样的温度采样的替代方案，其中模型考虑具有 top_p 概率质量的令牌的结果。因此，0.1 表示仅考虑包含前 10% 概率质量的令牌。我们通常建议更改此设置或温度，而不是两者都更改。

1.0

spring.ai.moonshot.chat.options.n

为每个输入消息生成多少个聊天完成选项。请注意，您将根据所有选项中生成的令牌数量付费。默认值为 1，不能大于 5。具体来说，当温度非常小且接近 0 时，我们只能返回 1 个结果。如果此时 n 已设置且>1，服务将返回一个非法输入参数 (invalid_request_error)

1

spring.ai.moonshot.chat.options.presencePenalty

介于 -2.0 和 2.0 之间的数字。正值根据新令牌是否出现在迄今为止的文本中来惩罚新令牌，从而提高模型讨论新主题的可能性。

0.0f

spring.ai.moonshot.chat.options.frequencyPenalty

-2.0 到 2.0 之间的数字。正值会根据令牌在当前文本中的出现频率对其进行惩罚，从而降低模型逐字重复同一行的可能性。

0.0f

spring.ai.moonshot.chat.options.stop

最多 5 个序列，API 将在这些序列后停止生成更多令牌。每个字符串不得超过 32 个字节

-
您可以覆盖通用的 spring.ai.moonshot.base-url 和 spring.ai.moonshot.api-key 以用于 ChatModel 实现。如果设置了 spring.ai.moonshot.chat.base-url 和 spring.ai.moonshot.chat.api-key 属性，则优先于通用属性。如果您希望对不同的模型和不同的模型端点使用不同的 Moonshot 帐户，这将非常有用。
所有以 spring.ai.moonshot.chat.options 为前缀的属性都可以在运行时通过向 Prompt 调用添加特定于请求的 运行时选项 来覆盖。

运行时选项

该 MoonshotChatOptions.java 提供模型配置，例如要使用的模型、温度、频率惩罚等。

在启动时，可以使用 MoonshotChatModel(api, options) 构造函数或 spring.ai.moonshot.chat.options.* 属性配置默认选项。

在运行时，您可以通过向 Prompt 调用添加新的、特定于请求的选项来覆盖默认选项。例如，要覆盖特定请求的默认模型和温度

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        MoonshotChatOptions.builder()
            .withModel(MoonshotApi.ChatModel.MOONSHOT_V1_8K.getValue())
            .withTemperature(0.5)
        .build()
    ));
除了特定于模型的 MoonshotChatOptions 之外，您还可以使用可移植的 ChatOptions 实例，该实例使用 ChatOptionsBuilder#builder() 创建。

示例控制器（自动配置）

创建一个新的 Spring Boot 项目，并将 spring-ai-moonshot-spring-boot-starter 添加到您的 pom（或 gradle）依赖项中。

添加一个 application.properties 文件，位于 src/main/resources 目录下，以启用和配置 Moonshot Chat 模型

spring.ai.moonshot.api-key=YOUR_API_KEY
spring.ai.moonshot.chat.options.model=moonshot-v1-8k
spring.ai.moonshot.chat.options.temperature=0.7
将 api-key 替换为您自己的 Moonshot 凭据。

这将创建一个 MoonshotChatModel 实现，您可以将其注入到您的类中。这是一个使用聊天模型进行文本生成的简单 @Controller 类的示例。

@RestController
public class ChatController {

    private final MoonshotChatModel chatModel;

    @Autowired
    public ChatController(MoonshotChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", this.chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        var prompt = new Prompt(new UserMessage(message));
        return this.chatModel.stream(prompt);
    }
}

手动配置

该 MoonshotChatModel 实现 ChatModel 和 StreamingChatModel，并使用 低级 Moonshot Api 客户端 连接到 Moonshot 服务。

将 spring-ai-moonshot 依赖项添加到项目的 Maven pom.xml 文件中

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-moonshot</artifactId>
</dependency>

或添加到 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-moonshot'
}
请参阅 依赖项管理 部分，将 Spring AI BOM 添加到您的构建文件中。

接下来，创建一个 MoonshotChatModel 并将其用于文本生成

var moonshotApi = new MoonshotApi(System.getenv("MOONSHOT_API_KEY"));

var chatModel = new MoonshotChatModel(this.moonshotApi, MoonshotChatOptions.builder()
                .withModel(MoonshotApi.ChatModel.MOONSHOT_V1_8K.getValue())
                .withTemperature(0.4)
                .withMaxTokens(200)
                .build());

ChatResponse response = this.chatModel.call(
    new Prompt("Generate the names of 5 famous pirates."));

// Or with streaming responses
Flux<ChatResponse> streamResponse = this.chatModel.stream(
    new Prompt("Generate the names of 5 famous pirates."));

该 MoonshotChatOptions 提供聊天请求的配置信息。MoonshotChatOptions.Builder 是一个流畅的选项构建器。

低级 Moonshot Api 客户端

该 MoonshotApi 提供了一个轻量级的 Java 客户端，用于 Moonshot AI API。

这是一个关于如何以编程方式使用 api 的简单代码片段

MoonshotApi moonshotApi =
    new MoonshotApi(System.getenv("MOONSHOT_API_KEY"));

ChatCompletionMessage chatCompletionMessage =
    new ChatCompletionMessage("Hello world", Role.USER);

// Sync request
ResponseEntity<ChatCompletion> response = this.moonshotApi.chatCompletionEntity(
    new ChatCompletionRequest(List.of(this.chatCompletionMessage), MoonshotApi.ChatModel.MOONSHOT_V1_8K.getValue(), 0.7, false));

// Streaming request
Flux<ChatCompletionChunk> streamResponse = this.moonshotApi.chatCompletionStream(
        new ChatCompletionRequest(List.of(this.chatCompletionMessage), MoonshotApi.ChatModel.MOONSHOT_V1_8K.getValue(), 0.7, true));

有关更多信息，请参阅 MoonshotApi.java 的 JavaDoc。

MoonshotApi 示例