watsonx.ai Chat

使用 watsonx.ai，您可以在本地运行各种大型语言模型 (LLM) 并从中生成文本。Spring AI 通过 WatsonxAiChatModel 支持 watsonx.ai 文本生成。

先决条件

您首先需要拥有 watsonx.ai 的 SaaS 实例（以及 IBM Cloud 帐户）。

请参阅 免费试用 以免费试用 watsonx.ai

更多信息可以在 此处 找到。

自动配置

Spring AI 为 watsonx.ai Chat 客户端提供 Spring Boot 自动配置。要启用它，请将以下依赖项添加到项目的 Maven pom.xml 文件

<dependency>
   <groupId>org.springframework.ai</groupId>
   <artifactId>spring-ai-watsonx-ai-spring-boot-starter</artifactId>
</dependency>

或您的 Gradle build.gradle 构建文件。

dependencies {
    implementation 'org.springframework.ai:spring-ai-watsonx-ai-spring-boot-starter'
}

聊天属性

连接属性

前缀 spring.ai.watsonx.ai 用作属性前缀，可让您连接到 watsonx.ai。

属性 描述 默认值

spring.ai.watsonx.ai.base-url

连接到的 URL

us-south.ml.cloud.ibm.com

spring.ai.watsonx.ai.stream-endpoint

流式传输端点

ml/v1/text/generation_stream?version=2023-05-29

spring.ai.watsonx.ai.text-endpoint

文本端点

ml/v1/text/generation?version=2023-05-29

spring.ai.watsonx.ai.project-id

项目 ID

-

spring.ai.watsonx.ai.iam-token

IBM Cloud 帐户 IAM 令牌

-

配置属性

前缀 spring.ai.watsonx.ai.chat 是属性前缀，可让您配置 Watsonx.AI 的聊天模型实现。

属性 描述 默认值

spring.ai.watsonx.ai.chat.enabled

启用 Watsonx.AI 聊天模型。

true

spring.ai.watsonx.ai.chat.options.temperature

模型的温度。提高温度将使模型以更具创意的方式回答。

0.7

spring.ai.watsonx.ai.chat.options.top-p

与 top-k 协同工作。较高的值（例如 0.95）将导致更丰富的文本，而较低的值（例如 0.2）将生成更集中和保守的文本。

1.0

spring.ai.watsonx.ai.chat.options.top-k

减少生成无意义内容的概率。较高的值（例如 100）将给出更多样化的答案，而较低的值（例如 10）将更保守。

50

spring.ai.watsonx.ai.chat.options.decoding-method

解码是模型用于选择生成输出中的标记的过程。

greedy

spring.ai.watsonx.ai.chat.options.max-new-tokens

设置 LLM 遵循的标记限制。

20

spring.ai.watsonx.ai.chat.options.min-new-tokens

设置 LLM 必须生成的标记数量。

0

spring.ai.watsonx.ai.chat.options.stop-sequences

设置 LLM 何时停止。（例如，[“\n\n\n”]）然后，当 LLM 生成三个连续的换行符时，它将终止。在生成 Min tokens 参数中指定的标记数量之前，将忽略停止序列。

-

spring.ai.watsonx.ai.chat.options.repetition-penalty

设置对重复的惩罚强度。较高的值（例如 1.8）将更强烈地惩罚重复，而较低的值（例如 1.1）将更宽容。

1.0

spring.ai.watsonx.ai.chat.options.random-seed

生成可重复的结果，每次都设置相同的随机种子值。

随机生成

spring.ai.watsonx.ai.chat.options.model

Model 是要使用的 LLM 模型的标识符。

google/flan-ul2

运行时选项

The WatsonxAiChatOptions.java 提供模型配置，例如要使用的模型、温度、频率惩罚等。

在启动时，可以使用 WatsonxAiChatModel(api, options) 构造函数或 spring.ai.watsonxai.chat.options.* 属性配置默认选项。

在运行时，您可以通过向 Prompt 调用添加新的、特定于请求的选项来覆盖默认选项。例如，要覆盖特定请求的默认模型和温度

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        WatsonxAiChatOptions.builder()
            .withTemperature(0.4)
        .build()
    ));
除了特定于模型的 WatsonxAiChatOptions.java 之外，您还可以使用可移植的 ChatOptions 实例，该实例使用 ChatOptionsBuilder#builder() 创建。
有关更多信息，请访问 watsonx-parameters-info

使用示例

public class MyClass {

    private final static String MODEL = "google/flan-ul2";
    private final WatsonxAiChatModel chatModel;

    @Autowired
    MyClass(WatsonxAiChatModel chatModel) {
        this.chatModel = chatModel;
    }

    public String generate(String userInput) {

        WatsonxAiOptions options = WatsonxAiOptions.create()
            .withModel(MODEL)
            .withDecodingMethod("sample")
            .withRandomSeed(1);

        Prompt prompt = new Prompt(new SystemMessage(userInput), options);

        var results = this.chatModel.call(prompt);

        var generatedText = results.getResult().getOutput().getContent();

        return generatedText;
    }

    public String generateStream(String userInput) {

        WatsonxAiOptions options = WatsonxAiOptions.create()
            .withModel(MODEL)
            .withDecodingMethod("greedy")
            .withRandomSeed(2);

        Prompt prompt = new Prompt(new SystemMessage(userInput), options);

        var results = this.chatModel.stream(prompt).collectList().block(); // wait till the stream is resolved (completed)

        var generatedText = results.stream()
            .map(generation -> generation.getResult().getOutput().getContent())
            .collect(Collectors.joining());

        return generatedText;
    }

}