函数调用
您可以使用 MiniMaxChatModel
注册自定义 Java 函数,并让 MiniMax 模型智能地选择输出包含要调用一个或多个已注册函数的参数的 JSON 对象。这使您能够将 LLM 功能与外部工具和 API 连接起来。MiniMax 模型经过训练,可以检测何时应调用函数,并以符合函数签名的 JSON 响应。
MiniMax API 不会直接调用函数;相反,模型会生成 JSON,您可以使用它在代码中调用函数并将结果返回给模型以完成对话。
Spring AI 提供灵活且用户友好的方法来注册和调用自定义函数。通常,自定义函数需要提供函数 name
、description
和函数调用 signature
(作为 JSON 模式)以让模型知道函数期望的参数。description
有助于模型理解何时调用函数。
作为开发人员,您需要实现一个函数,该函数接收来自 AI 模型的函数调用参数,并向模型返回结果。您的函数可以依次调用其他第三方服务来提供结果。
Spring AI 使这变得非常容易,只需定义一个返回 java.util.Function
的 @Bean
定义,并在调用 ChatModel
时提供 bean 名称作为选项。
在幕后,Spring 会将您的 POJO(函数)与适当的适配器代码包装起来,从而实现与 AI 模型的交互,从而免于编写繁琐的样板代码。底层基础设施的基础是 FunctionCallback.java 接口以及配套的 Builder 实用程序类,以简化 Java 回调函数的实现和注册。
工作原理
假设我们希望 AI 模型响应它没有的信息,例如给定位置的当前温度。
我们可以为 AI 模型提供有关我们自己的函数的元数据,它可以在处理您的提示时使用这些元数据来检索该信息。
例如,如果在处理提示的过程中,AI 模型确定它需要有关给定位置温度的附加信息,它将启动服务器端生成的请求/响应交互。AI 模型调用客户端函数。AI 模型以 JSON 格式提供方法调用详细信息,客户端负责执行该函数并返回响应。
模型-客户端交互在 [spring-ai-function-calling-flow] 图中进行了说明。
Spring AI 大大简化了您需要编写的支持函数调用的代码。它为您代理函数调用对话。您只需将函数定义作为 @Bean
提供,然后在提示选项中提供函数的 bean 名称即可。您还可以引用提示中的多个函数 bean 名称。
快速入门
让我们创建一个聊天机器人,通过调用我们自己的函数来回答问题。为了支持聊天机器人的响应,我们将注册我们自己的函数,该函数接收一个位置并返回该位置的当前天气。
当对模型的提示的响应需要回答诸如 “波士顿的天气怎么样?”
之类的问题时,AI 模型将调用客户端,提供位置值作为要传递给函数的参数。此类似 RPC 的数据作为 JSON 传递。
我们的函数调用一些基于 SaaS 的天气服务 API 并将天气响应返回给模型以完成对话。在此示例中,我们将使用一个名为 MockWeatherService
的简单实现,该实现对各种位置的温度进行硬编码。
以下 MockWeatherService.java
表示天气服务 API
public class MockWeatherService implements Function<Request, Response> {
public enum Unit { C, F }
public record Request(String location, Unit unit) {}
public record Response(double temp, Unit unit) {}
public Response apply(Request request) {
return new Response(30.0, Unit.C);
}
}
将函数注册为 Bean
使用 MiniMaxChatModel 自动配置,您可以通过多种方式将自定义函数注册为 Spring 上下文中的 bean。
我们首先描述最友好的 POJO 选项。
纯 Java 函数
在这种方法中,您像定义任何其他 Spring 托管对象一样在应用程序上下文中定义 @Beans
。
在内部,Spring AI ChatModel
将创建一个 FunctionCallback
实例的实例,该实例添加了通过 AI 模型调用它的逻辑。@Bean
的名称作为 ChatOption
传递。
@Configuration
static class Config {
@Bean
@Description("Get the weather in location") // function description
public Function<MockWeatherService.Request, MockWeatherService.Response> weatherFunction1() {
return new MockWeatherService();
}
...
}
@Description
注解是可选的,并提供一个函数描述 (2),帮助模型理解何时调用该函数。这是一个重要的属性,有助于 AI 模型确定要调用哪个客户端函数。
另一种提供函数描述的方法是在 MockWeatherService.Request
上使用 @JacksonDescription
注解来提供函数描述。
@Configuration
static class Config {
@Bean
public Function<Request, Response> currentWeather3() { // (1) bean name as function name.
return new MockWeatherService();
}
...
}
@JsonClassDescription("Get the weather in location") // (2) function description
public record Request(String location, Unit unit) {}
最佳实践是在请求对象上添加信息,以便该函数生成的 JSON 模式尽可能具有描述性,从而帮助 AI 模型选择正确的函数进行调用。
FunctionCallback 包装器
另一种注册函数的方法是创建 FunctionCallback
实例,如下所示
@Configuration
static class Config {
@Bean
public FunctionCallback weatherFunctionInfo() {
return FunctionCallback.builder()
.description("Get the weather in location") // (2) function description
.function("CurrentWeather", new MockWeatherService()) // (1) function name and instance
.inputType(MockWeatherService.Request.class) // (3) function signature
.build();
}
...
}
它包装了第三方 MockWeatherService
函数,并将其作为 CurrentWeather
函数注册到 MiniMaxChatModel
中。它还提供了一个描述 (2) 和函数签名 (3),让模型知道函数期望的参数。
默认情况下,响应转换器会对 Response 对象进行 JSON 序列化。 |
FunctionCallback 在内部根据 MockWeatherService.Request 类解析函数调用签名。 |
在聊天选项中指定函数
为了让模型知道并调用你的 CurrentWeather
函数,你需要在你的提示请求中启用它。
MiniMaxChatModel chatModel = ...
UserMessage userMessage = new UserMessage("What's the weather like in San Francisco, Tokyo, and Paris?");
ChatResponse response = this.chatModel.call(new Prompt(List.of(this.userMessage),
MiniMaxChatOptions.builder().withFunction("CurrentWeather").build())); // (1) Enable the function
logger.info("Response: {}", response);
上面的用户问题将触发 3 次对 CurrentWeather
函数的调用(每个城市一次),最终的响应将类似于以下内容。
Here is the current weather for the requested cities: - San Francisco, CA: 30.0°C - Tokyo, Japan: 10.0°C - Paris, France: 15.0°C
该MiniMaxFunctionCallbackIT.java 测试演示了这种方法。
使用提示选项注册/调用函数
除了自动配置之外,你还可以使用你的提示请求动态注册回调函数。
MiniMaxChatModel chatModel = ...
UserMessage userMessage = new UserMessage("What's the weather like in San Francisco, Tokyo, and Paris?");
var promptOptions = MiniMaxChatOptions.builder()
.withFunctionCallbacks(List.of(FunctionCallback.builder()
.description("Get the weather in location") // (2) function description
.function("CurrentWeather", new MockWeatherService()) // (1) function name and instance
.inputType(MockWeatherService.Request.class) // (3) function signature
.build())) // function code
.build();
ChatResponse response = this.chatModel.call(new Prompt(List.of(this.userMessage), this.promptOptions));
在提示中注册的函数在此请求期间默认启用。 |
这种方法允许根据用户输入动态选择要调用的不同函数。
该FunctionCallbackInPromptIT.java 集成测试提供了一个完整的示例,说明如何使用 MiniMaxChatModel
注册函数并在提示请求中使用它。