函数调用

您需要 Ollama 0.2.8 或更高版本。

您需要预先训练了工具支持的模型。通常，此类模型带有 Tools 标记。例如 mistral、firefunction-v2 或 llama3.1:70b。

目前，Ollama API (0.3.8) 不支持流模式下的函数调用。

您可以使用 OllamaChatModel 注册自定义 Java 函数，并使已部署的 Ollama 模型智能地选择输出包含要调用一个或多个已注册函数的参数的 JSON 对象。这使您可以将 LLM 功能与外部工具和 API 连接起来。带有 Tools 标记的 Ollama 模型（请参阅完整列表）经过训练，可以检测何时应调用函数并以符合函数签名的 JSON 响应。

Ollama API 不会直接调用函数；而是，模型会生成 JSON，您可以使用它在代码中调用函数并将结果返回给模型以完成对话。Spring AI 提供了灵活且用户友好的方法来注册和调用自定义函数。通常，自定义函数需要提供函数 名称、描述 和函数调用 签名（作为 JSON 模式），以让模型知道函数期望的参数。描述 有助于模型理解何时调用函数。

作为开发人员，您需要实现一个函数，该函数接收来自 AI 模型的函数调用参数，并向模型返回结果。您的函数还可以依次调用其他第三方服务来提供结果。

Spring AI 使这变得非常容易，只需定义一个返回 java.util.Function 的 @Bean 定义，并在调用 ChatModel 时提供 bean 名称作为选项即可。

在幕后，Spring 将您的 POJO（函数）与适当的适配器代码包装起来，使之能够与 AI 模型交互，从而免除了您编写冗长样板代码的麻烦。底层基础设施的基础是 FunctionCallback.java 接口以及配套的 Builder 实用程序类，以简化 Java 回调函数的实现和注册。

工作原理

假设我们希望 AI 模型以其没有的信息（例如，给定位置的当前温度）进行响应。

我们可以向 AI 模型提供有关我们自己的函数的元数据，它可以在处理您的提示时使用这些元数据来检索该信息。

例如，如果在处理提示的过程中，AI 模型确定它需要有关给定位置的温度的更多信息，它将启动服务器端生成的请求/响应交互。AI 模型调用客户端函数。AI 模型以 JSON 格式提供方法调用详细信息，客户端负责执行该函数并返回响应。

模型-客户端交互在 Spring AI 函数调用流程图中进行了说明。

Spring AI 极大地简化了您需要编写的支持函数调用的代码。它为您代理函数调用对话。您只需将函数定义作为 @Bean 提供，然后在提示选项中提供函数的 bean 名称即可。您还可以提示中引用多个函数 bean 名称。

快速入门

让我们创建一个聊天机器人，通过调用我们自己的函数来回答问题。为了支持聊天机器人的响应，我们将注册我们自己的函数，该函数接收位置并返回该位置的当前天气。

当模型需要回答诸如 “波士顿的天气怎么样？” 之类的问题时，AI 模型将调用客户端，提供位置值作为要传递给函数的参数。此 RPC 式数据以 JSON 格式传递。

我们的函数调用某些基于 SaaS 的天气服务 API，并将天气响应返回给模型以完成对话。在此示例中，我们将使用一个名为 MockWeatherService 的简单实现，该实现对各种位置的温度进行硬编码。

以下 MockWeatherService.java 表示天气服务 API

public class MockWeatherService implements Function<Request, Response> {

	public enum Unit { C, F }
	public record Request(String location, Unit unit) {}
	public record Response(double temp, Unit unit) {}

	public Response apply(Request request) {
		return new Response(30.0, Unit.C);
	}
}

将函数注册为 Bean

使用 OllamaChatModel 自动配置，您可以通过多种方式将自定义函数注册为 Spring 上下文中的 bean。

我们首先介绍最友好的 POJO 选项。

纯 Java 函数

在此方法中，您将在应用程序上下文中定义一个 @Bean，就像定义任何其他 Spring 托管对象一样。

在内部，Spring AI ChatModel 将创建一个 FunctionCallback 的实例，该实例添加了通过 AI 模型调用它的逻辑。@Bean 的名称作为 ChatOption 传递。

@Configuration
static class Config {

	@Bean
	@Description("Get the weather in location") // function description
	public Function<MockWeatherService.Request, MockWeatherService.Response> currentWeather() {
		return new MockWeatherService();
	}

}

@Description 注解是可选的，它提供函数描述，帮助模型理解何时调用函数。这是一个重要的属性，有助于 AI 模型确定要调用哪个客户端函数。

提供函数描述的另一种方法是在 MockWeatherService.Request 上使用 @JsonClassDescription 注解

@Configuration
static class Config {

	@Bean
	public Function<Request, Response> currentWeather() { // bean name as function name
		return new MockWeatherService();
	}

}

@JsonClassDescription("Get the weather in location") // // function description
public record Request(String location, Unit unit) {}

最佳实践是在请求对象中添加注释信息，以便该函数生成的 JSON 模式尽可能具有描述性，从而帮助 AI 模型选择正确的函数进行调用。

FunctionCallback

另一种注册函数的方法是创建如下所示的 FunctionCallback

@Configuration
static class Config {

	@Bean
	public FunctionCallback weatherFunctionInfo() {

    return FunctionCallback.builder()
        .description("Get the weather in location") // (2) function description
		.function("CurrentWeather", new MockWeatherService()) // (1) function name
		.inputType(MockWeatherService.Request.class) // (3) function signature
        .build();
	}

}

它封装了第三方 MockWeatherService 函数并将其注册为 OllamaChatModel 的 CurrentWeather 函数。它还提供了描述（2）和函数签名（3），以便模型了解函数期望的参数。

默认情况下，响应转换器会对 Response 对象执行 JSON 序列化。

FunctionCallback 在内部根据 MockWeatherService.Request 类解析函数调用签名。

在聊天选项中指定函数

要让模型了解并调用您的 CurrentWeather 函数，您需要在提示请求中启用它

OllamaChatModel chatModel = ...

UserMessage userMessage = new UserMessage("What's the weather like in San Francisco, Tokyo, and Paris?");

ChatResponse response = this.chatModel.call(new Prompt(this.userMessage,
		OllamaOptions.builder().withFunction("CurrentWeather").build())); // Enable the function

logger.info("Response: {}", response);

上述用户问题将触发对 CurrentWeather 函数的 3 次调用（每个城市一次），最终响应将类似于以下内容

Here is the current weather for the requested cities:
- San Francisco, CA: 30.0°C
- Tokyo, Japan: 10.0°C
- Paris, France: 15.0°C

该 OllamaFunctionCallbackIT.java 测试演示了这种方法。

使用提示选项注册/调用函数

除了自动配置之外，您还可以使用 Prompt 请求动态注册回调函数。

OllamaChatModel chatModel = ...

UserMessage userMessage = new UserMessage("What's the weather like in San Francisco, Tokyo, and Paris?");

var promptOptions = OllamaOptions.builder()
	.withFunctionCallbacks(List.of(FunctionCallback.builder()
        .description("Get the weather in location") // (2) function description
		.function("CurrentWeather", new MockWeatherService()) // (1) function name and instance
		.inputType(MockWeatherService.Request.class) // (3) function signature
        .build())) // function code
	.build();

ChatResponse response = this.chatModel.call(new Prompt(this.userMessage, this.promptOptions));

在提示中注册的函数在此请求期间默认处于启用状态。

这种方法允许您根据用户输入动态选择要调用的不同函数。

该 FunctionCallbackInPromptIT.java 集成测试提供了一个完整的示例，说明如何使用 OllamaChatModel 注册函数并在提示请求中使用它。

附录

Spring AI 函数调用流程

下图说明了 OllamaChatModel 函数调用的流程

ollama chatmodel function call

Ollama API 函数调用流程

下图说明了 Ollama API 的流程

ollama function calling flow

该 OllamaApiToolFunctionCallIT.java 提供了一个完整的示例，说明如何使用 Ollama API 函数调用。