Perplexity 聊天
Perplexity AI 提供一项独特的 AI 服务，它将自己的语言模型与实时搜索功能相结合。它提供多种模型，并支持流式响应以实现会话式 AI。
Spring AI 通过复用现有的 OpenAI 客户端与 Perplexity AI 集成。要开始使用，你需要获取一个 Perplexity API 密钥，配置基础 URL，并选择一个受支持的模型。
Perplexity API 与 OpenAI API 并非完全兼容。Perplexity 将实时网络搜索结果与其语言模型响应相结合。与 OpenAI 不同，Perplexity 不暴露 toolCalls - 函数调用 机制。此外，Perplexity 目前不支持多模态消息。 |
请查看 PerplexityWithOpenAiChatModelIT.java 测试用例，了解如何在 Spring AI 中使用 Perplexity 的示例。
先决条件
-
创建 API 密钥：访问 此处 创建 API 密钥。在你的 Spring AI 项目中，使用
spring.ai.openai.api-key属性进行配置。 -
设置 Perplexity 基础 URL：将
spring.ai.openai.base-url属性设置为https://api.perplexity.ai。 -
选择 Perplexity 模型：使用
spring.ai.openai.chat.model=<model name>属性指定模型。请参考 支持的模型 以获取可用选项。 -
设置聊天完成路径：将
spring.ai.openai.chat.completions-path设置为/chat/completions。有关更多详细信息，请参阅 聊天完成 API。
您可以在 application.properties 文件中设置这些配置属性
spring.ai.openai.api-key=<your-perplexity-api-key>
spring.ai.openai.base-url=https://api.perplexity.ai
spring.ai.openai.chat.model=llama-3.1-sonar-small-128k-online
spring.ai.openai.chat.completions-path=/chat/completions为了在处理 API 密钥等敏感信息时增强安全性，您可以使用 Spring 表达式语言 (SpEL) 来引用自定义环境变量
# In application.yml
spring:
ai:
openai:
api-key: ${PERPLEXITY_API_KEY}
base-url: ${PERPLEXITY_BASE_URL}
chat:
model: ${PERPLEXITY_MODEL}
completions-path: ${PERPLEXITY_COMPLETIONS_PATH}# In your environment or .env file
export PERPLEXITY_API_KEY=<your-perplexity-api-key>
export PERPLEXITY_BASE_URL=https://api.perplexity.ai
export PERPLEXITY_MODEL=llama-3.1-sonar-small-128k-online
export PERPLEXITY_COMPLETIONS_PATH=/chat/completions您还可以在应用程序代码中以编程方式设置这些配置
// Retrieve configuration from secure sources or environment variables
String apiKey = System.getenv("PERPLEXITY_API_KEY");
String baseUrl = System.getenv("PERPLEXITY_BASE_URL");
String model = System.getenv("PERPLEXITY_MODEL");
String completionsPath = System.getenv("PERPLEXITY_COMPLETIONS_PATH");自动配置
|
Spring AI 自动配置、启动模块的工件名称发生了重大变化。请参阅 升级说明 以获取更多信息。 |
Spring AI 为 OpenAI 聊天客户端提供了 Spring Boot 自动配置。要启用它，请将以下依赖项添加到您的项目的 Maven pom.xml 或 Gradle build.gradle 构建文件中
-
Maven
-
Gradle
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>dependencies {
implementation 'org.springframework.ai:spring-ai-starter-model-openai'
}| 请参阅 依赖项管理 部分，将 Spring AI BOM 添加到您的构建文件中。 |
聊天属性
重试属性
前缀 spring.ai.retry 用作属性前缀，允许您为 OpenAI 聊天模型配置重试机制。
| 财产 | 描述 | 默认值 |
|---|---|---|
spring.ai.retry.max-attempts |
最大重试次数。 |
10 |
spring.ai.retry.backoff.initial-interval |
指数回退策略的初始休眠持续时间。 |
2 秒。 |
spring.ai.retry.backoff.multiplier |
回退间隔乘数。 |
5 |
spring.ai.retry.backoff.max-interval |
最大回退持续时间。 |
3 分钟。 |
spring.ai.retry.on-client-errors |
如果为 false，则抛出 NonTransientAiException，并且不尝试重试 |
假 |
spring.ai.retry.exclude-on-http-codes |
不应触发重试的 HTTP 状态代码列表（例如，抛出 NonTransientAiException）。 |
空 |
spring.ai.retry.on-http-codes |
应触发重试的 HTTP 状态代码列表（例如，抛出 TransientAiException）。 |
空 |
连接属性
前缀 spring.ai.openai 用作属性前缀，允许您连接到 OpenAI。
| 财产 | 描述 | 默认值 |
|---|---|---|
spring.ai.openai.base-url |
要连接的 URL。必须设置为 |
- |
spring.ai.openai.chat.api-key |
您的 Perplexity API 密钥 |
- |
配置属性
|
聊天自动配置的启用和禁用现在通过以 要启用，spring.ai.model.chat=openai (默认启用) 要禁用，spring.ai.model.chat=none (或任何不匹配 openai 的值) 此更改是为了允许配置多个模型。 |
前缀 spring.ai.openai.chat 是属性前缀，允许您配置 OpenAI 的聊天模型实现。
| 财产 | 描述 | 默认值 |
|---|---|---|
spring.ai.model.chat |
启用 OpenAI 聊天模型。 |
openai |
spring.ai.openai.chat.model |
其中一个受支持的 Perplexity 模型。示例： |
- |
spring.ai.openai.chat.base-url |
可选地覆盖 spring.ai.openai.base-url 以提供聊天专用的 URL。必须设置为 |
- |
spring.ai.openai.chat.completions-path |
必须设置为 |
|
spring.ai.openai.chat.options.temperature |
响应中的随机性大小，取值范围为 0（包含）到 2（不包含）。值越高，随机性越大；值越低，确定性越高。所需范围： |
0.2 |
spring.ai.openai.chat.options.frequencyPenalty |
大于 0 的乘性惩罚。大于 1.0 的值会根据新令牌在迄今为止的文本中已存在的频率对其进行惩罚，从而降低模型重复相同内容的可能性。值为 1.0 表示没有惩罚。与 presence_penalty 不兼容。所需范围： |
1 |
spring.ai.openai.chat.options.maxTokens |
API 返回的最大完成令牌数量。max_tokens 中请求的令牌总数加上 messages 中发送的提示令牌数不得超过所请求模型的上下文窗口令牌限制。如果未指定，则模型将生成令牌，直到达到其停止令牌或其上下文窗口的末尾。 |
- |
spring.ai.openai.chat.options.presencePenalty |
一个介于 -2.0 和 2.0 之间的值。正值根据新令牌是否出现在迄今为止的文本中对其进行惩罚，从而增加模型谈论新主题的可能性。与 |
0 |
spring.ai.openai.chat.options.topP |
核采样阈值，取值范围为 0 到 1（包含）。对于每个后续令牌，模型会考虑 top_p 概率质量的令牌结果。我们建议修改 top_k 或 top_p，但不要同时修改两者。所需范围： |
0.9 |
spring.ai.openai.chat.options.stream-usage |
（仅限流式传输）设置为添加一个额外的块，其中包含整个请求的令牌使用统计信息。此块的 |
假 |
所有以 spring.ai.openai.chat.options 为前缀的属性都可以在运行时通过向 Prompt 调用添加请求特定的 运行时选项 来覆盖。 |
运行时选项
OpenAiChatOptions.java 提供了模型配置，例如要使用的模型、温度、频率惩罚等。
在启动时，可以使用 OpenAiChatModel(api, options) 构造函数或 spring.ai.openai.chat.options.* 属性配置默认选项。
在运行时，您可以通过向 Prompt 调用添加新的、请求特定的选项来覆盖默认选项。例如，为特定请求覆盖默认模型和温度
ChatResponse response = chatModel.call(
new Prompt(
"Generate the names of 5 famous pirates.",
OpenAiChatOptions.builder()
.model("llama-3.1-sonar-large-128k-online")
.temperature(0.4)
.build()
));| 除了模型特定的 OpenAiChatOptions，您还可以使用可移植的 ChatOptions 实例，该实例通过 ChatOptions#builder() 创建。 |
示例控制器
创建 一个新的 Spring Boot 项目，并将 spring-ai-starter-model-openai 添加到您的 pom（或 gradle）依赖项中。
在src/main/resources目录下添加一个application.properties文件，以启用和配置 OpenAi 聊天模型
spring.ai.openai.api-key=<PERPLEXITY_API_KEY>
spring.ai.openai.base-url=https://api.perplexity.ai
spring.ai.openai.chat.completions-path=/chat/completions
spring.ai.openai.chat.options.model=llama-3.1-sonar-small-128k-online
spring.ai.openai.chat.options.temperature=0.7
# The Perplexity API doesn't support embeddings, so we need to disable it.
spring.ai.openai.embedding.enabled=false将 api-key 替换为您的 Perplexity API 密钥。 |
这将创建一个 OpenAiChatModel 实现，您可以将其注入到您的类中。以下是一个简单的 @Controller 类使用聊天模型进行文本生成的示例。
@RestController
public class ChatController {
private final OpenAiChatModel chatModel;
@Autowired
public ChatController(OpenAiChatModel chatModel) {
this.chatModel = chatModel;
}
@GetMapping("/ai/generate")
public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
return Map.of("generation", this.chatModel.call(message));
}
@GetMapping("/ai/generateStream")
public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
Prompt prompt = new Prompt(new UserMessage(message));
return this.chatModel.stream(prompt);
}
}支持的模型
Perplexity 支持多种模型，这些模型经过优化，可用于增强搜索功能的对话式 AI。有关详细信息，请参阅 支持的模型。
