Bedrock Anthropic 2 聊天

Anthropic 2 聊天 API 已弃用，并被新的 Anthropic Claude 3 消息 API 替代。对于新项目，请使用Anthropic Claude 3 消息 API。

Anthropic 的 Claude 是一个基于 Anthropic 对训练有用、诚实和无害 AI 系统的研究而开发的 AI 助手。Claude 模型具有以下高级功能：

  • 200k 个 Token 的上下文窗口：Claude 拥有 200,000 个 Token 的强大容量，使其非常适合处理技术文档、代码库和文学作品等大量信息。

  • 支持的任务：Claude 的多功能性涵盖了诸如摘要、问答、趋势预测和文档比较等任务，使之能够广泛应用于从对话到内容生成的各种应用。

  • AI 安全功能：基于 Anthropic 的安全研究构建，Claude 在其交互中优先考虑有用性、诚实性和无害性，从而降低品牌风险并确保负责任的 AI 行为。

AWS Bedrock Anthropic 模型页面 和 Amazon Bedrock 用户指南 包含有关如何使用 AWS 托管模型的详细信息。

Anthropic 的 Claude 2 和 3 模型也可直接在 Anthropic 自己的云平台上使用。Spring AI 提供专用的Anthropic Claude 客户端来访问它。

先决条件

请参阅Spring AI 关于 Amazon Bedrock 的文档，了解如何设置 API 访问。

添加仓库和 BOM

Spring AI 工件发布在 Spring Milestone 和 Snapshot 仓库中。请参阅仓库部分，将这些仓库添加到您的构建系统中。

为了帮助进行依赖管理，Spring AI 提供了一个 BOM（物料清单），以确保在整个项目中使用一致版本的 Spring AI。请参阅依赖管理部分，将 Spring AI BOM 添加到您的构建系统中。

自动配置

将spring-ai-bedrock-ai-spring-boot-starter依赖项添加到您项目的 Maven pom.xml 文件

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-bedrock-ai-spring-boot-starter</artifactId>
</dependency>

或您的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-bedrock-ai-spring-boot-starter'
}
请参阅依赖管理部分，将 Spring AI BOM 添加到您的构建文件中。

启用 Anthropic 聊天

默认情况下，Anthropic 模型处于禁用状态。要启用它，请将spring.ai.bedrock.anthropic.chat.enabled属性设置为true。导出环境变量是设置此配置属性的一种方法。

export SPRING_AI_BEDROCK_ANTHROPIC_CHAT_ENABLED=true

聊天属性

前缀spring.ai.bedrock.aws是配置与 AWS Bedrock 连接的属性前缀。

属性 描述 默认值

spring.ai.bedrock.aws.region

要使用的 AWS 区域。

us-east-1

spring.ai.bedrock.aws.timeout

要使用的 AWS 超时时间。

5m

spring.ai.bedrock.aws.access-key

AWS 访问密钥。

-

spring.ai.bedrock.aws.secret-key

AWS 密钥。

-

前缀spring.ai.bedrock.anthropic.chat是配置 Claude 的聊天模型实现的属性前缀。

属性 描述 默认值

spring.ai.bedrock.anthropic.chat.enabled

启用 Bedrock Anthropic 聊天模型。默认情况下禁用。

false

spring.ai.bedrock.anthropic.chat.model

要使用的模型 ID。有关支持的模型，请参阅AnthropicChatModel。

anthropic.claude-v2

spring.ai.bedrock.anthropic.chat.options.temperature

控制输出的随机性。值范围为 [0.0,1.0]

0.8

spring.ai.bedrock.anthropic.chat.options.topP

采样时要考虑的 Token 的最大累积概率。

AWS Bedrock 默认值

spring.ai.bedrock.anthropic.chat.options.topK

指定生成模型用于生成下一个 token 的 token 选择数量。

AWS Bedrock 默认值

spring.ai.bedrock.anthropic.chat.options.stopSequences

配置最多四个生成模型识别的序列。遇到停止序列后，生成模型将停止生成更多 token。返回的文本不包含停止序列。

10

spring.ai.bedrock.anthropic.chat.options.anthropicVersion

要使用的生成模型版本。

bedrock-2023-05-31

spring.ai.bedrock.anthropic.chat.options.maxTokensToSample

指定生成的回复中使用的最大 token 数量。请注意，模型可能会在达到此最大值之前停止。此参数仅指定生成的 token 的绝对最大数量。我们建议限制为 4000 个 token 以获得最佳性能。

500

查看AnthropicChatModel以获取其他模型 ID。支持的值包括：anthropic.claude-instant-v1、anthropic.claude-v2 和 anthropic.claude-v2:1。模型 ID 值也可以在AWS Bedrock 基本模型 ID 文档中找到。

所有以spring.ai.bedrock.anthropic.chat.options为前缀的属性都可以在运行时通过向Prompt调用添加特定于请求的运行时选项来覆盖。

运行时选项

该AnthropicChatOptions.java提供模型配置，例如温度、topK、topP 等。

启动时，可以使用BedrockAnthropicChatModel(api, options)构造函数或spring.ai.bedrock.anthropic.chat.options.*属性配置默认选项。

在运行时，您可以通过向Prompt调用添加新的、特定于请求的选项来覆盖默认选项。例如，要覆盖特定请求的默认温度

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        AnthropicChatOptions.builder()
            .withTemperature(0.4)
        .build()
    ));
除了特定于模型的AnthropicChatOptions之外，您还可以使用可移植的ChatOptions实例，该实例使用ChatOptionsBuilder#builder()创建。

示例控制器

使用Create创建一个新的 Spring Boot 项目，并将spring-ai-bedrock-ai-spring-boot-starter添加到您的 pom（或 gradle）依赖项中。

在src/main/resources目录下添加一个application.properties文件，以启用和配置 Anthropic chat 模型

spring.ai.bedrock.aws.region=eu-central-1
spring.ai.bedrock.aws.timeout=1000ms
spring.ai.bedrock.aws.access-key=${AWS_ACCESS_KEY_ID}
spring.ai.bedrock.aws.secret-key=${AWS_SECRET_ACCESS_KEY}

spring.ai.bedrock.anthropic.chat.enabled=true
spring.ai.bedrock.anthropic.chat.options.temperature=0.8
spring.ai.bedrock.anthropic.chat.options.top-k=15
将regions、access-key和secret-key替换为您的 AWS 凭据。

这将创建一个BedrockAnthropicChatModel实现，您可以将其注入到您的类中。这是一个使用 chat 模型进行文本生成的简单@Controller类的示例。

@RestController
public class ChatController {

    private final BedrockAnthropicChatModel chatModel;

    @Autowired
    public ChatController(BedrockAnthropicChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", this.chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        Prompt prompt = new Prompt(new UserMessage(message));
        return this.chatModel.stream(prompt);
    }
}

手动配置

该BedrockAnthropicChatModel实现了ChatModel和StreamingChatModel，并使用低级 AnthropicChatBedrockApi 客户端连接到 Bedrock Anthropic 服务。

将spring-ai-bedrock依赖项添加到项目的 Maven pom.xml 文件中

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-bedrock</artifactId>
</dependency>

或您的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-bedrock'
}
请参阅依赖管理部分，将 Spring AI BOM 添加到您的构建文件中。

接下来，创建一个BedrockAnthropicChatModel并将其用于文本生成

AnthropicChatBedrockApi anthropicApi =  new AnthropicChatBedrockApi(
    AnthropicChatBedrockApi.AnthropicModel.CLAUDE_V2.id(),
    EnvironmentVariableCredentialsProvider.create(),
    Region.US_EAST_1.id(),
    new ObjectMapper(),
    Duration.ofMillis(1000L));

BedrockAnthropicChatModel chatModel = new BedrockAnthropicChatModel(this.anthropicApi,
    AnthropicChatOptions.builder()
        .withTemperature(0.6)
        .withTopK(10)
        .withTopP(0.8)
        .withMaxTokensToSample(100)
        .withAnthropicVersion(AnthropicChatBedrockApi.DEFAULT_ANTHROPIC_VERSION)
        .build());

ChatResponse response = this.chatModel.call(
    new Prompt("Generate the names of 5 famous pirates."));

// Or with streaming responses
Flux<ChatResponse> response = this.chatModel.stream(
    new Prompt("Generate the names of 5 famous pirates."));

低级 AnthropicChatBedrockApi 客户端

该AnthropicChatBedrockApi提供了一个基于 AWS Bedrock 的轻量级 Java 客户端Anthropic Claude 模型。

下图说明了 AnthropicChatBedrockApi 接口及其构建块

AnthropicChatBedrockApi Class Diagram

客户端支持anthropic.claude-instant-v1、anthropic.claude-v2和anthropic.claude-v2:1模型的同步（例如chatCompletion()）和流式（例如chatCompletionStream()）响应。

这是一个关于如何以编程方式使用 api 的简单代码片段

AnthropicChatBedrockApi anthropicChatApi = new AnthropicChatBedrockApi(
   AnthropicModel.CLAUDE_V2.id(), Region.US_EAST_1.id(), Duration.ofMillis(1000L));

AnthropicChatRequest request = AnthropicChatRequest
  .builder(String.format(AnthropicChatBedrockApi.PROMPT_TEMPLATE, "Name 3 famous pirates"))
  .withTemperature(0.8)
  .withMaxTokensToSample(300)
  .withTopK(10)
  .build();

// Sync request
AnthropicChatResponse response = this.anthropicChatApi.chatCompletion(this.request);

// Streaming request
Flux<AnthropicChatResponse> responseStream = this.anthropicChatApi.chatCompletionStream(this.request);
List<AnthropicChatResponse> responses = this.responseStream.collectList().block();

有关更多信息，请参阅AnthropicChatBedrockApi.java的 JavaDoc。