Typesense

本节将引导您设置 TypesenseVectorStore 以存储文档嵌入并执行相似性搜索。

Typesense Typesense 是一款开源的、容错的搜索引擎，经过优化，可实现即时的低于 50 毫秒的搜索，同时提供直观的开发者体验。

先决条件

  1. 一个 Typesense 实例

  2. EmbeddingModel 实例以计算文档嵌入。有多种选择可用

    • 如果需要，则需要用于 EmbeddingModel 的 API 密钥，以生成 TypesenseVectorStore 存储的嵌入。

自动配置

Spring AI 为 Typesense Vector Sore 提供了 Spring Boot 自动配置。要启用它，请将以下依赖项添加到项目的 Maven pom.xml 文件中

<dependency>
        <groupId>org.springframework.ai</groupId>
        <artifactId>spring-ai-typesense-spring-boot-starter</artifactId>
</dependency>

或添加到您的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-typesense-spring-boot-starter'
}
请参阅 依赖项管理 部分，以将 Spring AI BOM 添加到您的构建文件中。
请参阅 存储库 部分，以将里程碑和/或快照存储库添加到您的构建文件中。

此外，您将需要一个配置好的 EmbeddingModel bean。有关更多信息，请参阅 EmbeddingModel 部分。

以下是一个所需 bean 的示例

@Bean
public EmbeddingModel embeddingModel() {
    // Can be any other EmbeddingModel implementation.
    return new OpenAiEmbeddingModel(new OpenAiApi(System.getenv("SPRING_AI_OPENAI_API_KEY")));
}

要连接到 Typesense，您需要提供实例的访问详细信息。可以通过 Spring Boot 的 application.yml 提供简单的配置，

spring:
  ai:
    vectorstore:
      typesense:
          collectionName: "vector_store"
          embeddingDimension: 1536
          client:
              protocl: http
              host: localhost
              port: 8108
              apiKey: xyz

请查看向量存储的 配置参数 列表，以了解默认值和配置选项。

现在，您可以在应用程序中自动装配 Typesense Vector Store 并使用它

@Autowired VectorStore vectorStore;

// ...

List <Document> documents = List.of(
    new Document("Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!!", Map.of("meta1", "meta1")),
    new Document("The World is Big and Salvation Lurks Around the Corner"),
    new Document("You walk forward facing the past and you turn back toward the future.", Map.of("meta2", "meta2")));

// Add the documents to Typesense
vectorStore.add(documents);

// Retrieve documents similar to a query
List<Document> results = this.vectorStore.similaritySearch(SearchRequest.query("Spring").withTopK(5));

配置属性

您可以在 Spring Boot 配置中使用以下属性来自定义 Typesense 向量存储。

属性 描述 默认值

spring.ai.vectorstore.typesense.client.protocol

HTTP 协议

http

spring.ai.vectorstore.typesense.client.host

主机名

localhost

spring.ai.vectorstore.typesense.client.port

端口

8108

spring.ai.vectorstore.typesense.client.apiKey

ApiKey

xyz

spring.ai.vectorstore.typesense.initialize-schema

是否初始化所需的模式

false

spring.ai.vectorstore.typesense.collection-name

集合名称

vector_store

spring.ai.vectorstore.typesense.embedding-dimension

嵌入维度

1536

元数据过滤

您也可以使用通用的、可移植的 元数据过滤器 与 TypesenseVectorStore。

例如，您可以使用文本表达式语言

vectorStore.similaritySearch(
   SearchRequest
      .query("The World")
      .withTopK(TOP_K)
      .withSimilarityThreshold(SIMILARITY_THRESHOLD)
      .withFilterExpression("country in ['UK', 'NL'] && year >= 2020"));

或使用表达式 DSL 以编程方式

FilterExpressionBuilder b = new FilterExpressionBuilder();

vectorStore.similaritySearch(
   SearchRequest
      .query("The World")
      .withTopK(TOP_K)
      .withSimilarityThreshold(SIMILARITY_THRESHOLD)
      .withFilterExpression(b.and(
         b.in("country", "UK", "NL"),
         b.gte("year", 2020)).build()));

可移植过滤器表达式会自动转换为 Typesense 搜索过滤器。例如，以下可移植过滤器表达式

country in ['UK', 'NL'] && year >= 2020

转换为 Typesense 过滤器

country: ['UK', 'NL'] && year: >=2020

手动配置

如果您不想使用自动配置，则可以手动配置 Typesense Vector Store。添加 Typesense Vector Store 和 Jedis 依赖项

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-typesense</artifactId>
</dependency>
请参阅 依赖项管理 部分，以将 Spring AI BOM 添加到您的构建文件中。

然后，在 Spring 配置中创建一个 TypesenseVectorStore bean

@Bean
public VectorStore vectorStore(Client client, EmbeddingModel embeddingModel) {

    TypesenseVectorStoreConfig config = TypesenseVectorStoreConfig.builder()
        .withCollectionName("test_vector_store")
        .withEmbeddingDimension(embeddingModel.dimensions())
        .build();

    return new TypesenseVectorStore(client, embeddingModel, config);
}

@Bean
public Client typesenseClient() {
    List<Node> nodes = new ArrayList<>();
    nodes
        .add(new Node("http", typesenseContainer.getHost(), typesenseContainer.getMappedPort(8108).toString()));

    Configuration configuration = new Configuration(nodes, Duration.ofSeconds(5), "xyz");
    return new Client(configuration);
}

更方便且推荐的做法是将 TypesenseVectorStore 创建为 Bean。但是，如果您决定手动创建它，则必须在设置属性后并在使用客户端之前调用 TypesenseVectorStore#afterPropertiesSet()。

然后在您的主代码中，创建一些文档

List<Document> documents = List.of(
   new Document("Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!!", Map.of("country", "UK", "year", 2020)),
   new Document("The World is Big and Salvation Lurks Around the Corner", Map.of()),
   new Document("You walk forward facing the past and you turn back toward the future.", Map.of("country", "NL", "year", 2023)));

现在将文档添加到您的向量存储中

vectorStore.add(documents);

最后，检索与查询类似的文档

List<Document> results = vectorStore.similaritySearch(
   SearchRequest
      .query("Spring")
      .withTopK(5));

如果一切顺利，您应该检索包含文本“Spring AI rocks!!”的文档。

如果您没有按预期顺序检索文档或搜索结果不符合预期，请检查您正在使用的嵌入模型。

嵌入模型会对搜索结果产生重大影响（例如，确保如果您的数据是西班牙语，则使用西班牙语或多语言嵌入模型）。