Oracle 数据库 23ai - AI 向量搜索

Oracle 数据库 23ai (23.4+) 的 AI 向量搜索 功能可作为 Spring AI 的 VectorStore 使用,以帮助您存储文档嵌入并执行相似性搜索。当然,所有其他功能也可用。

在本地运行 Oracle 数据库 23ai 附录中展示了如何使用轻量级 Docker 容器启动数据库。

自动配置

首先将 Oracle 向量存储启动程序依赖项添加到您的项目中

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-oracle-store-spring-boot-starter</artifactId>
</dependency>

或添加到您的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-oracle-store-spring-boot-starter'
}

如果您需要此向量存储为您初始化模式,则需要为适当的构造函数中的 initializeSchema 布尔参数传递 true,或者通过在 application.properties 文件中设置 …​initialize-schema=true 来传递。

这是一个重大更改!在早期版本的 Spring AI 中,此模式初始化默认发生。

向量存储还需要一个 EmbeddingModel 实例来计算文档的嵌入。您可以选择其中一个可用的 EmbeddingModel 实现

例如,要使用 OpenAI EmbeddingModel,请将以下依赖项添加到您的项目中

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>

或添加到您的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai-spring-boot-starter'
}
请参阅 依赖项管理 部分以将 Spring AI BOM 添加到您的构建文件中。请参阅 存储库 部分以将里程碑和/或快照存储库添加到您的构建文件中。

要连接并配置 OracleVectorStore,您需要提供数据库的访问详细信息。可以通过 Spring Boot 的 application.yml 提供简单的配置

spring:
  datasource:
    url: jdbc:oracle:thin:@//127.0.0.1:1521/freepdb1
    username: mlops
    password: mlops
  ai:
	vectorstore:
	  oracle:
		index-type: IVF
		distance-type: COSINE
		dimensions: 1536
查看 配置参数 列表以了解默认值和配置选项。

现在,您可以在应用程序中自动装配 OracleVectorStore 并使用它

@Autowired VectorStore vectorStore;

// ...

List<Document> documents = List.of(
    new Document("Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!!", Map.of("meta1", "meta1")),
    new Document("The World is Big and Salvation Lurks Around the Corner"),
    new Document("You walk forward facing the past and you turn back toward the future.", Map.of("meta2", "meta2")));

// Add the documents to Oracle Vector Store
vectorStore.add(documents);

// Retrieve documents similar to a query
List<Document> results = this.vectorStore.similaritySearch(SearchRequest.query("Spring").withTopK(5));

配置属性

您可以在 Spring Boot 配置中使用以下属性来自定义 OracleVectorStore

属性 描述 默认值

spring.ai.vectorstore.oracle.index-type

最近邻搜索索引类型。选项包括 NONE - 精确最近邻搜索、IVF - 倒排平面文件索引。它具有更快的构建时间并使用比 HNSW 更少的内存,但查询性能较低(在速度-召回权衡方面)。HNSW - 创建多层图。它具有比 IVF 更慢的构建时间并使用更多内存,但查询性能更好(在速度-召回权衡方面)。

NONE

spring.ai.vectorstore.oracle.distance-type

COSINE(默认)、DOTEUCLIDEANEUCLIDEAN_SQUAREDMANHATTAN 之间的搜索距离类型。

注意:如果向量已标准化,则可以使用 DOTCOSINE 获得最佳性能。

COSINE

spring.ai.vectorstore.oracle.forced-normalization

允许在插入之前和相似性搜索时启用向量标准化(如果为 true)。

注意:将其设置为 true 是允许 搜索请求相似度阈值 的必要条件。

注意:如果向量已标准化,则可以使用 DOTCOSINE 获得最佳性能。

false

spring.ai.vectorstore.oracle.dimensions

嵌入维度。如果未明确指定,则 OracleVectorStore 将允许最大值:65535。维度在表创建时设置为嵌入列。如果更改维度,则也需要重新创建表。

65535

spring.ai.vectorstore.oracle.remove-existing-vector-store-table

在启动时删除现有表。

false

spring.ai.vectorstore.oracle.initialize-schema

是否初始化所需的模式。

false

spring.ai.vectorstore.oracle.search-accuracy

在存在索引的情况下,指定所需的精度目标。默认情况下禁用。您需要提供 [1,100] 范围内的整数以覆盖默认索引精度 (95)。使用较低的精度可以提供近似相似性搜索,在速度和精度之间进行权衡。

-1 (DEFAULT_SEARCH_ACCURACY)

元数据过滤

您可以使用通用的、可移植的 元数据过滤器OracleVectorStore

例如,您可以使用文本表达式语言

vectorStore.similaritySearch(
    SearchRequest.defaults()
    .withQuery("The World")
    .withTopK(TOP_K)
    .withSimilarityThreshold(SIMILARITY_THRESHOLD)
    .withFilterExpression("author in ['john', 'jill'] && article_type == 'blog'"));

或使用 Filter.Expression DSL 以编程方式进行

FilterExpressionBuilder b = new FilterExpressionBuilder();

vectorStore.similaritySearch(SearchRequest.defaults()
    .withQuery("The World")
    .withTopK(TOP_K)
    .withSimilarityThreshold(SIMILARITY_THRESHOLD)
    .withFilterExpression(b.and(
        b.in("author","john", "jill"),
        b.eq("article_type", "blog")).build()));
这些过滤器表达式将转换为等效的 OracleVectorStore 过滤器。

手动配置

您可以手动配置 OracleVectorStore,而不是使用 Spring Boot 自动配置。为此,您需要将 Oracle JDBC 驱动程序和 JdbcTemplate 自动配置依赖项添加到您的项目中

<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>

<dependency>
	<groupId>com.oracle.database.jdbc</groupId>
	<artifactId>ojdbc11</artifactId>
	<scope>runtime</scope>
</dependency>

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-oracle-store</artifactId>
</dependency>
请参阅 依赖项管理 部分,以将 Spring AI BOM 添加到您的构建文件中。

要在您的应用程序中配置 OracleVectorStore,您可以使用以下设置

@Bean
public VectorStore vectorStore(JdbcTemplate jdbcTemplate, EmbeddingModel embeddingModel) {
	return new OracleVectorStore(jdbcTemplate, embeddingModel, true);
}

在本地运行 Oracle 数据库 23ai

docker run --rm --name oracle23ai -p 1521:1521 -e APP_USER=mlops -e APP_USER_PASSWORD=mlops -e ORACLE_PASSWORD=mlops gvenzl/oracle-free:23-slim

然后,您可以使用以下方式连接到数据库:

sql mlops/mlops@localhost/freepdb1