Scripted 字段和 runtime 字段
Spring Data Elasticsearch 支持 scripted fields (脚本化字段) 和 runtime fields (运行时字段)。有关此内容的详细信息,请参阅 Elasticsearch 关于脚本 (www.elastic.co/guide/en/elasticsearch/reference/current/modules-scripting.html) 和运行时字段 (www.elastic.co/guide/en/elasticsearch/reference/8.9/runtime.html) 的文档。在 Spring Data Elasticsearch 的上下文中,您可以使用
-
scripted fields,用于返回在结果文档上计算并添加到返回文档的字段。
-
runtime fields,在存储的文档上计算,可以在查询中使用,并且/或者在搜索结果中返回。
以下代码片段将展示您可以做什么(这些展示的是命令式代码,但响应式实现工作方式类似)。
Person 实体
这些示例中使用的实体是一个 Person
实体。该实体有一个 birthDate
属性和一个 age
属性。其中 birthdate 是固定的,而 age 取决于执行查询的时间,需要动态计算。
import org.springframework.data.annotation.Id;
import org.springframework.data.elasticsearch.annotations.DateFormat;
import org.springframework.data.elasticsearch.annotations.Document;
import org.springframework.data.elasticsearch.annotations.Field;
import org.springframework.data.elasticsearch.annotations.ScriptedField;
import org.springframework.lang.Nullable;
import java.time.LocalDate;
import java.time.format.DateTimeFormatter;
import static org.springframework.data.elasticsearch.annotations.FieldType.*;
import java.lang.Integer;
@Document(indexName = "persons")
public record Person(
@Id
@Nullable
String id,
@Field(type = Text)
String lastName,
@Field(type = Text)
String firstName,
@Field(type = Keyword)
String gender,
@Field(type = Date, format = DateFormat.basic_date)
LocalDate birthDate,
@Nullable
@ScriptedField Integer age (1)
) {
public Person(String id,String lastName, String firstName, String gender, String birthDate) {
this(id, (2)
lastName,
firstName,
LocalDate.parse(birthDate, DateTimeFormatter.ISO_LOCAL_DATE),
gender,
null);
}
}
1 | age 属性将在搜索结果中计算并填充。 |
2 | 一个方便的构造函数用于设置测试数据。 |
请注意,age
属性使用 @ScriptedField
注解。这会阻止在索引映射中写入相应的条目,并将该属性标记为从搜索响应中放入计算字段的目标。
Repository 接口
本例中使用的 repository
public interface PersonRepository extends ElasticsearchRepository<Person, String> {
SearchHits<Person> findAllBy(ScriptedField scriptedField);
SearchHits<Person> findByGenderAndAgeLessThanEqual(String gender, Integer age, RuntimeField runtimeField);
}
Service 类
Service 类注入了一个 repository 和一个 ElasticsearchOperations
实例,以展示填充和使用 age
属性的几种方法。我们将代码分解成不同的部分,以便插入解释
import org.springframework.data.elasticsearch.core.ElasticsearchOperations;
import org.springframework.data.elasticsearch.core.SearchHits;
import org.springframework.data.elasticsearch.core.query.Criteria;
import org.springframework.data.elasticsearch.core.query.CriteriaQuery;
import org.springframework.data.elasticsearch.core.query.FetchSourceFilter;
import org.springframework.data.elasticsearch.core.query.RuntimeField;
import org.springframework.data.elasticsearch.core.query.ScriptData;
import org.springframework.data.elasticsearch.core.query.ScriptType;
import org.springframework.data.elasticsearch.core.query.ScriptedField;
import org.springframework.data.elasticsearch.core.query.StringQuery;
import org.springframework.stereotype.Service;
import java.util.List;
@Service
public class PersonService {
private final ElasticsearchOperations operations;
private final PersonRepository repository;
public PersonService(ElasticsearchOperations operations, SaRPersonRepository repository) {
this.operations = operations;
this.repository = repository;
}
public void save() { (1)
List<Person> persons = List.of(
new Person("1", "Smith", "Mary", "f", "1987-05-03"),
new Person("2", "Smith", "Joshua", "m", "1982-11-17"),
new Person("3", "Smith", "Joanna", "f", "2018-03-27"),
new Person("4", "Smith", "Alex", "m", "2020-08-01"),
new Person("5", "McNeill", "Fiona", "f", "1989-04-07"),
new Person("6", "McNeill", "Michael", "m", "1984-10-20"),
new Person("7", "McNeill", "Geraldine", "f", "2020-03-02"),
new Person("8", "McNeill", "Patrick", "m", "2022-07-04"));
repository.saveAll(persons);
}
1 | 一个用于在 Elasticsearch 中存储一些数据的工具方法。 |
Scripted 字段
下一段代码展示如何使用 scripted field 计算并返回人物的年龄。Scripted fields 只能向返回的数据中添加内容,年龄不能用于查询(请参阅 runtime fields)。
public SearchHits<Person> findAllWithAge() {
var scriptedField = ScriptedField.of("age", (1)
ScriptData.of(b -> b
.withType(ScriptType.INLINE)
.withScript("""
Instant currentDate = Instant.ofEpochMilli(new Date().getTime());
Instant startDate = doc['birth-date'].value.toInstant();
return (ChronoUnit.DAYS.between(startDate, currentDate) / 365);
""")));
// version 1: use a direct query
var query = new StringQuery("""
{ "match_all": {} }
""");
query.addScriptedField(scriptedField); (2)
query.addSourceFilter(FetchSourceFilter.of(b -> b.withIncludes("*"))); (3)
var result1 = operations.search(query, Person.class); (4)
// version 2: use the repository
var result2 = repository.findAllBy(scriptedField); (5)
return result1;
}
1 | 定义计算人物年龄的 ScriptedField 。 |
2 | 使用 Query 时,将 scripted field 添加到查询中。 |
3 | 将 scripted field 添加到 Query 时,还需要额外的源过滤器来同时检索文档源中的正常字段。 |
4 | 获取数据,其中 Person 实体的 age 属性已设置值。 |
5 | 使用 repository 时,只需将 scripted field 作为方法参数添加即可。 |
Runtime 字段
使用 runtime fields 时,计算出的值可以在查询本身中使用。在以下代码中,这用于对给定性别和最大年龄的人物运行查询
public SearchHits<Person> findWithGenderAndMaxAge(String gender, Integer maxAge) {
var runtimeField = new RuntimeField("age", "long", """ (1)
Instant currentDate = Instant.ofEpochMilli(new Date().getTime());
Instant startDate = doc['birthDate'].value.toInstant();
emit (ChronoUnit.DAYS.between(startDate, currentDate) / 365);
""");
// variant 1 : use a direct query
var query = CriteriaQuery.builder(Criteria
.where("gender").is(gender)
.and("age").lessThanEqual(maxAge))
.withRuntimeFields(List.of(runtimeField)) (2)
.withFields("age") (3)
.withSourceFilter(FetchSourceFilter.of(b -> b.withIncludes("*"))) (4)
.build();
var result1 = operations.search(query, Person.class); (5)
// variant 2: use the repository (6)
var result2 = repository.findByGenderAndAgeLessThanEqual(gender, maxAge, runtimeField);
return result1;
}
}
1 | 定义计算人物年龄的 runtime field。// 有关内置属性,请参阅 asciidoctor.org/docs/user-manual/#builtin-attributes。 |
2 | 使用 Query 时,添加 runtime field。 |
3 | 将 scripted field 添加到 Query 时,需要额外的字段参数以返回计算出的值。 |
4 | 将 scripted field 添加到 Query 时,还需要额外的源过滤器来同时检索文档源中的正常字段。 |
5 | 获取使用查询过滤的数据,其中返回的实体的 age 属性已设置。 |
6 | 使用 repository 时,只需将 runtime field 作为方法参数添加即可。 |
除了在查询中定义 runtime fields 外,还可以通过将 @Mapping
注解的 runtimeFieldsPath
属性设置为包含 runtime field 定义的 JSON 文件路径来在索引中定义它们。