JDBC 批处理操作

大多数 JDBC 驱动程序在您将对同一准备语句的多个调用批处理时提供改进的性能。通过将更新分组到批次中,您可以限制与数据库的往返次数。

使用 JdbcTemplate 的基本批处理操作

您可以通过实现特殊接口 BatchPreparedStatementSetter 的两种方法来完成 JdbcTemplate 批处理,并将该实现作为第二个参数传递到您的 batchUpdate 方法调用中。您可以使用 getBatchSize 方法来提供当前批次的大小。您可以使用 setValues 方法来设置准备语句参数的值。此方法被调用的次数与您在 getBatchSize 调用中指定的次数相同。以下示例根据列表中的条目更新 t_actor 表,并且整个列表用作批次

  • Java

  • Kotlin

public class JdbcActorDao implements ActorDao {

	private JdbcTemplate jdbcTemplate;

	public void setDataSource(DataSource dataSource) {
		this.jdbcTemplate = new JdbcTemplate(dataSource);
	}

	public int[] batchUpdate(final List<Actor> actors) {
		return this.jdbcTemplate.batchUpdate(
				"update t_actor set first_name = ?, last_name = ? where id = ?",
				new BatchPreparedStatementSetter() {
					public void setValues(PreparedStatement ps, int i) throws SQLException {
						Actor actor = actors.get(i);
						ps.setString(1, actor.getFirstName());
						ps.setString(2, actor.getLastName());
						ps.setLong(3, actor.getId().longValue());
					}
					public int getBatchSize() {
						return actors.size();
					}
				});
	}

	// ... additional methods
}
class JdbcActorDao(dataSource: DataSource) : ActorDao {

	private val jdbcTemplate = JdbcTemplate(dataSource)

	fun batchUpdate(actors: List<Actor>): IntArray {
		return jdbcTemplate.batchUpdate(
				"update t_actor set first_name = ?, last_name = ? where id = ?",
				object: BatchPreparedStatementSetter {
					override fun setValues(ps: PreparedStatement, i: Int) {
						ps.setString(1, actors[i].firstName)
						ps.setString(2, actors[i].lastName)
						ps.setLong(3, actors[i].id)
					}

					override fun getBatchSize() = actors.size
				})
	}

	// ... additional methods
}

如果您处理更新流或从文件读取,您可能有一个首选的批次大小,但最后一个批次可能没有那么多的条目。在这种情况下,您可以使用 InterruptibleBatchPreparedStatementSetter 接口,该接口允许您在输入源耗尽后中断批次。isBatchExhausted 方法允许您发出批次结束的信号。

使用对象列表的批处理操作

JdbcTemplateNamedParameterJdbcTemplate 都提供了一种提供批次更新的替代方法。您无需实现特殊的批处理接口,而是将所有参数值作为列表提供给调用。框架遍历这些值并使用内部准备语句设置器。API 不同,具体取决于您是否使用命名参数。对于命名参数,您提供一个 SqlParameterSource 数组,每个批次成员一个条目。您可以使用 SqlParameterSourceUtils.createBatch 便利方法来创建此数组,传入一个 bean 风格对象数组(具有与参数相对应的 getter 方法)、String 键的 Map 实例(包含相应的参数作为值)或两者的混合。

以下示例显示了使用命名参数的批次更新

  • Java

  • Kotlin

public class JdbcActorDao implements ActorDao {

	private NamedParameterTemplate namedParameterJdbcTemplate;

	public void setDataSource(DataSource dataSource) {
		this.namedParameterJdbcTemplate = new NamedParameterJdbcTemplate(dataSource);
	}

	public int[] batchUpdate(List<Actor> actors) {
		return this.namedParameterJdbcTemplate.batchUpdate(
				"update t_actor set first_name = :firstName, last_name = :lastName where id = :id",
				SqlParameterSourceUtils.createBatch(actors));
	}

	// ... additional methods
}
class JdbcActorDao(dataSource: DataSource) : ActorDao {

	private val namedParameterJdbcTemplate = NamedParameterJdbcTemplate(dataSource)

	fun batchUpdate(actors: List<Actor>): IntArray {
		return this.namedParameterJdbcTemplate.batchUpdate(
				"update t_actor set first_name = :firstName, last_name = :lastName where id = :id",
				SqlParameterSourceUtils.createBatch(actors));
	}

		// ... additional methods
}

对于使用经典 ? 占位符的 SQL 语句,您传入一个列表,其中包含一个包含更新值的数组。此对象数组必须为 SQL 语句中的每个占位符包含一个条目,并且它们必须与它们在 SQL 语句中定义的顺序相同。

以下示例与前面的示例相同,只是它使用经典的 JDBC ? 占位符

  • Java

  • Kotlin

public class JdbcActorDao implements ActorDao {

	private JdbcTemplate jdbcTemplate;

	public void setDataSource(DataSource dataSource) {
		this.jdbcTemplate = new JdbcTemplate(dataSource);
	}

	public int[] batchUpdate(final List<Actor> actors) {
		List<Object[]> batch = new ArrayList<>();
		for (Actor actor : actors) {
			Object[] values = new Object[] {
					actor.getFirstName(), actor.getLastName(), actor.getId()};
			batch.add(values);
		}
		return this.jdbcTemplate.batchUpdate(
				"update t_actor set first_name = ?, last_name = ? where id = ?",
				batch);
	}

	// ... additional methods
}
class JdbcActorDao(dataSource: DataSource) : ActorDao {

	private val jdbcTemplate = JdbcTemplate(dataSource)

	fun batchUpdate(actors: List<Actor>): IntArray {
		val batch = mutableListOf<Array<Any>>()
		for (actor in actors) {
			batch.add(arrayOf(actor.firstName, actor.lastName, actor.id))
		}
		return jdbcTemplate.batchUpdate(
				"update t_actor set first_name = ?, last_name = ? where id = ?", batch)
	}

	// ... additional methods
}

我们之前描述的所有批次更新方法都返回一个 int 数组,其中包含每个批次条目的受影响行数。此计数由 JDBC 驱动程序报告。如果计数不可用,JDBC 驱动程序将返回 -2 的值。

在这种情况下,当在底层PreparedStatement上自动设置值时,需要从给定的 Java 类型推导出每个值的对应 JDBC 类型。虽然这通常能很好地工作,但存在潜在问题(例如,包含 Map 的null值)。默认情况下,Spring 在这种情况下会调用ParameterMetaData.getParameterType,这对于您的 JDBC 驱动程序来说可能很昂贵。如果您遇到性能问题(如 Oracle 12c、JBoss 和 PostgreSQL 上所报告的那样),您应该使用最新的驱动程序版本,并考虑将spring.jdbc.getParameterType.ignore属性设置为true(作为 JVM 系统属性或通过SpringProperties机制)。

或者,您也可以考虑显式地指定相应的 JDBC 类型,可以通过BatchPreparedStatementSetter(如前所示)、通过提供给基于List<Object[]>的调用的显式类型数组、通过registerSqlType在自定义MapSqlParameterSource实例上调用,或者通过BeanPropertySqlParameterSource,即使对于空值,它也会从 Java 声明的属性类型推导出 SQL 类型。

包含多个批次的批量操作

前面批处理更新的示例处理了非常大的批处理,您希望将其分解成几个较小的批处理。您可以使用前面提到的方法通过对batchUpdate方法进行多次调用来实现这一点,但现在有了一种更便捷的方法。除了 SQL 语句之外,此方法还接受一个包含参数的Collection对象、要对每个批处理执行的更新次数以及一个ParameterizedPreparedStatementSetter来设置准备语句参数的值。框架会遍历提供的值,并将更新调用分解成指定大小的批处理。

以下示例展示了一个使用批处理大小为 100 的批处理更新

  • Java

  • Kotlin

public class JdbcActorDao implements ActorDao {

	private JdbcTemplate jdbcTemplate;

	public void setDataSource(DataSource dataSource) {
		this.jdbcTemplate = new JdbcTemplate(dataSource);
	}

	public int[][] batchUpdate(final Collection<Actor> actors) {
		int[][] updateCounts = jdbcTemplate.batchUpdate(
				"update t_actor set first_name = ?, last_name = ? where id = ?",
				actors,
				100,
				(PreparedStatement ps, Actor actor) -> {
					ps.setString(1, actor.getFirstName());
					ps.setString(2, actor.getLastName());
					ps.setLong(3, actor.getId().longValue());
				});
		return updateCounts;
	}

	// ... additional methods
}
class JdbcActorDao(dataSource: DataSource) : ActorDao {

	private val jdbcTemplate = JdbcTemplate(dataSource)

	fun batchUpdate(actors: List<Actor>): Array<IntArray> {
		return jdbcTemplate.batchUpdate(
					"update t_actor set first_name = ?, last_name = ? where id = ?",
					actors, 100) { ps, argument ->
			ps.setString(1, argument.firstName)
			ps.setString(2, argument.lastName)
			ps.setLong(3, argument.id)
		}
	}

	// ... additional methods
}

此调用的批处理更新方法返回一个int数组,其中包含每个批处理的数组条目,以及每个更新的受影响行数的数组。顶级数组的长度表示运行的批处理数量,而第二级数组的长度表示该批处理中的更新数量。每个批处理中的更新数量应为所有批处理提供的批处理大小(最后一个批处理可能更小除外),具体取决于提供的更新对象的总数。每个更新语句的更新计数是由 JDBC 驱动程序报告的。如果计数不可用,JDBC 驱动程序将返回-2的值。