JDBC批处理优化：减少MySQL网络开销

在JDBC操作中，频繁执行单条SQL语句会产生大量网络往返开销。批处理技术通过将多个操作打包成单一请求，显著降低网络传输次数。其核心原理如下：

设单次网络延迟为 $t_{\text{latency}}$，单条SQL执行时间为 $t_{\text{sql}}$，则执行 $n$ 条语句的总时间为： $$T_{\text{单条}} = n \times (t_{\text{latency}} + t_{\text{sql}})$$ 而批处理的总时间为： $$T_{\text{批处理}} = t_{\text{latency}} + n \times t_{\text{sql}}$$

当 $n$ 较大时，可节省约 $(n-1) \times t_{\text{latency}}$ 的时间。

优化实现步骤

1. 启用批处理支持

   Connection conn = DriverManager.getConnection(url, user, password);
   conn.setAutoCommit(false);  // 关闭自动提交
   

2. 使用PreparedStatement批处理

   String sql = "INSERT INTO users (name, age) VALUES (?, ?)";
   try (PreparedStatement pstmt = conn.prepareStatement(sql)) {
       
       // 添加批处理操作
       pstmt.setString(1, "Alice");
       pstmt.setInt(2, 28);
       pstmt.addBatch();  // 添加第一条
       
       pstmt.setString(1, "Bob");
       pstmt.setInt(2, 32);
       pstmt.addBatch();  // 添加第二条
       
       // 执行批处理
       int[] result = pstmt.executeBatch();
       conn.commit();  // 手动提交事务
   }
   

3. 关键参数优化

   • 在连接字符串添加参数：

     jdbc:mysql://host/db?rewriteBatchedStatements=true
     

     此参数将 INSERT 批处理重写为多值语法：

     INSERT INTO users (name, age) VALUES 
       ('Alice', 28),
       ('Bob', 32);
     

性能对比测试

注意事项

1. 批处理大小：建议每批 500-5000 条，过大可能导致内存溢出
2. 错误处理：通过 int[] result 检查每条语句执行状态
3. 事务管理：批处理失败时需回滚 conn.rollback()
4. 仅限DML：批处理适用于 INSERT/UPDATE/DELETE，不适用于查询

最佳实践：结合连接池（如HikariCP）与 rewriteBatchedStatements=true 参数，可使批量插入性能提升 10-30 倍。