Mybatis批量添加数据 – 如何提高数据批量操作效率

小蓝 • 2024-12-11 01:08 • 编程

一、简介

Mybatis是一个优秀的持久层框架，它不会对项目做过度封装，可以直接使用传统的SQL语句进行数据操作。在高并发场景下，数据批量操作的效率是一个不可忽视的问题。本文将以Mybatis为例，讲解如何提高数据批量操作效率。

二、使用Mybatis进行数据批量操作

在Mybatis中进行数据批量操作，主要有两种方式：foreach和Batch。下面分别进行说明：

1. foreach方式

foreach方式需要在Mapper的SQL语句中使用foreach标签对要插入的数据进行遍历。代码示例如下：


<insert id="batchInsertUsers" parameterType="java.util.List">
    INSERT INTO user(username, password) VALUES
    <foreach collection="list" item="user" separator=",">
        (#{user.username}, #{user.password})
    </foreach>
</insert>

// 在Java代码中调用Mapper接口
List<User> userList = new ArrayList<>();
// 添加要插入的数据
userList.add(new User("user1", "password1"));
userList.add(new User("user2", "password2"));
...
userMapper.batchInsertUsers(userList);

使用foreach方式进行数据批量操作时，每次插入一条数据都会进行数据库连接、开启事务等操作，因此在数据量大时效率低下。如何提高数据批量操作效率呢？接下来我们将介绍Batch方式。

2. Batch方式

Batch方式是Mybatis中提供的一个专门用于批量插入的API。与foreach方式相比，Batch方式更加高效。代码示例如下：

// 在Java代码中调用Mapper接口
List<User> userList = new ArrayList<>();
// 添加要插入的数据
userList.add(new User("user1", "password1"));
userList.add(new User("user2", "password2"));
...
SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH);
try {
    UserMapper userMapper = sqlSession.getMapper(UserMapper.class);
    for (User user : userList) {
        userMapper.insertUser(user);
    }
    sqlSession.commit();
} catch (Exception e) {
    sqlSession.rollback();
} finally {
    if(sqlSession != null) {
        sqlSession.close();
    }
}

在Batch方式中，我们需要使用SqlSession来获取Mapper接口，并且需要手动进行提交与回滚。这种方式可以避免每次插入数据都进行连接、事务等操作，提高了效率。

三、提高数据批量操作效率的技巧

1. 合理设置批量大小

Mybatis提供了一个参数batchSize，用于设置每次批量插入的数据量。而且，batchSize的值会影响到插入数据的效率。通常情况下，batchSize的值要根据数据库的性能来设置，一般建议在100~500之间。

2. 关闭日志

在数据批量插入时，Mybatis会将每次插入的SQL语句记录到日志中。当数据量过大时，日志会变得非常庞大，造成很大的系统开销。因此在进行数据批量插入时，可以将日志关闭。

<configuration>
    ...
    <settings>
        <setting name="logImpl" value="LOG4J2"/>
        <setting name="batchResultHandlerEnabled" value="false"/>
        <setting name="batchStatementEnabled" value="false"/>
        <setting name="cacheEnabled" value="false"/>
        <setting name="defaultExecutorType" value="BATCH"/>
    </settings>
    ...
</configuration>

3. 批量插入优化

在进行数据批量插入时，如果数据量过大，会对数据库造成很大的压力。可以考虑将数据分批插入，比如将数据按照主键进行拆分，分批插入。代码示例如下：

// 分批插入
for (int i = 0; i < userList.size(); i += batchSize) {
    List<User> subList = userList.subList(i, i + batchSize > userList.size() ? userList.size() : i + batchSize);
    
    SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH);
    try {
        UserMapper userMapper = sqlSession.getMapper(UserMapper.class);
        for (User user : subList) {
            userMapper.insertUser(user);
        }
        sqlSession.commit();
    } catch (Exception e) {
        sqlSession.rollback();
    } finally {
        if(sqlSession != null) {
            sqlSession.close();
        }
    }
}

四、总结

数据批量操作是一个常见的性能优化问题，Mybatis提供了两种方式进行数据批量操作：foreach方式和Batch方式。其中，Batch方式更加高效，可以手动设置批量大小、关闭日志、批量插入优化等方式提高效率。

原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/231975.html