MySQL数据库10秒内插入百万条数据 （多字段）【详解】

首先我们思考一个问题：

        要插入如此庞大的数据到数据库，一定会频繁地访问数据库，什么样的机器设备都吃不消，如何避免频繁访问数据库，做到一次访问，再执行呢？

       Java其实已经给了我们答案。

        这里就要用到两个关键对象：Statement、PrepareStatement

Statement对象每执行一条SQL语句都会先将SQL语句发送给数据库﹐数据库先编译SQL，再执行。

prepareStatement对象会先将SQL语句发送给数据库进行预编译。PreparedStatement会引用预编译后的结果。可以多次传入不同的参数给PreparedStatement对象并执行。如果有上万条类似的插入数据的语句。数据库只需要预编译一次。这样一来就巧妙地减少了SQL语句的编译次数，提高了执行效率。

注：（重点）rewriteBatchedStatements=true，一次插入多条数据，只插入一次！！

public class baseDao {  //  静态工具类，用于创建数据库连接对象和释放资源，方便调用
    //    导入驱动jar包或添加Maven依赖（这里使用的是Maven，Maven依赖代码附在文末）
    static {
        try {
            Class.forName("com.mysql.cj.jdbc.Driver");
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        }
    }

    //  获取数据库连接对象
    public static Connection getConn() {
        //  rewriteBatchedStatements=true,一次插入多条数据，只插入一次
        Connection conn = null;
        try {
            conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/million-test?rewriteBatchedStatements=true", "root", "qwerdf");
        } catch (SQLException throwables) {
            throwables.printStackTrace();
        }
        return conn;
    }

    //  释放资源
    public static void closeAll(AutoCloseable... autoCloseables) {
        for (AutoCloseable autoCloseable : autoCloseables) {
            if (autoCloseable != null) {
                try {
                    autoCloseable.close();
                } catch (Exception e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }
        }
    }
}

public static void main(String[] args) {
    long start = System.currentTimeMillis();    //  获取系统当前时间，方法开始执行前记录
    Connection conn = baseDao.getConn();        //  调用刚刚写好的用于获取连接数据库对象的静态工具类
    String sql = "insert into mymilliontest values(null,?,?,?,NOW())";  //  要执行的sql语句
    PreparedStatement ps = null;
    try {
        ps = conn.prepareStatement(sql);    //  获取PreparedStatement对象
        //  不断产生sql
        for (int i = 0; i < 1000000; i++) {
            ps.setString(1, Math.ceil(Math.random() * 1000000) + "");
            ps.setString(2, Math.ceil(Math.random() * 1000000) + "");
            ps.setString(3, UUID.randomUUID().toString());  //  UUID该类用于随机生成一串不会重复的字符串
            ps.addBatch();  //  将一组参数添加到此 PreparedStatement 对象的批处理命令中。
        }
        int[] ints = ps.executeBatch();//   将一批命令提交给数据库来执行，如果全部命令执行成功，则返回更新计数组成的数组。
        //  如果数组长度不为0，则说明sql语句成功执行，即百万条数据添加成功！
        if (ints.length > 0) {
            System.out.println("已成功添加一百万条数据！！");
        }
    } catch (SQLException throwables) {
        throwables.printStackTrace();
    } finally {
        baseDao.closeAll(conn, ps);  //  调用刚刚写好的静态工具类释放资源
    }
    long end = System.currentTimeMillis();  //  再次获取系统时间
    System.out.println("haoshi:" + (end - start) / 1000 + "秒");  //  两个时间相减即为方法执行所用时长
}

最后我们运行看一下效果：

 嘿嘿，这里时长超过了10秒，设备差点意思，希望理解哈~

    mysql
    mysql-connector-java
    8.0.27

如有错误，欢迎指正

Thanks