用Java代码生成100万条数据并导入MySQL

发表于 分类于 ， 阅读次数： 本文字数： 2k 阅读时长 ≈ 2 分钟

生成数据

用for循环不断的往字符流中写数据，然后输出到文件系统。代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
/**
 * 通过IO流造100万条文本数据并输出到磁盘
 */
public class CreateData {
    public static void main(String[] args) {
        try {
            File writeName = new File("F:\\log.txt");
            //如果没有则新建一个文件，有同名的则覆盖
            writeName.createNewFile();
            try (FileWriter writer = new FileWriter(writeName);
                 BufferedWriter out = new BufferedWriter(writer)
            ) {
                for (int i= 1;i<1000001;i++){
                    out.write(i+"\t"+  //自增主键
                            "192.168.43.151"+"\t"+
                            "user_"+i+"\t"+
                            "我是测试日志内容\n");
                }
                out.flush();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

导出后log.txt部分数据如下：
1 192.168.43.151 user_1 我是测试日志内容
2 192.168.43.151 user_2 我是测试日志内容
3 192.168.43.151 user_3 我是测试日志内容
4 192.168.43.151 user_4 我是测试日志内容
5 192.168.43.151 user_5 我是测试日志内容
6 192.168.43.151 user_6 我是测试日志内容
7 192.168.43.151 user_7 我是测试日志内容
8 192.168.43.151 user_8 我是测试日志内容
9 192.168.43.151 user_9 我是测试日志内容
10 192.168.43.151 user_10 我是测试日志内容
11 192.168.43.151 user_11 我是测试日志内容
12 192.168.43.151 user_12 我是测试日志内容

导入数据过程

建表

先建立一个表用来匹配测试数据，建表语句如下：

1
2
3
4
5
6
7
CREATE TABLE `user_log` (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `login_ip` varchar(15) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL,
  `login_name` varchar(30) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL,
  `log_content` varchar(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1020304 DEFAULT CHARSET=utf8 COLLATE=utf8_bin

SQLyog导入报错

使用SQLyog的导入本地CSV功能：
在这里插入图片描述

在这里插入图片描述
然而，报错了😂
在这里插入图片描述

成功导入

解决上面的错误，需要三步。
第一步 用cmd进入MySQL的bin目录，登录的时候带上参数–local-infile=1。

1
2
3
4
5
C:\Program Files\MySQL\MySQL Server 8.0\bin>mysql --local-infile=1 -u root -p
Enter password: ****
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 11
Server version: 8.0.19 MySQL Community Server - GPL

第二步 设置客户端加载功能，在cmd输入set global local_infile = 1命令

1
2
mysql> set global local_infile = 1;
Query OK, 0 rows affected (0.00 sec)

第三步 通过命令或者SQLyog导入文件
命令语法：load data local infile ‘文件路径’ into table 数据库表，代码如下：

1
load data local infile 'C:\\Users\\12718\\Desktop\\log.txt' into table user_log