java下的mysql数据库插入越插越慢的问题解决（百万数据量级别）

        最近的项目需要导入大量的数据，插入的过程中还需要边查询边插入。插入的数据量在100w左右。一开始觉得100w的数据量不大，于是就插啊插，吃了个饭，回来一看，在插入了50多w条数据后，每秒就只能插10条了。。觉得很奇怪，为啥越插越慢呢？  于是就开始分析插入的时间损耗，想到了如下的解决方案：（mysql使用的INNODB引擎）

1.分析是否是由主码，外码，索引造成的插入效率降低

        主码：由于主码是每张表必须有的，不能删除。而mysql会对主码自动建立一个索引，这个索引默认是Btree索引，因此每次插入数据要额外的对Btree进行一次插入。这个额外的插入时间复杂度约为log(n)。这个索引无法删除，因此无法优化。但是每次插入的时候，由于主码约束需要检查主码是否出现，这又需要log(n)，能否减少这个开销呢？答案是肯定的。我们可以设置主码为自增id  AUTO_INCREMENT ,这样数据库里会自动记录当前的自增值，保证不会插入重复的主码，也就避免了主码的重复性检查。

        外码：由于我的项目的插入表中存在外码，因此每次插入时需要在另一张表检测外码存在性。这个约束是与业务逻辑相关的，不能随便删除。并且这个时间开销应当是与另一张表大小成正比的常数，不应当越插入越慢才对。所以排除。

        索引：为了减少Btree插入的时间损耗，我们可以在建表时先不建索引，先将所有的数据插入。之后我们再向表里添加索引。该方法确实也降低了时间的开销。

        经过以上的折腾，再进行测试，发现速度快了一点，但是到了50w条后又开始慢了。看来问题的关键不在这里。于是继续查资料，又发现了个关键问题：

2.将单条插入改为批量插入（参考：点击打开链接）

        由于java中的executeUpdate(sql)方法只是执行一条sql操作，就需要调用sql里的各种资源，如果使用for循环不停的执行这个方法来插入，无疑是开销很大的。因此，在mysql提供了一种解决方案：批量插入。 也就是每次的一条sql不直接提交，而是先存在批任务集中，当任务集的大小到了指定阈值后，再将这些sql一起发送至mysql端。在100w的数据规模中，我将阈值设置为10000，即一次提交10000条sql。最后的结果挺好，插入的速度比之前快了20倍左右。批量插入代码如下：