最近客户有个小需求，大致是这样子的：他们那边有个程序每天会生成一些记录文本，里面记录了生产的条码和时间。他们希望在另外一个软件中查询那些记录的重复条码，并且显示出来。这些文件大的好几M，一想到这每个文件都要遍历我就很头疼，一直和客户电话沟通改需求，不要用这种方式查询，效率低不好什么什么的。可是客户偏不，就要。我也是醉了，没办法，只得硬着头皮上了。

        想了好一会了，直接舍弃了读文件存放容器再对比的方案了。一直都觉得像这种大量数据查重的操作，在数据库里面就是小菜一碟。所以想的方法，就是先把所有文件里面的数据解析后插入到数据库表里，然后再执行一段查重的sql语句，乐呵乐呵地等待执行的结果就好了。感觉还有更好的方案，可是我不甚机智，想不出来了，就先用这个整出来咯。

其中用到的一些技术点整理了一下