gzip vs bzip2 vs xz vs pbzip2 性能对比

两天前，简单写了篇bzip2 与 pbzip2 压缩哪个更快，当时是处于使用esrally压测Elastic search性能，并没有太多的关注几种压缩工具的性能如何。本文介绍常用的几种压缩命令，分别汇总出各个命令的压缩&解压缩全方面性能对比。

看了下gzip，bzip2，pbzip2，xz这4个命令的help信息，帮助信息比较相似：

准备了一个测试文件方便测试：

结合各个命令的help信息，可以使用简单的shell命令来完成测试工作，例如：

由于担心不同CPU并发影响测试效果，这里指定了CPU个数为24个，在不带-p参数情况下，默认32个，当前环境虽然有32cores，但并不是每次都能全部参与，有时候是32，有时候是29，有时候是26，所以这里指定一个更低值，确保每次执行都使用相同cores的CPU数。

Unit:bytes

先从压缩时间开始，下列图表显示了从1到9的每个压缩级别完成压缩所花费的时间。

Unit: seconds

从折线图可以看出，随着压缩级别的提高，bzip2需要花费更长的时间才能完成，pbzip2和gzip的变化不大，而压缩级别为3后，xz的增长非常明显。

Unit: %

compression ratio，越小越好，比如说源文件大小是100MiB，ratio为5%，则压缩后文件大小为5MiB。

从折线图看到趋势是：压缩级别越高，压缩率越低，说明文件被压缩的更小了。在这种情况下，xz始终提供比较平稳的压缩率（但从压缩时间图所示，xz在压缩级别3之后花费更长的时间才能获得这个效果），紧跟其后的是pbzip2和bzip2，gzip在压缩级别为3后，压缩率有所下降。

Unit:MiB/s

Unit: seconds

由于数值比较小，从折线图上直接看不出什么效果，从表格中可以看出，当文件的压缩级别越高，解压相应的压缩文件耗时越低。xz的解压缩时间几乎是一条直线，非常平稳，gbip2次之，当gbzip2解压比xz更快。

从Compression time, Compression Ratio，结合当前的Decompress Time看，总体上推荐gbzip2进行文件的压缩与解压缩操作。

Unit: MiB/s

默认情况下，当未指定压缩级别时，gzip 使用 -6，bzip2 和 pbzip2 使用 -9，xz 使用 -6。

根据测试结果，原因非常明确：对于 gzip 和 xz -6 作为默认压缩方法提供良好的压缩级别，但完成时间不会太长，损失一个平衡点，因为较高的压缩级别需要更长的时间来处理压缩。另一方面，pbzip2 最好使用默认压缩级别为 9，如手册页中建议的那样，此处的结果证实了这一点，压缩比增加，但所采用的时间几乎相同，在级别 1 到 9 之间相差不到一秒；但反观bzip2，使用不同的压缩级别，压缩耗时还是有蛮大幅度变化的。

一般来说，xz 达到最佳压缩级别，非常的平稳，然后是 bzip2和pbzip2，然后是 gzip。为了达到更好的压缩，但是xz通常需要最长的完成，其次是pbzip2，然后是gzip，最差的是bzip2，耗时太久。

xz 的默认压缩级别为 6，而 pbzip2 在压缩级别 9 时仅花费比 gzip 稍长一点的时间，并且压缩量更好，而 pbzip2 和 xz 之间的差异小于 pbzip2 和 gzip 之间的差异，因此 pbzip2 成为压缩的优先选择。

根据这些测试结果，pbzip2是压缩的良好中间地带，gzip只是压缩的更快一点，而xz可能并不真正值得使用，尤其使用更高的文件压缩级别（>=6），因为它需要更长的时间来完成压缩操作。

然而，使用 bzip2 解压缩比 xz 或 gzip 或 pbzip2 需要更长的时间，xz 处于解压缩文件的良好中间地带，而 gbzip2 则是解压缩最快的。

那么我该选择哪种压缩/解压缩方式？这完全取决于应用目的了，需要因地制宜选择所需的压缩/解压缩方法。