Kafka 基于文件时间和基于文件大小的日志留存策略说明

目前，Kafka的日志留存类型有2种：

本文只涉及delete机制。

目前，Kafka的日志留存机制一共有3种：

本文只涉及前2种机制。

可配置的参数如下：

以上的配置，是针对所有topic的每一个partition，即全局设置。也可以针对个别的topic进行单独设置，本文不作介绍。以上配置的作用如下：

在/data/kafka-logs/test001-0路径下，会有多个后缀为.log的日志文件，且大小都为1GB（除最新的日志文件外）

有一个程序，每5分钟会检查一次是否有日志文件的“最大时间戳”与当前时间的差值超过了7天，如果有，则将这个日志文件的后缀加上.delete

还有一个程序，每15秒会检查一次是否有标记为.delete的日志文件，如果有，则执行删除操作

可配置的参数如下：

以上的配置，是针对所有topic的每一个partition，即全局设置。也可以针对个别的topic进行单独设置，本文不作介绍。以上配置的作用如下：

在/data/kafka-logs/test001-0路径下，会有多个后缀为.log的日志文件，且大小都为1GB（除最新的日志文件外）

有一个程序，每5分钟会统计一次当前路径下所有日志文件大小，如果总大小超过阈值（2GB）的部分多于一个日志文件的大小（1GB），则将最早的日志文件的后缀加上.delete

还有一个程序，每15秒会检查一次是否有标记为.delete的日志文件，如果有，则执行删除操作

举个例子：    日志文件大小为1GB，当前路径下(/data/kafka-logs/test001-0)有3个日志文件，分别为1GB、1GB、100MB，显然100MB的日志文件为系统正在使用的。此时，若第一个程序开始统计，则总大小为2GB+100MB，由于阈值设为2GB，则超过阈值的部分为100MB，而100MB小于1GB（单个日志文件的大小），所以此时不会有任何文件被标记为.delete，也不会有任何文件被删除。    以此类推，在第3个日志文件达到1GB之前，都是这种情况。    当第3个日志文件达到1GB，并开始写第4个日志文件时（假设当前大小为200KB），若第一个程序开始统计，则总大小为3GB+200KB，超过阈值的部分为1GB+100KB，已经大于了1GB，所以最早的日志文件会被标记为.delete，再过15秒之后，第二个程序会将这个文件删除。

基于文件时间和基于文件大小的两种留存策略，需要分别设置log.retention.hours和log.retention.bytes两个参数。 设置了哪个参数，则哪种策略生效，如果同时都设置了，则哪个条件先满足，哪个策略生效。

需要注意的是， 以上的配置对每个topic的每个partition都有效，也就是说，如果一个topic有多个partition，则每个partition的日志文件路径下都执行上述策略。因此，在实际配置时，一定要把partition的数量考虑进去！

欢迎关注我的微信公众号：