曾经我以为我很懂Kafka,直到我去参加了字节面试 您所在的位置:网站首页 高级化妆师需要考证吗 曾经我以为我很懂Kafka,直到我去参加了字节面试

曾经我以为我很懂Kafka,直到我去参加了字节面试

2024-01-11 08:52| 来源: 网络整理| 查看: 265

今天给大家分享一份由朱小厮精心整理的 《Kafka面试题汇总》 ,包括基础、进阶、高级三个部分。题量不大,但都是面试过程中最常问到的问题。

如果这份文档上面的问题都能掌握,相信在面试Kafka的时候肯定能够完全应付。如果上面1/3题回答都有难度的话,就该好好学习一下Kafka啦!

【领取方式见文末!!】

【领取方式见文末!!】

曾经我以为我很懂Kafka,直到我去参加了字节面试

Kafka基础篇

1. Kafka 的用途有哪些?使用场景如何?

消息系统: Kafka 和传统的消息系统(也称作消息中间件)都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时,Kafka 还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。

存储系统: Kafka 把消息持久化到磁盘,相比于其他基于内存存储的系统而言,有效地降低了数据丢失的风险。也正是得益于 Kafka 的消息持久化功能和多副本机制,我们可以把Kafka 作为长期的数据存储系统来使用,只需要把对应的数据保留策略设置为“永久”或启用主题的日志压缩功能即可。

流式处理平台: Kafka 不仅为每个流行的流式处理框架提供了可靠的数据来源,还提供了一个完整的流式处理类库,比如窗口、连接、变换和聚合等各类操作。

3.Kafka 中的 HW、LEO、LSO、LW 等分别代表什么?

HW 是 High Watermark 的缩写,俗称高水位,它标识了一个特定的消息偏移量(offset),消费者只能拉取到这个 offset 之前的消息。

LSO 是LogStartOffset,一般情况下,日志文件的起始偏移量 logStartOffset 等于第一个日志分段的 baseOffset,但这并不是绝对的,logStartOffset 的值可以通过DeleteRecordsRequest请求(比如使用 KafkaAdminClient 的 deleteRecords()方法、使用kafka-delete-records.sh脚本、日志的清理和截断等操作进行修改。

曾经我以为我很懂Kafka,直到我去参加了字节面试

如上图所示,它代表一个日志文件,这个日志文件中有 9 条消息,第一条消息的 offset(LogStartOffset)为 0,最后一条消息的 offset 为 8,offset 为 9 的消息用虚线框表示,代表下一条待写入的消息。日志文件的 HW 为 6,表示消费者只能拉取到 offset 在 0 至5之间的消息,而offset为 6 的消息对消费者而言是不可见的。

LEO 是 Log End Offset的缩写,它标识当前日志文件中下一条待写入消息的 offset,上图中 offset 为 9 的位置即为当前日志文件的 LEO,LEO 的大小相当于当前日志分区中最后一条消息的offset 值加 1。分区 ISR 集合中的每个副本都会维护自身的 LEO,而 ISR 集合中最小的LEO 即为分区的 HW,对消费者而言只能消费 HW 之前的消息。

LW 是 Low Watermark 的缩写,俗称“低水位”,代表 AR 集合中最小的 logStartOffset 值。副本的拉取请求(FetchRequest,它有可能触发新建日志分段而旧的被清理,进而导致logStartOffset 的增加)和删除消息请求(DeleteRecordRequest)都有可能促使 LW 的增长。

......

Kakfa 进阶篇

1. Kafka 目前有哪些内部 topic,它们都有什么特征?各自的作用又是什么?

consumer_offsets:作用是保存 Kafka 消费者的位移信息

transaction_state:用来存储事务日志消息

2. 优先副本是什么?它有什么特殊的作用?

所谓的优先副本是指在 AR 集合列表中的第一个副本。

理想情况下,优先副本就是该分区的leader 副本,所以也可以称之为 preferred leader。

Kafka 要确保所有主题的优先副本在Kafka 集群中均匀分布,这样就保证了所有分区的leader 均衡分布。以此来促进集群的负载均衡,这一行为也可以称为“分区平衡”。

......

Kafka 高级篇

1.Kafka 中的事务是怎么实现的?

曾经我以为我很懂Kafka,直到我去参加了字节面试

3.多副本下,各个副本中的 HW 和 LEO 的演变过程

曾经我以为我很懂Kafka,直到我去参加了字节面试

......

建议收藏本文,准备找工作前可以对着复习一下。

【资料获取点这里!!】

注:资料来源网络,侵删。



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有