Kafka

Kafka

Kafka控制器

共20人围观 0个不明物体

控制器是Kafka的核心组件之一,它的主要作用是在 ZooKeeper 的帮助下协调和管理整个Kafka集群。Kafka 利用ZooKeeper 的领导者选举机制,每个Broker 都会参与竞选主控制...

Kafka

Kafka存储层-日志压缩

共189人围观 0个不明物体

对于存储系统来讲,更新数据通常情况下有 2 种方式:1、直接更新;2、追加的方式更新。第二种做法在更新数据时,不需要读取数据,往往效率比较高。对于Kafka 来讲,消息由Key-Value 组成。在日...

Kafka

Kafka存储层-日志管理

共201人围观 0个不明物体

Kafka 的日志管理负责日志的创建、检索、清理,和日志相关的读写操作则交给日志实例去处理。每个 TopicPartition 都对应一个物理层面上的 log 实例,LogManager 使用了log...

Kafka

Kafka存储层-数据零拷贝

共230人围观 0个不明物体

Kafka 在执行消息的写入和读取这么快的原因,其中的一个原因是零拷贝(Zero-copy)技术,下面我们来了解一下这么高效的原因。传统的文件读写传统的文件读写或者网络传输,通常需要将数据从内核态转换...

Kafka

Kafka存储层-消息读取

共284人围观 0个不明物体

Kafka 的主副本主要负责消息的读写操作,消费者或者备份副本都会向主副本同步数据。客户端读取主副本的过程又叫做“拉取”,拉取消息时肯定会指定拉取的偏移量。比如前面介绍过的,消费者会根据提交偏移量,或...

Kafka

Kafka存储层-日志分段

共225人围观 0个不明物体

前面我们提到了,服务端存储日志的分区单元是日志分段(LogSegment)。同一个日志分段内,所有消息的偏移量都是递增的,因此可以保证整个分区的偏移量都是递增的。Kafka 服务端节点每个 Topic...

Kafka

Kafka存储层-日志的写入

共266人围观 0个不明物体

Kafka是一个分布式的、分区的、复制的提交日志服务。Kafka 使用提交日志作为最终的存储格式。从之前的文章描述,我们可以了解到,在 Broker 端同一个 Topic 可以存储在不同的分区上面。每...

Kafka

KafkaConsumer分区分配策略

共505人围观 0个不明物体

前面我们讲到Consumer加入组的流程,主要包括了JoinGroup 和 SyncGroup 两个步骤。其中在JoinGroup 之后会选出 Consumer Group 的Leader 用于组内订...

Kafka

KafkaConsumer中的位移提交

共407人围观 0个不明物体

说位移提交之前,我们首先简单的回顾一下位移和消费者位移之间的区别。我们通常所说的位移是指 TopicPartition 在 Broker 端的存储偏移量。而消费者位移是指某个消费者组在不同 Topic...

Kafka

Kafka消费者加入group流程(下)

共492人围观 0个不明物体

接上篇:《Kafka消费者加入group流程(上)》发送加入组请求(Rebalance流程)消费者首次加入group也可以认为是Rebalance的一种,其中包含了两类请求:JoinGroup 和 S...