Kafka源码分析（四）——Producer：Partitioner分区器

KafkaProducer在通过send方法发送消息时，获取到了Topic的元数据，就知道了Topic的所有分区。接着，Producer需要选择一个分区发送消息，分区选择的过程是基于 Partitioner 分区器完成的：

    int partition = partition(record, serializedKey, serializedValue, cluster);

如果消息 ProducerRecord 中指定了 partition 字段，那么就不需要分区器的作用，因为partition代表的就是所要发往的分区号；如果消息 ProducerRecord 中没有指定partition字段，那么就需要依赖分区器，根据 key这个字段来计算partition的值。

总之，分区器的作用就是为消息分配分区，Kafka提供的默认分区器是org.apache.kafka.clients.producer.internals.DefaultPartitioner，本章，我们就来看看它的内部原理。

一、分区流程

1.1 Partitioner接口

分区器的接口比较简单，核心就是partition方法，根据消息自定义计算分区号：

    public interface Partitioner extends Configurable, Closeable {
        /**
         * 根据消息计算分区
         */
        public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster);
    
        public void close();
    }

1.2 DefaultPartitioner

KafkaProducer提供了默认的分区器实现——DefaultPartitioner，实现的思路也是非常简单的：

    public class DefaultPartitioner implements Partitioner {
    
        private final ConcurrentMap<String, AtomicInteger> topicCounterMap = new ConcurrentHashMap<>();
    
        public void configure(Map<String, ?> configs) {}
    
        public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
            // 1.获取当前Topic的所有分区
            List<PartitionInfo> partitions = cluster.partitionsForTopic(topic);
            int numPartitions = partitions.size();
    
            // 2.1如果没有指定消息Key
            if (keyBytes == null) {
                // 获取一个递增序号值
                int nextValue = nextValue(topic);
                // 获取当前Topic的所有可用分区
                List<PartitionInfo> availablePartitions = cluster.availablePartitionsForTopic(topic);
                if (availablePartitions.size() > 0) {
                    // 对可用分区取余
                    int part = Utils.toPositive(nextValue) % availablePartitions.size();
                    return availablePartitions.get(part).partition();
                } else {
                    // 没有可用分区，则直接对总分区数取余
                    return Utils.toPositive(nextValue) % numPartitions;
                }
            } 
            // 2.2如果指定了消息Key
            else {
                // 采用murmur2算法计算Key的Hash值，然后对分区数取余
                return Utils.toPositive(Utils.murmur2(keyBytes)) % numPartitions;
            }
        }
    
        private int nextValue(String topic) {、
            // topicCounterMap保存了Topic的递增序号
            AtomicInteger counter = topicCounterMap.get(topic);
            if (null == counter) {
                counter = new AtomicInteger(new Random().nextInt());
                AtomicInteger currentCounter = topicCounterMap.putIfAbsent(topic, counter);
                if (currentCounter != null) {
                    counter = currentCounter;
                }
            }
            return counter.getAndIncrement();
        }
    
        public void close() {}
    }

上述分区算法的流程如下：

如果消息没有指定Key，则获取所有可用分区数，然后进行取余，得到一个分区号，这个分区号对应的分区就是要发送消息的分区；
如果消息指定了Key，则采用 murmur2 算法，计算Key的Hash值，然后与分区数取数，得到分区号。

二、总结

本章，我对KafkaProducer的分区器的内部原理进行了讲解。如果我们指定了消息的Key，那么同一个Key的不同消息，会生成相同的hash值，路由到的分区也一定是相同的。

但是需要特别注意，如果对主题的分区进行了增减，那么就难以保证 key 与分区之间的映射关系了。

Java 面试宝典是大明哥全力打造的 Java 精品面试题，它是一份靠谱、强大、详细、经典的 Java 后端面试宝典。它不仅仅只是一道道面试题，而是一套完整的 Java 知识体系，一套你 Java 知识点的扫盲贴。

它的内容包括：

大厂真题：Java 面试宝典里面的题目都是最近几年的高频的大厂面试真题。
原创内容：Java 面试宝典内容全部都是大明哥原创，内容全面且通俗易懂，回答部分可以直接作为面试回答内容。
持续更新：一次购买，永久有效。大明哥会持续更新 3+ 年，累计更新 1000+，宝典会不断迭代更新，保证最新、最全面。
覆盖全面：本宝典累计更新 1000+，从 Java 入门到 Java 架构的高频面试题，实现 360° 全覆盖。
不止面试：内容包含面试题解析、内容详解、知识扩展，它不仅仅只是一份面试题，更是一套完整的 Java 知识体系。
宝典详情：https://www.yuque.com/chenssy/sike-java/xvlo920axlp7sf4k
宝典总览：https://www.yuque.com/chenssy/sike-java/yogsehzntzgp4ly1
宝典进展：https://www.yuque.com/chenssy/sike-java/en9ned7loo47z5aw

目前 Java 面试宝典累计更新 400+ 道，总字数 42w+。大明哥还在持续更新中，下图是大明哥在 2024-12 月份的更新情况：

想了解详情的小伙伴，扫描下面二维码加大明哥微信【daming091】咨询

同时，大明哥也整理一套目前市面最常见的热点面试题。微信搜[大明哥聊 Java]或扫描下方二维码关注大明哥的原创公众号[大明哥聊 Java] ，回复【面试题】即可免费领取。

阅读全文