Apache Kafka

    • 采用 Scala 语言开发的一个分布式、多分区、多副本且基于 ZooKeeper 协调的用于处理数据流的分布式消息框架
    • 消息生产者向 Kafka 服务器发送消息，Kafka 接收消息后，再投递给消费者
    • 在 Kafka 中，生产者的消息会被发送到 Topic 中，Topic 中保存着各类数据，每一条数据都使用键、值进行保存
    • 消费者会为自己添加一个消费者组的标识，每一条发布到 Topic 的记录，都会被交付给消费者组的一个消费者实例
    • 如果多个消费者实例拥有相同的消费者组，那么这些记录将会分配到各个消费者实例上，以达到负载均衡的目的
    • 如果所有的消费者都有不同的消费者组，那么每一条记录都会被广播到全部的消费者进行处理

    通过 Docker 启动 Kafka