1、创建一个需要增加备份因子的topic列表的文件,文件格式是json格式的。
2、使用kafka官方提供的工具拿到上面topic的partions 分布情况,并重定向到文件中。
3、修改ressgintopic.conf 文件的,手动分配新增加的partion 备份因子。
4、通过下面命令执行备份因子扩容过程,bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json。
5、最后查看kafka的某 topic数据如图。
注意事项:
Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。