欢迎访问我的博客,你的支持,是我最大的动力!

标签:kafka

Linux

Kafka权威指南(三)

Kafka权威指南(三)
管理Kafka 管理Kafka kafka-topics.sh 工具,可用来创建、修改、删除和查看集群里的主题 使用该工具需要 --zookeeper参数提供zk的连接字符串 # kafka大部分命令行工具是直接操作zookeeper上的元数据,并不会连接到broker上,要确保...

小马奔腾 1个月前 (03-06) 80℃ 0评论 0喜欢

Linux

Kafka权威指南(二)

Kafka权威指南(二)
可靠的数据传递 可靠性保证 - kafka可以保证分区消息的顺序 - 只有当消息被写入分区的所有同步副本时,才被认为是已提交的 - 只要还有一个副本是活跃的,那么已经提交的消息就不会丢失 - 消费者只能读取已经提交的消息 消息存储的可靠性和一致性的重要程度与可用性、高吞吐量、低延...

小马奔腾 1个月前 (02-26) 82℃ 0评论 0喜欢

Linux

Kafka权威指南(一)

Kafka权威指南(一)
优秀资源 Kafka 集群在马蜂窝大数据平台的优化与应用扩展 Kafka架构原理,也就这么回事 虚位以待... 安装Kafka 可以保证消息在单个分区内是顺序 紧凑型日志主题只为每个键保留一个变更数据,可长时间使用,无需担心过期问题 1、Java 运行时环境 2、安装Zookee...

小马奔腾 1个月前 (02-25) 97℃ 0评论 0喜欢

Linux

Kafka在线修改topic日志保存时长(不停机,不重启)

Kafka在线修改topic日志保存时长(不停机,不重启)
使用场景: 某些时候,当几个topic生产者突发产生大量消息时,会造成磁盘空间紧张,这时,除了增加磁盘,另一个方法就是修改配置文件,将日志的保存时间修改小一点,但这两种方案,都必须停机和重启kafka,显然,这在生产集群上,是不能这么处理的。这里,可以通过在线修改单个topic的...

小马奔腾 6个月前 (10-20) 1064℃ 1评论 3喜欢