今天阳光很暖
对 kafka 中的消息进行 Avro 序列化 对 kafka 中的消息进行 Avro 序列化
1. Avro 介绍Avro 是一种数据序列化系统,由 Apache Foundation 开发并维护。它提供了丰富的数据结构类型,并且可以用于编码结构化数据。Avro 主要被用于 Apache Hadoop 这样的大数据处理系统中,它可以
2023-07-02
Kafka总结(七)Kafka监控kafka-manager介绍 Kafka总结(七)Kafka监控kafka-manager介绍
1. kafka-manager介绍CMAK(Cluster Manager for Apache Kafka,以前称为Kafka Manager),是用于管理Apache Kafka群集的工具。在监控介绍阶段我们介绍一下kafka Man
2020-02-23
Kafka总结(八)Kafka 高性能总结与性能测试 Kafka总结(八)Kafka 高性能总结与性能测试
1. 高效实用磁盘 顺序写磁盘:顺序写磁盘,性能非常刚甚至能与随机写内存相媲美。 Append Only:数据不更新,无记录级别的数据删除,(只会整个segment删除) I/O Scheduler 将连续的小块写组装成大块的物理写从而提高
2020-02-21
Kafka总结(六)Kafka 安全性保障 Kafka总结(六)Kafka 安全性保障
1. ssl/tls 原理 摘要算法:将需要加密的铭文使用hash函数生成一段被称为摘要的遗传密文,128位 数字签名:将摘要使用私钥加密后连同明文一同发送,接收方使用公钥将其解密为摘要,然后使用hash函数从明文算出摘要,将二者进行对比
2020-02-20
Kafka总结(五)Kafka 命令行详解下、配置、副本、测试等相关命令 Kafka总结(五)Kafka 命令行详解下、配置、副本、测试等相关命令
脚本列表 序号 脚本 功能 1 connect-distributed.sh && connect-standalone.sh 连接kafka集群/单机模式 2 kafka-run-class.sh 执行
2020-02-19
Kafka总结(五)Kafka 命令行详解上、topic、producer、consumer相关命令 Kafka总结(五)Kafka 命令行详解上、topic、producer、consumer相关命令
脚本列表 序号 脚本 功能 1 kafka-server-start.sh 启动kafka服务 2 kafka-server-stop.sh 停止kafka服务 3 kafka-topics.sh topic管理脚本
2020-02-16
Kafka总结(四)kafka auto.offset.reset参数说明 Kafka总结(四)kafka auto.offset.reset参数说明
1. 参数说明 当各分区下有已提交的offset时(默认使用latest) 参数 说明 earliest 从提交的offset开始消费;无提交的offset时,从头开始消费 latest 从提交的offset开始消费;无提
2020-02-14
Kafka总结(三)配置参数说明 Kafka总结(三)配置参数说明
1. Broker 相关配置 Name Description zookeeper.connect zookeeper集群的地址,逗号分割 advertised.host.name 已弃用:仅在未设
2020-02-12
Kafka总结(二)常见组件下 Topic、Partition等介绍 Kafka总结(二)常见组件下 Topic、Partition等介绍
1. CAP理论分布式系统中,一致性,可用性,分区容忍性大多数情况下只能同时满足两个,一般分区容忍性都要有保障,因此很多时候是在可用性可一致性之间做权衡。 一致性(Consistency) 通过某个节点的写操作结果对后面通过其他节点的读
2020-02-10
Kafka总结(二)常见组件上 Broker 、Producer和 Consumer 介绍 Kafka总结(二)常见组件上 Broker 、Producer和 Consumer 介绍
1. Broker1.1 Broker 介绍 Broker 没有副本机制,一旦 Broker 宕机,该 Broker 的消息都将不可用。 Broker 不会保存 Consumer 消费 topic partition offset 的状态
2020-02-09
Kafka总结(一)kafka部署与架构介绍 Kafka总结(一)kafka部署与架构介绍
1. Apache Kafka介绍Kafka 是最初由Linkedin公司开发,是一个分布式、支持分区(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统。它的最大特性就是可以实时的处理大量数据,以
2020-02-07