今天阳光很暖
  文章分类
hbase 13 java 30 yarn 0 spark 50 flink 20 others 27 hive 22 clickhouse 37 ClickHouse 2 dolphinScheduler 1 ambari 9 hadoop 2 mapreduce 2 sqoop 2 flume 1 hdfs 8 greenplum 7 Java 1 kafka 10 zookeeper 2 scala 14 phoenix 11
Kafka总结（七）Kafka监控kafka-manager介绍 Kafka总结（七）Kafka监控kafka-manager介绍
1. kafka-manager介绍CMAK（Cluster Manager for Apache Kafka，以前称为Kafka Manager），是用于管理Apache Kafka群集的工具。在监控介绍阶段我们介绍一下kafka Man
2020-02-23 kafka
kafka
Kafka总结（八）Kafka 高性能总结与性能测试 Kafka总结（八）Kafka 高性能总结与性能测试
1. 高效实用磁盘 顺序写磁盘：顺序写磁盘，性能非常刚甚至能与随机写内存相媲美。 Append Only：数据不更新，无记录级别的数据删除，（只会整个segment删除） I/O Scheduler 将连续的小块写组装成大块的物理写从而提高
2020-02-21 kafka
kafka
Kafka总结（六）Kafka 安全性保障 Kafka总结（六）Kafka 安全性保障
1. ssl/tls 原理 摘要算法：将需要加密的铭文使用hash函数生成一段被称为摘要的遗传密文，128位 数字签名：将摘要使用私钥加密后连同明文一同发送，接收方使用公钥将其解密为摘要，然后使用hash函数从明文算出摘要，将二者进行对比
2020-02-20 kafka
kafka
Kafka总结（五）Kafka 命令行详解下、配置、副本、测试等相关命令 Kafka总结（五）Kafka 命令行详解下、配置、副本、测试等相关命令
脚本列表 序号 脚本 功能 1 connect-distributed.sh && connect-standalone.sh 连接kafka集群/单机模式 2 kafka-run-class.sh 执行
2020-02-19 kafka
kafka
Kafka总结（五）Kafka 命令行详解上、topic、producer、consumer相关命令 Kafka总结（五）Kafka 命令行详解上、topic、producer、consumer相关命令
脚本列表 序号 脚本 功能 1 kafka-server-start.sh 启动kafka服务 2 kafka-server-stop.sh 停止kafka服务 3 kafka-topics.sh topic管理脚本
2020-02-16 kafka
kafka
Kafka总结（四）kafka auto.offset.reset参数说明 Kafka总结（四）kafka auto.offset.reset参数说明
1. 参数说明 当各分区下有已提交的offset时（默认使用latest） 参数 说明 earliest 从提交的offset开始消费；无提交的offset时，从头开始消费 latest 从提交的offset开始消费；无提
2020-02-14 kafka
kafka
Kafka总结（三）配置参数说明 Kafka总结（三）配置参数说明
1. Broker 相关配置 Name Description zookeeper.connect zookeeper集群的地址，逗号分割 advertised.host.name 已弃用：仅在未设
2020-02-12 kafka
kafka
Kafka总结（二）常见组件下 Topic、Partition等介绍 Kafka总结（二）常见组件下 Topic、Partition等介绍
1. CAP理论分布式系统中,一致性,可用性,分区容忍性大多数情况下只能同时满足两个，一般分区容忍性都要有保障，因此很多时候是在可用性可一致性之间做权衡。 一致性(Consistency) 通过某个节点的写操作结果对后面通过其他节点的读
2020-02-10 kafka
kafka
Kafka总结（二）常见组件上 Broker 、Producer和 Consumer 介绍 Kafka总结（二）常见组件上 Broker 、Producer和 Consumer 介绍
1. Broker1.1 Broker 介绍 Broker 没有副本机制，一旦 Broker 宕机，该 Broker 的消息都将不可用。 Broker 不会保存 Consumer 消费 topic partition offset 的状态
2020-02-09 kafka
kafka
Kafka总结（一）kafka部署与架构介绍 Kafka总结（一）kafka部署与架构介绍
1. Apache Kafka介绍Kafka 是最初由Linkedin公司开发，是一个分布式、支持分区（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统。它的最大特性就是可以实时的处理大量数据，以
2020-02-07 kafka
kafka