今天阳光很暖
  文章分类
yarn 13 airflow 7 ambari 16 others 26 clickhouse 40 ClickHouse 2 deepagent 14 dolphinScheduler 2 flink 23 greenplum 7 hadoop 4 mapreduce 2 sqoop 2 flume 1 hbase 14 hdfs 9 hive 22 java 31 hudi 15 kafka 11 langchain 9 langgraph 15 mcp 7 zookeeper 2 phoenix 11 prometheus 6 python 18 rag 9 redis 16 Scala 16 spark 58
Apache Hudi 学习笔记 15：Hive 集成 Hudi 与 Hive Sync 实战 Apache Hudi 学习笔记 15：Hive 集成 Hudi 与 Hive Sync 实战
前面 14 篇已经把 Hudi 的概念、写入、索引、Spark、Flink、CDC、调优和底层原理基本串起来了。这一篇作为当前 Hudi 学习笔记主线的收尾，回到一个很现实的问题：Hudi 表已经写在 HDFS 上了，Hive 怎么查？ H
2025-10-30 hudi
flink spark hive hudi mor query hive-sync metastore
Apache Hudi 学习笔记 14：Hudi 底层读写原理解析 Apache Hudi 学习笔记 14：Hudi 底层读写原理解析
前面已经从表类型、索引、Spark 集成、Flink 集成、CDC、调优和高级能力几个角度把 Hudi 跑了一遍。到这篇，我想把视角往下一层放：同样是写入一条订单更新，Hudi 内部到底怎样判断新旧、怎样找到文件、怎样把 Log File
2025-10-19 hudi
flink spark hudi compaction internals clean
Apache Hudi 学习笔记 13：Flink Hudi 高级能力详解 Apache Hudi 学习笔记 13：Flink Hudi 高级能力详解
前面几篇已经把 Flink 写 Hudi 的基础链路、参数调优、CDC 入湖都跑过了。到这里，Flink Hudi 已经不只是“建表、写入、查询”这么简单了。继续往生产场景走，会遇到更多高级能力：Changelog、Append 模式、Cl
2025-10-08 hudi
flink hudi bucket changelog clustering catalog
Apache Hudi 学习笔记 12：Flink Hudi 流读、CDC 入湖与全量接增量 Apache Hudi 学习笔记 12：Flink Hudi 流读、CDC 入湖与全量接增量
前面两篇已经把 Flink SQL 写 Hudi 和核心参数调优讲了一遍。本文继续往实时入湖方向走，重点看三个问题：Flink 怎么流式读取 Hudi 表？CDC 数据怎么从 Kafka 写入 Hudi？离线全量数据和实时增量数据怎么衔接？
2025-09-29 hudi
flink kafka hudi data-lake cdc streaming
Apache Hudi 学习笔记 11：Flink Hudi 核心参数与性能调优 Apache Hudi 学习笔记 11：Flink Hudi 核心参数与性能调优
上一篇已经用 Flink SQL 跑通了 Hudi COW 表写入和查询，也踩了一遍真实环境里的依赖冲突、checkpoint、slot 不够等问题。能跑通只是第一步，真正使用 Flink 写 Hudi 时，后面一定会遇到调优问题：写入跟不
2025-09-18 hudi
flink hudi compaction checkpoint tuning performance
Apache Hudi 学习笔记 10：Flink SQL 集成 Hudi 实战 Apache Hudi 学习笔记 10：Flink SQL 集成 Hudi 实战
前面几篇更多是从 Spark 的角度使用 Hudi。Spark 很适合离线初始化、批量修复、交互式 SQL 和批处理任务，但如果要把 MySQL CDC、Kafka 事件流这类实时数据持续写入 Hudi，我更倾向于用 Flink。 Flin
2025-09-07 hudi
flink hudi data-lake flink-sql checkpoint rocksdb
Apache Hudi 学习笔记 09：并发控制、锁机制与 Spark 写入调优 Apache Hudi 学习笔记 09：并发控制、锁机制与 Spark 写入调优
前面几篇已经把 Hudi 的表类型、查询方式、写入流程、Spark 集成和 Kafka 导入都跑了一遍。到这里其实已经可以用 Hudi 做不少测试任务了，但如果要把它放进稍微真实一点的链路里，还会遇到两个问题：多个写任务能不能同时写一张表？
2025-08-28 hudi
spark hudi concurrency tuning lock performance
Apache Hudi 学习笔记 08：使用 HoodieStreamer / DeltaStreamer 从 Kafka 导入数据到 Hudi Apache Hudi 学习笔记 08：使用 HoodieStreamer / DeltaStreamer 从 Kafka 导入数据到 Hudi
前面一篇已经用 Spark DataSource 和 Spark SQL 写过 Hudi 表。那种方式适合自己写 Spark 程序，但如果只是想快速把 Kafka、DFS、Sqoop 输出这类数据源导入 Hudi，Hudi 官方还提供了一个
2025-08-16 hudi
kafka spark hudi data-lake deltastreamer hoodie-streamer
Apache Hudi 学习笔记 07：Spark 集成 Hudi 实战 Apache Hudi 学习笔记 07：Spark 集成 Hudi 实战
前面几篇把 Hudi 的 Timeline、文件布局、索引、表类型和写入操作拆开讲了一遍。到这一篇，开始进入具体计算引擎集成。Spark 是最适合先学的一条线，因为它同时覆盖批处理、交互式 SQL、离线初始化、数据修复和 spark-sub
2025-08-05 hudi
spark hudi data-lake lakehouse spark-sql
Apache Hudi 学习笔记 06：Hudi 写入流程与写操作类型详解 Apache Hudi 学习笔记 06：Hudi 写入流程与写操作类型详解
前面讲完 COW、MOR 和查询类型以后，再看写入操作就清楚多了。Hudi 写入不是简单把 DataFrame 保存成 Parquet，而是要根据 record key、partition path、precombine 字段、索引定位和表
2025-07-29 hudi
spark hudi write upsert insert delete
Apache Hudi 学习笔记 05：COW 与 MOR 表类型，以及三种查询方式 Apache Hudi 学习笔记 05：COW 与 MOR 表类型，以及三种查询方式
前面几篇已经把 Hudi 的定位、测试环境、Timeline、FileGroup、FileSlice 和索引机制串起来了。到这里再看 COW 和 MOR，就不是背两个名词，而是在回答一个很实际的问题：更新数据写进数据湖以后，到底是在写入时就
2025-07-17 hudi
hudi data-lake cow mor query compaction
Apache Hudi 学习笔记 04：Hudi 索引机制与索引选型 Apache Hudi 学习笔记 04：Hudi 索引机制与索引选型
上一篇把 Timeline、Instant、FileGroup 和 FileSlice 串了一遍。理解这些概念以后，再看 Hudi 的索引机制会更自然：Hudi 传统写入索引的核心不是让普通 SQL 查询更快，而是帮助写入端在 Upsert
2025-07-06 hudi
flink hudi data-lake index bloom bucket
1 / 2