前面两篇已经把 Flink SQL 写 Hudi 和核心参数调优讲了一遍。本文继续往实时入湖方向走，重点看三个问题：Flink 怎么流式读取 Hudi 表？CDC 数据怎么从 Kafka 写入 Hudi？离线全量数据和实时增量数据怎么衔接？

上一篇已经用 Flink SQL 跑通了 Hudi COW 表写入和查询，也踩了一遍真实环境里的依赖冲突、checkpoint、slot 不够等问题。能跑通只是第一步，真正使用 Flink 写 Hudi 时，后面一定会遇到调优问题：写入跟不

前面几篇更多是从 Spark 的角度使用 Hudi。Spark 很适合离线初始化、批量修复、交互式 SQL 和批处理任务，但如果要把 MySQL CDC、Kafka 事件流这类实时数据持续写入 Hudi，我更倾向于用 Flink。 Flin

前面几篇已经把 Hudi 的表类型、查询方式、写入流程、Spark 集成和 Kafka 导入都跑了一遍。到这里其实已经可以用 Hudi 做不少测试任务了，但如果要把它放进稍微真实一点的链路里，还会遇到两个问题：多个写任务能不能同时写一张表？

前面一篇已经用 Spark DataSource 和 Spark SQL 写过 Hudi 表。那种方式适合自己写 Spark 程序，但如果只是想快速把 Kafka、DFS、Sqoop 输出这类数据源导入 Hudi，Hudi 官方还提供了一个

前面几篇把 Hudi 的 Timeline、文件布局、索引、表类型和写入操作拆开讲了一遍。到这一篇，开始进入具体计算引擎集成。Spark 是最适合先学的一条线，因为它同时覆盖批处理、交互式 SQL、离线初始化、数据修复和 spark-sub

前面讲完 COW、MOR 和查询类型以后，再看写入操作就清楚多了。Hudi 写入不是简单把 DataFrame 保存成 Parquet，而是要根据 record key、partition path、precombine 字段、索引定位和表

前面几篇已经把 Hudi 的定位、测试环境、Timeline、FileGroup、FileSlice 和索引机制串起来了。到这里再看 COW 和 MOR，就不是背两个名词，而是在回答一个很实际的问题：更新数据写进数据湖以后，到底是在写入时就

上一篇把 Timeline、Instant、FileGroup 和 FileSlice 串了一遍。理解这些概念以后，再看 Hudi 的索引机制会更自然：Hudi 传统写入索引的核心不是让普通 SQL 查询更快，而是帮助写入端在 Upsert

前两篇分别讲了 Hudi 的定位和测试环境安装。到这里已经可以用 Spark DataSource 写出一张 Hudi 表，也能在 HDFS 上看到 .hoodie 目录和 Parquet 文件。 但如果只是看到这些文件，还不能真正理解 H

上一篇先把 Hudi 放在数据湖架构里看了一遍，知道它不是一个单纯的文件格式，而是一套能在 HDFS、S3 这类存储上管理表、事务、更新和增量消费的系统。 这篇开始搭环境。Hudi 本身并不孤立，它要和 Hadoop、Hive、Spark、

前面整理 Hadoop、Hive、Spark、Flink 这些组件时，更多关注的是计算引擎怎么跑、任务怎么提交、SQL 怎么查询。真正把数据长期沉淀到 HDFS 或对象存储之后，还会遇到另一个问题：文件系统只负责存文件，并不天然知道一张表的