今天阳光很暖
  文章分类
yarn 13 airflow 7 others 26 ambari 16 clickhouse 40 ClickHouse 2 deepagent 14 flink 23 dolphinScheduler 2 greenplum 7 hadoop 4 mapreduce 2 sqoop 2 flume 1 hbase 14 hdfs 9 hive 22 hudi 15 java 31 kafka 11 langchain 9 langgraph 15 mcp 7 zookeeper 2 phoenix 11 prometheus 6 python 18 rag 9 redis 16 Scala 16 spark 58
Apache Hudi 学习笔记 03：Timeline、Instant、FileGroup 与 FileSlice Apache Hudi 学习笔记 03：Timeline、Instant、FileGroup 与 FileSlice
前两篇分别讲了 Hudi 的定位和测试环境安装。到这里已经可以用 Spark DataSource 写出一张 Hudi 表，也能在 HDFS 上看到 .hoodie 目录和 Parquet 文件。 但如果只是看到这些文件，还不能真正理解 H
2025-06-27 hudi
hudi data-lake timeline instant filegroup fileslice
Apache Hudi 学习笔记 02：Hudi 测试环境安装 Apache Hudi 学习笔记 02：Hudi 测试环境安装
上一篇先把 Hudi 放在数据湖架构里看了一遍，知道它不是一个单纯的文件格式，而是一套能在 HDFS、S3 这类存储上管理表、事务、更新和增量消费的系统。 这篇开始搭环境。Hudi 本身并不孤立，它要和 Hadoop、Hive、Spark、
2025-06-15 hudi
hadoop mysql flink kafka spark hive hudi data-lake
Apache Hudi 学习笔记 01：Hudi 是什么？为什么数据湖需要 Hudi？ Apache Hudi 学习笔记 01：Hudi 是什么？为什么数据湖需要 Hudi？
前面整理 Hadoop、Hive、Spark、Flink 这些组件时，更多关注的是计算引擎怎么跑、任务怎么提交、SQL 怎么查询。真正把数据长期沉淀到 HDFS 或对象存储之后，还会遇到另一个问题：文件系统只负责存文件，并不天然知道一张表的
2025-06-04 hudi
hudi data-lake lakehouse big-data
2 / 2