今天阳光很暖
  文章分类
yarn 13 airflow 7 ambari 16 others 26 clickhouse 40 ClickHouse 2 deepagent 14 dolphinScheduler 2 flink 23 greenplum 7 hadoop 4 mapreduce 2 sqoop 2 flume 1 hbase 14 hdfs 9 hive 22 java 31 hudi 15 kafka 11 langchain 9 langgraph 15 mcp 7 zookeeper 2 phoenix 11 prometheus 6 python 18 rag 9 redis 16 Scala 16 spark 58
Airflow 系列7：运维与问题排查 Airflow 系列7：运维与问题排查
前面几篇文章已经把 Airflow 的基本概念、单机部署、元数据库、DAG 编写方式都整理了一遍。 到这里，一个单机 Airflow 环境基本已经能跑起来： Webserver 可以访问。 Scheduler 可以正常调度。 元数据库已经
2023-07-12 airflow
airflow ops troubleshooting
Airflow 系列6：DAG 代码编写与 Operator 参数详解 Airflow 系列6：DAG 代码编写与 Operator 参数详解
上一篇文章中已经可以编写一个简单 DAG，并且在 Airflow Web 页面中看到 spark_layer_demo 的运行状态。 但是如果只是把示例代码跑起来，其实还不够。 真正写 Airflow 任务时，经常会遇到下面这些问题： d
2023-07-05 airflow
airflow dag operator
Airflow 系列5：DAG 编写与任务调度使用介绍 Airflow 系列5：DAG 编写与任务调度使用介绍
前面几篇文章已经完成了 Airflow 的基本概念介绍、单机部署、元数据库配置以及元数据库表结构介绍。 到这里，Airflow 已经具备了基本使用条件： Webserver 可以访问。 Scheduler 可以正常运行。 元数据库已经切换
2023-06-21 airflow
airflow dag
Airflow 系列4：Airflow 元数据库表结构介绍 Airflow 系列4：Airflow 元数据库表结构介绍
前面已经将 Airflow 2.3.4 的元数据库从默认 SQLite 修改为了 MySQL，并将执行器修改为了 LocalExecutor。 元数据库配置完成之后，Airflow 的很多运行状态都会写入 MySQL 中。 例如： DAG
2023-06-15 airflow
airflow mysql
Airflow 系列3：Airflow 元数据库与执行器配置 Airflow 系列3：Airflow 元数据库与执行器配置
前面已经完成了 Airflow 2.3.4 的基础安装，能够启动 webserver 和 scheduler，也能够通过页面访问 Airflow。 不过，能够启动并不代表这个环境已经适合实际使用。 默认安装出来的 Airflow 通常会使用
2023-05-07 airflow
airflow mysql
Airflow 系列2：环境准备与单机部署 Airflow 系列2：环境准备与单机部署
本文记录一次在本机 Ubuntu 中部署 Apache Airflow 2.3.4 的全过程。重点不是只给最终命令，而是把环境差异、命令输出、遇到的错误和修复过程都记录下来，后续排查同类问题时可以直接对照。 1. 部署目标本次要完成的
2023-02-15 airflow
airflow mysql
Airflow 系列1：基本概念与架构介绍 Airflow 系列1：基本概念与架构介绍
本文基于 Apache Airflow 2.3.4 进行整理，主要介绍 Airflow 的基本概念、核心组件以及整体架构。 本篇文章不展开具体安装部署，也不编写完整 DAG 示例，重点是先把 Airflow 的整体运行逻辑讲清楚，为后续部署
2023-02-12 airflow
airflow