前面几篇文章已经把 Airflow 的基本概念、单机部署、元数据库、DAG 编写方式都整理了一遍。 到这里，一个单机 Airflow 环境基本已经能跑起来： Webserver 可以访问。 Scheduler 可以正常调度。 元数据库已经

上一篇文章中已经可以编写一个简单 DAG，并且在 Airflow Web 页面中看到 spark_layer_demo 的运行状态。 但是如果只是把示例代码跑起来，其实还不够。 真正写 Airflow 任务时，经常会遇到下面这些问题： d

1. Avro 介绍Avro 是一种数据序列化系统，由 Apache Foundation 开发并维护。它提供了丰富的数据结构类型，并且可以用于编码结构化数据。Avro 主要被用于 Apache Hadoop 这样的大数据处理系统中，它可以

前面几篇文章已经完成了 Airflow 的基本概念介绍、单机部署、元数据库配置以及元数据库表结构介绍。 到这里，Airflow 已经具备了基本使用条件： Webserver 可以访问。 Scheduler 可以正常运行。 元数据库已经切换

前面已经将 Airflow 2.3.4 的元数据库从默认 SQLite 修改为了 MySQL，并将执行器修改为了 LocalExecutor。 元数据库配置完成之后，Airflow 的很多运行状态都会写入 MySQL 中。 例如： DAG

一、准备数据自从引进DataFrame之后，spark在ml方面，开始使用DataFrame作为RDD的上层封装，以屏蔽RDD层次的复杂操作，对应用开发者提供简单的DataFrame，以减少开发量。本文中使用的是spark 2.4 版本为基

前面已经完成了 Airflow 2.3.4 的基础安装，能够启动 webserver 和 scheduler，也能够通过页面访问 Airflow。 不过，能够启动并不代表这个环境已经适合实际使用。 默认安装出来的 Airflow 通常会使用

使用 yum/dnf 下载 SRPM 并 rpmbuild 重建 RPM（以 compat-openssl10 为例） 1. 目的在无法直接安装目标 RPM（或需要适配架构/系统）的情况下，通过下载 SRPM（源码包

1. 伪集群部署伪集群部署目的是在单台机器部署 DolphinScheduler 服务，该模式下 master、worker、api server 都在同一台机器上 如果你是新手，想要体验 DolphinScheduler 的功能，推荐使用

本文档部署了最新的 3.14 版本， 官网上的部署文档有些错误， 本文中进行了修复 1. DolphinScheduler 简介Apache DolphinScheduler 官网地址： https://dolphinscheduler

1. 背景最近向服务器上部署 spring boot项目时，会遇到一个问题，那就是 spring boot 打包时，会将自己写的代码和项目的所有依赖文件打成一个可执行的 jar 包。通常我们的项目都是运行在服务器上的，当项目更新时，每次都要

在使用 Async Hbase 时频繁遇到 too many open file 异常，程序自动重启后会立即报错，具体报错日志如下： flink版本：1.16.0 asynchbase版本：1.8.2 2023-03-08 16:15: