1. Avro 介绍Avro 是一种数据序列化系统，由 Apache Foundation 开发并维护。它提供了丰富的数据结构类型，并且可以用于编码结构化数据。Avro 主要被用于 Apache Hadoop 这样的大数据处理系统中，它可以

前面几篇文章已经完成了 Airflow 的基本概念介绍、单机部署、元数据库配置以及元数据库表结构介绍。 到这里，Airflow 已经具备了基本使用条件： Webserver 可以访问。 Scheduler 可以正常运行。 元数据库已经切换

前面已经将 Airflow 2.3.4 的元数据库从默认 SQLite 修改为了 MySQL，并将执行器修改为了 LocalExecutor。 元数据库配置完成之后，Airflow 的很多运行状态都会写入 MySQL 中。 例如： DAG

一、准备数据自从引进DataFrame之后，spark在ml方面，开始使用DataFrame作为RDD的上层封装，以屏蔽RDD层次的复杂操作，对应用开发者提供简单的DataFrame，以减少开发量。本文中使用的是spark 2.4 版本为基

前面已经完成了 Airflow 2.3.4 的基础安装，能够启动 webserver 和 scheduler，也能够通过页面访问 Airflow。 不过，能够启动并不代表这个环境已经适合实际使用。 默认安装出来的 Airflow 通常会使用

使用 yum/dnf 下载 SRPM 并 rpmbuild 重建 RPM（以 compat-openssl10 为例） 1. 目的在无法直接安装目标 RPM（或需要适配架构/系统）的情况下，通过下载 SRPM（源码包

1. 伪集群部署伪集群部署目的是在单台机器部署 DolphinScheduler 服务，该模式下 master、worker、api server 都在同一台机器上 如果你是新手，想要体验 DolphinScheduler 的功能，推荐使用

本文档部署了最新的 3.14 版本， 官网上的部署文档有些错误， 本文中进行了修复 1. DolphinScheduler 简介Apache DolphinScheduler 官网地址： https://dolphinscheduler

1. 背景最近向服务器上部署 spring boot项目时，会遇到一个问题，那就是 spring boot 打包时，会将自己写的代码和项目的所有依赖文件打成一个可执行的 jar 包。通常我们的项目都是运行在服务器上的，当项目更新时，每次都要

在使用 Async Hbase 时频繁遇到 too many open file 异常，程序自动重启后会立即报错，具体报错日志如下： flink版本：1.16.0 asynchbase版本：1.8.2 2023-03-08 16:15:

由于最近公司机房断电，导致几台测试环境 Ambari 服务器损坏， 所以对 Ambari服务进行了重装， 下面对此次安装过程中遇见的问题与解决办法进行记录 1. 安装 unzipTraceback (most recent call l

本文记录一次在本机 Ubuntu 中部署 Apache Airflow 2.3.4 的全过程。重点不是只给最终命令，而是把环境差异、命令输出、遇到的错误和修复过程都记录下来，后续排查同类问题时可以直接对照。 1. 部署目标本次要完成的