今天阳光很暖
对 kafka 中的消息进行 Avro 序列化 对 kafka 中的消息进行 Avro 序列化
1. Avro 介绍Avro 是一种数据序列化系统，由 Apache Foundation 开发并维护。它提供了丰富的数据结构类型，并且可以用于编码结构化数据。Avro 主要被用于 Apache Hadoop 这样的大数据处理系统中，它可以
2023-07-02 kafka
Kafka avro
Airflow 系列5：DAG 编写与任务调度使用介绍 Airflow 系列5：DAG 编写与任务调度使用介绍
前面几篇文章已经完成了 Airflow 的基本概念介绍、单机部署、元数据库配置以及元数据库表结构介绍。 到这里，Airflow 已经具备了基本使用条件： Webserver 可以访问。 Scheduler 可以正常运行。 元数据库已经切换
2023-06-21 airflow
airflow dag
Airflow 系列4：Airflow 元数据库表结构介绍 Airflow 系列4：Airflow 元数据库表结构介绍
前面已经将 Airflow 2.3.4 的元数据库从默认 SQLite 修改为了 MySQL，并将执行器修改为了 LocalExecutor。 元数据库配置完成之后，Airflow 的很多运行状态都会写入 MySQL 中。 例如： DAG
2023-06-15 airflow
airflow mysql
SparkML使用逻辑回归算法对新闻多分类 SparkML使用逻辑回归算法对新闻多分类
一、准备数据自从引进DataFrame之后，spark在ml方面，开始使用DataFrame作为RDD的上层封装，以屏蔽RDD层次的复杂操作，对应用开发者提供简单的DataFrame，以减少开发量。本文中使用的是spark 2.4 版本为基
2023-05-16 spark
Spark
Airflow 系列3：Airflow 元数据库与执行器配置 Airflow 系列3：Airflow 元数据库与执行器配置
前面已经完成了 Airflow 2.3.4 的基础安装，能够启动 webserver 和 scheduler，也能够通过页面访问 Airflow。 不过，能够启动并不代表这个环境已经适合实际使用。 默认安装出来的 Airflow 通常会使用
2023-05-07 airflow
airflow mysql
使用 yum 下载 SRPM 并 重建 RPM 使用 yum 下载 SRPM 并 重建 RPM
使用 yum/dnf 下载 SRPM 并 rpmbuild 重建 RPM（以 compat-openssl10 为例） 1. 目的在无法直接安装目标 RPM（或需要适配架构/系统）的情况下，通过下载 SRPM（源码包
2023-04-05 others
yum rpm
DolphinScheduler 2.伪集群与集群部署文档 DolphinScheduler 2.伪集群与集群部署文档
1. 伪集群部署伪集群部署目的是在单台机器部署 DolphinScheduler 服务，该模式下 master、worker、api server 都在同一台机器上 如果你是新手，想要体验 DolphinScheduler 的功能，推荐使用
2023-03-25 dolphinScheduler
dolphinScheduler
DolphinScheduler 1.介绍与单节点部署 DolphinScheduler 1.介绍与单节点部署
本文档部署了最新的 3.14 版本， 官网上的部署文档有些错误， 本文中进行了修复 1. DolphinScheduler 简介Apache DolphinScheduler 官网地址： https://dolphinscheduler
2023-03-20 dolphinScheduler
dolphinScheduler
使用 assembly 对 SpringBoot 代码打包 使用 assembly 对 SpringBoot 代码打包
1. 背景最近向服务器上部署 spring boot项目时，会遇到一个问题，那就是 spring boot 打包时，会将自己写的代码和项目的所有依赖文件打成一个可执行的 jar 包。通常我们的项目都是运行在服务器上的，当项目更新时，每次都要
2023-03-17 java
Java
Async Hbase 时频繁遇到 too many open file 异常 Async Hbase 时频繁遇到 too many open file 异常
在使用 Async Hbase 时频繁遇到 too many open file 异常，程序自动重启后会立即报错，具体报错日志如下： flink版本：1.16.0 asynchbase版本：1.8.2 2023-03-08 16:15:
2023-03-14 hbase
exception HBase
安装 Ambari 时遇到的异常记录 安装 Ambari 时遇到的异常记录
由于最近公司机房断电，导致几台测试环境 Ambari 服务器损坏， 所以对 Ambari服务进行了重装， 下面对此次安装过程中遇见的问题与解决办法进行记录 1. 安装 unzipTraceback (most recent call l
2023-03-08 ambari
Ambari exception
Airflow 系列2：环境准备与单机部署 Airflow 系列2：环境准备与单机部署
本文记录一次在本机 Ubuntu 中部署 Apache Airflow 2.3.4 的全过程。重点不是只给最终命令，而是把环境差异、命令输出、遇到的错误和修复过程都记录下来，后续排查同类问题时可以直接对照。 1. 部署目标本次要完成的
2023-02-15 airflow
airflow mysql
11 / 35