今天阳光很暖
09
01
08
10
07
18
02
对 kafka 中的消息进行 Avro 序列化 对 kafka 中的消息进行 Avro 序列化
1. Avro 介绍Avro 是一种数据序列化系统,由 Apache Foundation 开发并维护。它提供了丰富的数据结构类型,并且可以用于编码结构化数据。Avro 主要被用于 Apache Hadoop 这样的大数据处理系统中,它可以
2023-07-02
03
20
17
使用 assembly 对 SpringBoot 代码打包 使用 assembly 对 SpringBoot 代码打包
1. 背景最近向服务器上部署 spring boot项目时,会遇到一个问题,那就是 spring boot 打包时,会将自己写的代码和项目的所有依赖文件打成一个可执行的 jar 包。通常我们的项目都是运行在服务器上的,当项目更新时,每次都要
2023-03-17
14
08
安装 Ambari 时遇到的异常记录 安装 Ambari 时遇到的异常记录
由于最近公司机房断电,导致几台测试环境 Ambari 服务器损坏, 所以对 Ambari服务进行了重装, 下面对此次安装过程中遇见的问题与解决办法进行记录 1. 安装 unzipTraceback (most recent call l
2023-03-08
01
05
08
08
Spark 数据倾斜分析与解决思路 Spark 数据倾斜分析与解决思路
1. 背景介绍数据倾斜是在大数据计算中,经常会面临一个非常棘手的问题。数据倾斜会导致 Spark 作业性能大幅下降,这远远低于我们的期望。为了确保 Spark 作业的高性能,我们需要进行数据倾斜调优。数据倾斜调优是一项复杂的任务,需要采用多
2022-08-08
07
26
06
05
1 / 24