听听音乐
Flink  Log4j jar包冲突问题解决 Flink Log4j jar包冲突问题解决
flink 任务添加了 elasticsearch 之后 log4j 日志的 jar出现了冲突, 下面是一些报错日志以及解决方式: 1. 提交任务时未成功提交的日志Setting HBASE_CONF_DIR=/etc/hbase/con
2023-09-01
Spark 操作ES报错 Failed to find data source Spark 操作ES报错 Failed to find data source
1. 异常描述将服务部署到一个新的服务器上抛出了一个关于 ES的 ClassNotFoundException 异常 java.lang.ClassNotFoundException: Failed to find data source:
2023-08-10
华为云编译好的 arm 架构Ambari 下载地址 华为云编译好的 arm 架构Ambari 下载地址
华为鲲鹏 aarch64 版本 Ambari HDP 下载地址 https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata/ ambarihttps://mirrors.huaweicl
2023-07-18
对 kafka 中的消息进行 Avro 序列化 对 kafka 中的消息进行 Avro 序列化
1. Avro 介绍Avro 是一种数据序列化系统,由 Apache Foundation 开发并维护。它提供了丰富的数据结构类型,并且可以用于编码结构化数据。Avro 主要被用于 Apache Hadoop 这样的大数据处理系统中,它可以
2023-07-02
DolphinScheduler 部署文档 DolphinScheduler 部署文档
本文档部署了最新的 3.14 版本, 官网上的部署文档有些错误, 本文中进行了修复 1. DolphinScheduler 简介Apache DolphinScheduler 官网地址: https://dolphinscheduler
使用 assembly 对 SpringBoot 代码打包 使用 assembly 对 SpringBoot 代码打包
1. 背景最近向服务器上部署 spring boot项目时,会遇到一个问题,那就是 spring boot 打包时,会将自己写的代码和项目的所有依赖文件打成一个可执行的 jar 包。通常我们的项目都是运行在服务器上的,当项目更新时,每次都要
2023-03-17
Async Hbase 时频繁遇到 too many open file 异常 Async Hbase 时频繁遇到 too many open file 异常
在使用 Async Hbase 时频繁遇到 too many open file 异常,程序自动重启后会立即报错,具体报错日志如下: flink版本:1.16.0 asynchbase版本:1.8.2 2023-03-08 16:15:
2023-03-14
安装 Ambari 时遇到的异常记录 安装 Ambari 时遇到的异常记录
由于最近公司机房断电,导致几台测试环境 Ambari 服务器损坏, 所以对 Ambari服务进行了重装, 下面对此次安装过程中遇见的问题与解决办法进行记录 1. 安装 unzipTraceback (most recent call l
2023-03-08
2.7.3 - Ambari 告警信息总结 2.7.3 - Ambari 告警信息总结
此文档真对 spark 2.7.3 版本的 ambari 告警信息进行总结: 1. 告警级别 告警级别 解释 说明 OK ok 集群运行良好 WARNING 警告 集群指标到了一定阈值,需关注 The cluster indi
2023-01-05
Spark 数据倾斜分析与解决思路 Spark 数据倾斜分析与解决思路
1. 背景介绍数据倾斜是在大数据计算中,经常会面临一个非常棘手的问题。数据倾斜会导致 Spark 作业性能大幅下降,这远远低于我们的期望。为了确保 Spark 作业的高性能,我们需要进行数据倾斜调优。数据倾斜调优是一项复杂的任务,需要采用多
2022-08-08
Ambari 启动异常 ambari_commons.exceptions.FatalException Ambari 启动异常 ambari_commons.exceptions.FatalException
背景昨天公司机房停电, 没来得及关服务器, 早上到公司发现Ambari环境无法启动了 异常信息[root@node1 ~]# service ambari-server status Using python /usr/bin/pytho
2022-07-26
Ambari2.7.3 集成 Flume Service Ambari2.7.3 集成 Flume Service
1. 介绍Ambari 是一个开源的 Apache 项目,用于部署、监控和管理 Hadoop 集群。Ambari 提供了一个易于使用的 Web UI 和 RESTful API 来简化 Hadoop 集群管理。Ambari 2.7.3 是
2022-06-05
1 / 24