flink 任务添加了 elasticsearch 之后 log4j 日志的 jar出现了冲突， 下面是一些报错日志以及解决方式： 1. 提交任务时未成功提交的日志Setting HBASE_CONF_DIR=/etc/hbase/con

1. 异常描述将服务部署到一个新的服务器上抛出了一个关于 ES的 ClassNotFoundException 异常 java.lang.ClassNotFoundException: Failed to find data source:

华为鲲鹏 aarch64 版本 Ambari HDP 下载地址 https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata/ ambarihttps://mirrors.huaweicl

1. Avro 介绍Avro 是一种数据序列化系统，由 Apache Foundation 开发并维护。它提供了丰富的数据结构类型，并且可以用于编码结构化数据。Avro 主要被用于 Apache Hadoop 这样的大数据处理系统中，它可以

本文档部署了最新的 3.14 版本， 官网上的部署文档有些错误， 本文中进行了修复 1. DolphinScheduler 简介Apache DolphinScheduler 官网地址： https://dolphinscheduler

1. 背景最近向服务器上部署 spring boot项目时，会遇到一个问题，那就是 spring boot 打包时，会将自己写的代码和项目的所有依赖文件打成一个可执行的 jar 包。通常我们的项目都是运行在服务器上的，当项目更新时，每次都要

在使用 Async Hbase 时频繁遇到 too many open file 异常，程序自动重启后会立即报错，具体报错日志如下： flink版本：1.16.0 asynchbase版本：1.8.2 2023-03-08 16:15:

由于最近公司机房断电，导致几台测试环境 Ambari 服务器损坏， 所以对 Ambari服务进行了重装， 下面对此次安装过程中遇见的问题与解决办法进行记录 1. 安装 unzipTraceback (most recent call l

此文档真对 spark 2.7.3 版本的 ambari 告警信息进行总结: 1. 告警级别 告警级别 解释 说明 OK ok 集群运行良好 WARNING 警告 集群指标到了一定阈值，需关注 The cluster indi

1. 背景介绍数据倾斜是在大数据计算中，经常会面临一个非常棘手的问题。数据倾斜会导致 Spark 作业性能大幅下降，这远远低于我们的期望。为了确保 Spark 作业的高性能，我们需要进行数据倾斜调优。数据倾斜调优是一项复杂的任务，需要采用多

背景昨天公司机房停电， 没来得及关服务器， 早上到公司发现Ambari环境无法启动了 异常信息[root@node1 ~]# service ambari-server status Using python /usr/bin/pytho

1. 介绍Ambari 是一个开源的 Apache 项目，用于部署、监控和管理 Hadoop 集群。Ambari 提供了一个易于使用的 Web UI 和 RESTful API 来简化 Hadoop 集群管理。Ambari 2.7.3 是