今天阳光很暖
Airflow 系列1：基本概念与架构介绍 Airflow 系列1：基本概念与架构介绍
本文基于 Apache Airflow 2.3.4 进行整理，主要介绍 Airflow 的基本概念、核心组件以及整体架构。 本篇文章不展开具体安装部署，也不编写完整 DAG 示例，重点是先把 Airflow 的整体运行逻辑讲清楚，为后续部署
2023-02-12 airflow
airflow
Ambari2.7.3 告警信息总结 Ambari2.7.3 告警信息总结
此文档真对 spark 2.7.3 版本的 ambari 告警信息进行总结: 1. 告警级别 告警级别 解释 说明 OK ok 集群运行良好 WARNING 警告 集群指标到了一定阈值，需关注 The cluster indi
2023-01-05 ambari
Ambari exception
Scala Maven Plugin 编译报错：Cannot run program ... jre\bin\javac Scala Maven Plugin 编译报错：Cannot run program ... jre\bin\javac
问题背景之前在编译一个老的 Maven + Scala 项目时，以为只是一次很普通的 compile，结果直接翻车。 控制台里报错是日志如下： D:\ProgramFiles\Java\jdk1.8.0_341\bin\java.exe -
2022-11-02 Scala
Scala
Spark SQL 读取 Parquet 失败排查：Schema 不一致 Spark SQL 读取 Parquet 失败排查：Schema 不一致
一、问题现象在执行 Spark SQL 查询 Parquet 表时，任务直接失败，并出现如下异常： org.apache.spark.SparkException: Job aborted due to stage failure: Ta
2022-10-23 spark
exception Spark
Spark 数据倾斜分析与解决思路 Spark 数据倾斜分析与解决思路
1. 背景介绍数据倾斜是在大数据计算中，经常会面临一个非常棘手的问题。数据倾斜会导致 Spark 作业性能大幅下降，这远远低于我们的期望。为了确保 Spark 作业的高性能，我们需要进行数据倾斜调优。数据倾斜调优是一项复杂的任务，需要采用多
2022-08-08 spark
exception Spark
Ambari 启动异常 ambari_commons.exceptions.FatalException Ambari 启动异常 ambari_commons.exceptions.FatalException
背景昨天公司机房停电， 没来得及关服务器， 早上到公司发现Ambari环境无法启动了 异常信息[root@node1 ~]# service ambari-server status Using python /usr/bin/pytho
2022-07-26 ambari
Ambari exception
Ambari 2.7.3 集成 Flume Service Ambari 2.7.3 集成 Flume Service
1. 介绍Ambari 是一个开源的 Apache 项目，用于部署、监控和管理 Hadoop 集群。Ambari 提供了一个易于使用的 Web UI 和 RESTful API 来简化 Hadoop 集群管理。Ambari 2.7.3 是
2022-06-05 ambari
Ambari exception flume
Spark Submit 提交任务抛出 IllegalAccessError Spark Submit 提交任务抛出 IllegalAccessError
1. 运行环境 组件 版本 Ambari 2.7.6 Spark 2.3.2 HDFS 3.1.1 2. 提交任务报错信息如下： 使用 spark-submit 提交任务时报错信息 java.lang.Illegal
2022-05-15 spark
exception Spark
编译GreenPlum源码时遇见的问题及解决方式 编译GreenPlum源码时遇见的问题及解决方式
前段时间编译了 greenplum 源码， 过程中遇到了一些问题， 在这里进行一下记录， 希望能够帮助遇见相同问题的小伙伴更快的解决问题。 Could not fetch URL https://pypi.python.org/simple
2022-03-08 greenplum
exception Greenplum
Spark 使用 Hive元数据遇到的一些问题 Spark 使用 Hive元数据遇到的一些问题
Required field ‘client_protocol’ is unset!beeline 出现 org.apache.thrift.TApplicationException: Required field ‘client_pro
2022-02-27 ambari
Ambari exception Spark Hive
ARM 服务器编译部署 GreenPlum 6.9 ARM 服务器编译部署 GreenPlum 6.9
Greenplum是一款全球领先的开源大数据平台，为全球各行各业提供具备实时处理、弹性扩容、弹性计算、混合负载、云原生和集成数据分析能力的强大的大数据引擎，目前广泛的应用于包括金融、保险、证券、通信、航空、物流、零售、媒体、政府、医疗、制造
2022-02-17 greenplum
Greenplum
ClickHouse 常见错误码 ClickHouse 常见错误码
1. 介绍ClickHouse 是一种高性能列式数据库管理系统，专为在线分析处理（OLAP）场景设计。它具有高查询性能、水平可扩展性和实时数据更新等优点，广泛应用于大数据分析领域。在使用 ClickHouse 时，用户可能会遇到各种错误。为
2022-01-20 ClickHouse
exception ClickHouse olap
12 / 35