归档 - 第 12 页

2023

02

12

Airflow 系列1：基本概念与架构介绍

本文基于 Apache Airflow 2.3.4 进行整理，主要介绍 Airflow 的基本概念、核心组件以及整体架构。本篇文章不展开具体安装部署，也不编写完整 DAG 示例，重点是先把 Airflow 的整体运行逻辑讲清楚，为后续部署

2023-02-12 airflow

airflow

01

05

Ambari2.7.3 告警信息总结

此文档真对 spark 2.7.3 版本的 ambari 告警信息进行总结: 1. 告警级别告警级别解释说明 OK ok 集群运行良好 WARNING 警告集群指标到了一定阈值，需关注 The cluster indi

2023-01-05 ambari

Ambari exception

2022

11

02

$Scala Maven Plugin 编译报错：Cannot run program ... jre\bin\javac$ Scala Maven Plugin 编译报错：Cannot run program ... jre\bin\javac

问题背景之前在编译一个老的 Maven + Scala 项目时，以为只是一次很普通的 compile，结果直接翻车。控制台里报错是日志如下： D:\ProgramFiles\Java\jdk1.8.0_341\bin\java.exe -

2022-11-02 Scala

Scala

10

23

Spark SQL 读取 Parquet 失败排查：Schema 不一致

一、问题现象在执行 Spark SQL 查询 Parquet 表时，任务直接失败，并出现如下异常： org.apache.spark.SparkException: Job aborted due to stage failure: Ta

2022-10-23 spark

exception Spark

08

Spark 数据倾斜分析与解决思路

1. 背景介绍数据倾斜是在大数据计算中，经常会面临一个非常棘手的问题。数据倾斜会导致 Spark 作业性能大幅下降，这远远低于我们的期望。为了确保 Spark 作业的高性能，我们需要进行数据倾斜调优。数据倾斜调优是一项复杂的任务，需要采用多

2022-08-08 spark

exception Spark

07

26

Ambari 启动异常 ambari_commons.exceptions.FatalException

背景昨天公司机房停电，没来得及关服务器，早上到公司发现Ambari环境无法启动了异常信息[root@node1 ~]# service ambari-server status Using python /usr/bin/pytho

2022-07-26 ambari

Ambari exception

06

05

Ambari 2.7.3 集成 Flume Service

1. 介绍Ambari 是一个开源的 Apache 项目，用于部署、监控和管理 Hadoop 集群。Ambari 提供了一个易于使用的 Web UI 和 RESTful API 来简化 Hadoop 集群管理。Ambari 2.7.3 是

2022-06-05 ambari

Ambari exception flume

05

15

Spark Submit 提交任务抛出 IllegalAccessError

1. 运行环境组件版本 Ambari 2.7.6 Spark 2.3.2 HDFS 3.1.1 2. 提交任务报错信息如下：使用 spark-submit 提交任务时报错信息 java.lang.Illegal

2022-05-15 spark

exception Spark

03

08

编译GreenPlum源码时遇见的问题及解决方式

前段时间编译了 greenplum 源码，过程中遇到了一些问题，在这里进行一下记录，希望能够帮助遇见相同问题的小伙伴更快的解决问题。 Could not fetch URL https://pypi.python.org/simple

2022-03-08 greenplum

exception Greenplum

02

27

Spark 使用 Hive元数据遇到的一些问题

Required field ‘client_protocol’ is unset!beeline 出现 org.apache.thrift.TApplicationException: Required field ‘client_pro

2022-02-27 ambari

Ambari exception Spark Hive

17

ARM 服务器编译部署 GreenPlum 6.9

Greenplum是一款全球领先的开源大数据平台，为全球各行各业提供具备实时处理、弹性扩容、弹性计算、混合负载、云原生和集成数据分析能力的强大的大数据引擎，目前广泛的应用于包括金融、保险、证券、通信、航空、物流、零售、媒体、政府、医疗、制造

2022-02-17 greenplum

Greenplum

01

20

ClickHouse 常见错误码

1. 介绍ClickHouse 是一种高性能列式数据库管理系统，专为在线分析处理（OLAP）场景设计。它具有高查询性能、水平可扩展性和实时数据更新等优点，广泛应用于大数据分析领域。在使用 ClickHouse 时，用户可能会遇到各种错误。为

2022-01-20 ClickHouse

exception ClickHouse olap