hnbian

1. 运行环境组件版本 Ambari 2.7.6 Spark 2.3.2 HDFS 3.1.1 2. 提交任务报错信息如下：使用 spark-submit 提交任务时报错信息 java.lang.Illegal

2022-05-15 spark

exception spark

前段时间编译了 greenplum 源码，过程中遇到了一些问题，在这里进行一下记录，希望能够帮助遇见相同问题的小伙伴更快的解决问题。 Could not fetch URL https://pypi.python.org/simple

2022-03-08 greenplum

exception greenplum

Required field ‘client_protocol’ is unset!beeline 出现 org.apache.thrift.TApplicationException: Required field ‘client_pro

2022-02-27 ambari

exception ambari spark hive

Greenplum是一款全球领先的开源大数据平台，为全球各行各业提供具备实时处理、弹性扩容、弹性计算、混合负载、云原生和集成数据分析能力的强大的大数据引擎，目前广泛的应用于包括金融、保险、证券、通信、航空、物流、零售、媒体、政府、医疗、制造

2022-02-17 greenplum

greenplum

1. 介绍ClickHouse 是一种高性能列式数据库管理系统，专为在线分析处理（OLAP）场景设计。它具有高查询性能、水平可扩展性和实时数据更新等优点，广泛应用于大数据分析领域。在使用 ClickHouse 时，用户可能会遇到各种错误。为

2022-01-20 clickhouse

exception olap clickhouse

官网：https://clickhouse.tech/docs/en/operations/backup/ 1. 手动备份与恢复数据 ClickHouse 允许使用 ALTER TABLE … FREEZE PARTITION … 查询以创

2022-01-03 clickhouse

olap clickhouse

1. 背景介绍多数介绍数据倾斜的文章都是以大篇幅的理论为主，并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题，这些理论很难直接应用，导致我们面对倾斜时还是不知所措。今天我们不扯大篇理论，直接以例子来实践，排查是否出现了数据倾斜，具体是

2021-12-18 hive

hive

1. Array(String) cannot be inside Nullable typeDB::Exception: Nested type Array(String) cannot be inside Nullable type

2021-12-07 clickhouse

exception olap clickhouse

1. 介绍在Hadoop应用过程中，处理小文件问题是一项常见的挑战。由于HDFS主要针对大型数据集（M字节以上）设计，大量小文件的出现可能导致Namenode内存使用效率下降、RPC调用速度减慢、block扫描处理速度降低，从而影响整个应用

2021-11-14 hdfs

hdfs hadoop

1. 导入hive元数据[root@hnode3 hook-bin]# pwd /usr/hdp/current/atlas-server/hook-bin [root@hnode3 hook-bin]# ll 总用量 16 -rwxr-x

2021-10-25 ambari

atlas

1. Atlas 概述Apache Atlas 是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。用以构

2021-10-24 ambari

atlas

本文章中部署Atlas 是在 Ambari 中部署的, 如果没有 Ambari 环境, 并且想部署 Ambari 可以查看Amabari 环境部署 1. 准备工作安装 Atlas 之前需要安装好 Solr. 2. 添加 Atlas 服务

2021-10-19 ambari

atlas