今天阳光很暖
12
18
Hive 数据倾斜问题定位以及排查 Hive 数据倾斜问题定位以及排查
1. 背景介绍多数介绍数据倾斜的文章都是以大篇幅的理论为主,并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题,这些理论很难直接应用,导致我们面对倾斜时还是不知所措。 今天我们不扯大篇理论,直接以例子来实践,排查是否出现了数据倾斜,具体是
2021-12-18
07
11
14
关于 HDFS 中小文件的处理方式 关于 HDFS 中小文件的处理方式
1. 介绍在Hadoop应用过程中,处理小文件问题是一项常见的挑战。由于HDFS主要针对大型数据集(M字节以上)设计,大量小文件的出现可能导致Namenode内存使用效率下降、RPC调用速度减慢、block扫描处理速度降低,从而影响整个应用
2021-11-14
10
25
24
Atlas 架构与组件介绍 Atlas 架构与组件介绍
1. Atlas 概述Apache Atlas 是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。用以构
2021-10-24
19
Ambari 添加 Atlas 组件 Ambari 添加 Atlas 组件
本文章中部署Atlas 是在 Ambari 中部署的, 如果没有 Ambari 环境, 并且想部署 Ambari 可以查看Amabari 环境部署 1. 准备工作安装 Atlas 之前需要安装好 Solr. 2. 添加 Atlas 服务
2021-10-19
09
26
ClickHouse运行时状态监控 ClickHouse运行时状态监控
1. 概述Clickhouse 在运行时会将一些运行装白保存到系统表中,在对 clickhouse 进行监控时也会从这些系统表中获取数据了解 clickhouse 的运行状态。 clickhouse 元数据表中系统监控相关的表 但是直接查询
2021-09-26
21
16
10
08
25
20
ClickHouse函数汇总 ClickHouse函数汇总
1. 算术函数官网介绍算数函数地址 — – 求和 plus 求差值 minus 求积 multiply 求商 divide 求余数 modulo 取反 negate 绝对值 abs 最大公约数 gcd 最小公倍数 l
2021-08-20
1 / 5