今天阳光很暖
Hive 数据倾斜问题定位以及排查 Hive 数据倾斜问题定位以及排查
1. 背景介绍多数介绍数据倾斜的文章都是以大篇幅的理论为主,并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题,这些理论很难直接应用,导致我们面对倾斜时还是不知所措。 今天我们不扯大篇理论,直接以例子来实践,排查是否出现了数据倾斜,具体是
2021-12-18
hive 常用函数整理 3.逻辑运算 hive 常用函数整理 3.逻辑运算
1. 逻辑与操作: AND语法: A AND B 操作类型:boolean 说明:如果A和B均为TRUE,则为TRUE;否则为FALSE。如果A为NULL或B为NULL,则为NULL 举例: hive> select 1 from stu
2019-07-24
将 ES 中的数据导入 HIVE 操作记录 将 ES 中的数据导入 HIVE 操作记录
1. 环境设置# 设置允许动态分区 set hive.exec.dynamic.partition.mode=nonstrict; # 切换库 use stage; # 添加依赖 jar add jar hdfs://node1:802
2018-09-01
hive mapjoin 内存溢出异常 hive mapjoin 内存溢出异常
1. 问题描述在hive中两张表进行join操作时有时会出现如下错误: Total MapReduce jobs = 4 2014-10-22 05:45:06 Starting to launch local task to p
2017-09-05
hive 窗口函数整理 hive 窗口函数整理
1. WINDOW子句1.1 数据准备CREATE EXTERNAL TABLE t1( cookieid string, createtime string, --day pv INT ) ROW FORMAT DELI
2017-08-13
hive 常用函数整理 9.复合类型操作 hive 常用函数整理 9.复合类型操作
1. map类型构建: map语法: map (key1, value1, key2, value2, …) 说明:根据输入的key和value对构建map类型 举例: hive> Create table lxw_test as sele
2017-08-12
hive 常用函数整理 8.集合统计函数 hive 常用函数整理 8.集合统计函数
1. 个数统计函数: count语法: count(*), count(expr), count(DISTINCT expr[, expr_.]) 返回值: int 说明: count(*)统计检索出的行的个数,包括NULL值的行;coun
2017-08-12
hive 常用函数整理 7.字符串函数 hive 常用函数整理 7.字符串函数
1. 字符串长度函数:length语法: length(string A) 返回值: int 说明:返回字符串A的长度 举例: hive> select length('abcedfg') from student; 7 hive>
2017-08-10
hive 常用函数整理 6.条件函数 hive 常用函数整理 6.条件函数
1. If函数: if语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull) 返回值: T 说明: 当条件testCondition为TRUE时,返回valueTrue
2017-08-07
hive 常用函数整理 5.日期函数 hive 常用函数整理 5.日期函数
1. UNIX时间戳转日期函数: from_unixtime语法: from_unixtime(bigint unixtime[, string format]) 返回值: string 说明: 转化UNIX时间戳(从1970-01-01
2017-08-03
hive 常用函数整理 4.数值计算 hive 常用函数整理 4.数值计算
1. 取整函数: round语法: round(double a) 返回值: BIGINT 说明: 返回double类型的整数值部分 (遵循四舍五入) 举例: hive> select round(3.222511658) from stu
2017-08-03
hive 常用函数汇总目录 hive 常用函数汇总目录
1.关系运算 1.等值比较: = 2. 不等值比较: <> 3. 小于比较: < 4. 小于等于比较: <= 5. 大于比较: > 6. 大于等于比较: >= 7. 空值判断: IS NULL
2017-07-25
1 / 2