今天阳光很暖
Flink系列 9. 介绍 Flink 窗口触发器、移除器和延迟数据等 Flink系列 9. 介绍 Flink 窗口触发器、移除器和延迟数据等
1. 触发器1.1 触发器介绍 当数据到达某种情况,符合了某种条件去关闭窗口,这种到达条件就是触发。 设置到达某种条件并触发窗口执行就是触发器。 触发器的作用就是控制什么时候进行数据的聚合计算 flink 中的窗口计算依赖于触发器。 每种窗
2020-07-25
Flink系列 8. 介绍Flink中的窗口类型与相关操作 Flink系列 8. 介绍Flink中的窗口类型与相关操作
1. window 的概念 一般真实的流都是无界的,怎样处理无界的数据? 可以把无界的流进行切分,得到有限的数据集进行处理,也就是得到有界流。 window 就是将无界流切割成有界流的一种方式,它会将流分发到有限大小的桶(bucket)中
2020-07-20
Flink系列 7. 介绍Flink中的时间语义与WaterMark Flink系列 7. 介绍Flink中的时间语义与WaterMark
1. 时间语义和 water mark1.1 时间语义介绍 EventTime (事件时间) : 数据产生时的时间,一般都包含在数据内,由用户指定数据中的时间戳。 Ingestion Time (摄取时间) : 数据进入 Flink 的
2020-07-11
GreenPlum 6.0 版本升级内容与新功能介绍 GreenPlum 6.0 版本升级内容与新功能介绍
1. postgresql 升级gpdb 5版本是将 postgresql 从 8.2 升级到 8.3 ,gpdb 6 有 6 个 postgresql 大版本升级: v8.4 - 2314 commits v9.0 - 1859 com
2020-07-03
Flink系列 6. 数据传输策略与任务链 Flink系列 6. 数据传输策略与任务链
1. 数据分发策略数据的分区策略决定了数据会分发到下游算子的那个分区,在 Flink 中有八种不同的分区策略,也称为分区器。 1.1 ChannelSelectorChannelSelector 是一个接口,它的核心功能是为输入的数据选择
2020-06-15
Flink系列 5. 介绍Flink API:Source、Channel、Sink Flink系列 5. 介绍Flink API:Source、Channel、Sink
1. 程序与数据流 所有的 Flink 程序都是由三部分组成:Source、Transformation和 Sink。 Source 负责读取数据源 Transformation 负责利用各种算子加工数据 Sink 负责将数据输出 在程
2020-06-10
Ambari 添加 Ranger 服务 Ambari 添加 Ranger 服务
1. 准备工作123456789101112131415161718# 创建数据库mysql> create database ranger character set utf8;Query OK, 1 row affected (0
2020-05-18
GreenPlum 权限管理 GreenPlum 权限管理
1. GreenPlum 权限说明 GreenPlum 中的用户与角色在整个数据库中都是全局性的。 在安装数据库时已指定超级管理员、系统管理员,例如超级管理员: gpadmin 每个数据库都有一个所有者,数据看的所有者默认拥有数据库的
2020-05-15
GreenPlum 数据存储介绍 GreenPlum 数据存储介绍
1. 数据存储分布式数据存储基本原理相对简单,实现比较容易,很多数据库中间件也可以做到基本的分布式数据存储。Greenplum 在这方面不单单做到了基本的分布式数据存储,还提供了很多更高级灵活的特性,譬如多级分区、多态存储。Greenplu
2020-05-06
Flink系列 4. 架构与组件介绍 Flink系列 4. 架构与组件介绍
1. Flink 架构图 1.1 JobManager JobManager(作业管理器)控制一个应用程序执行的主进程,也就是说,每个Flink程序都会被对应的 JobManager 控制执行。 JobManager 会先接收到要执行的应
2020-05-05
GreenPlum 架构介绍 GreenPlum 架构介绍
1. OLTP 与 OLAP1.1 OLTP OLTP(on-line transaction processing)联机事务处理 OLTP 是传统的关系型数据库的主要应用,一般都是高可用的在线系统,以小的事务以及小的查询为主,评估其系统的
2020-05-04
GreenPlum 6.7 集群部署 GreenPlum 6.7 集群部署
1. 环境说明 节点 系统版本 安装服务 GreenPlum 版本 node1 CentOS 7.7 Master 6.7.1 node2 CentOS 7.7 Segment 6.7.1 node3 CentOS 7.7
2020-05-01
8 / 24