今天阳光很暖
Flink系列 8. 介绍Flink中的窗口类型与相关操作 Flink系列 8. 介绍Flink中的窗口类型与相关操作
1. window 的概念 一般真实的流都是无界的,怎样处理无界的数据? 可以把无界的流进行切分,得到有限的数据集进行处理,也就是得到有界流。 window 就是将无界流切割成有界流的一种方式,它会将流分发到有限大小的桶(bucket)中
2020-07-20
Flink系列 7. 介绍Flink中的时间语义与WaterMark Flink系列 7. 介绍Flink中的时间语义与WaterMark
1. 时间语义和 water mark1.1 时间语义介绍 EventTime (事件时间) : 数据产生时的时间,一般都包含在数据内,由用户指定数据中的时间戳。 Ingestion Time (摄取时间) : 数据进入 Flink 的
2020-07-11
Flink系列 6. 数据传输策略与任务链 Flink系列 6. 数据传输策略与任务链
1. 数据分发策略数据的分区策略决定了数据会分发到下游算子的那个分区,在 Flink 中有八种不同的分区策略,也称为分区器。 1.1 ChannelSelectorChannelSelector 是一个接口,它的核心功能是为输入的数据选择
2020-06-15
Flink系列 5. 介绍Flink API:Source、Channel、Sink Flink系列 5. 介绍Flink API:Source、Channel、Sink
1. 程序与数据流 所有的 Flink 程序都是由三部分组成:Source、Transformation和 Sink。 Source 负责读取数据源 Transformation 负责利用各种算子加工数据 Sink 负责将数据输出 在程
2020-06-10
Flink系列 4. 架构与组件介绍 Flink系列 4. 架构与组件介绍
1. Flink 架构图 1.1 JobManager JobManager(作业管理器)控制一个应用程序执行的主进程,也就是说,每个Flink程序都会被对应的 JobManager 控制执行。 JobManager 会先接收到要执行的应
2020-05-05
Flink系列 3. Flink On Yarn 两种部署模式与提交任务 Flink系列 3. Flink On Yarn 两种部署模式与提交任务
1. 介绍Flink 支持多种部署方式 如 Local、Standalone、Yarn、K8S 等,但是现在企业中大多数的大数据平台都以 Yarn 作为资源管理器,所以 Flink On Yarn 模式也在企业中用的非常多,下面就介绍一下F
2020-05-01
Flink系列 2. standalone 模式部署与任务提交 Flink系列 2. standalone 模式部署与任务提交
1. Flink部署下载安装文件 https://flink.apache.org/downloads.html#apache-flink-1100 这里部署standalone模式,只需要进入bin目录执行 start-cluster.s
2020-04-29
Flink系列 1. 什么是Flink ? Flink系列 1. 什么是Flink ?
1. Flink 是什么?Apache Flink 是一个分布式大数据处理引擎,可对有界数据流和无界数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速计算。 Apache Flink 功能强大,支持开发和运
2020-04-25
Flink 初探 Flink 初探
本文针对flink1.3做的记录。 1. Flink简介Flink官网:https://flink.apache.org/ Flink中文文档地址(目前翻译了大部分):http://flink-cn.shinonomelab.com/ 首先
2019-09-16
2 / 2