今天阳光很暖
  文章分类
hbase 13 java 30 yarn 0 spark 50 flink 20 others 27 hive 22 clickhouse 37 ClickHouse 2 dolphinScheduler 1 ambari 9 hadoop 2 mapreduce 2 sqoop 2 flume 1 hdfs 8 greenplum 7 Java 1 kafka 10 zookeeper 2 scala 14 phoenix 11
Flink CEP 的使用场景与示例 Flink CEP 的使用场景与示例
1. 检测登录用户的 IP 变化 使用场景 在我们操作某些银行APP的时候，经常会发现，如果上一个操作与下一个操作IP变换了例如上一个操作使用的流量操作，下一个操作我连接上了wifi去操作，这时IP就会发生变化，那么APP就要求我们重新进行
2020-11-07 flink
flink
Flink系列 17. 复杂事件处理 CEP Flink系列 17. 复杂事件处理 CEP
1. CEP 是什么 CEP 是 Complex Event Processing 三个单词的缩写，表示复杂事件处理。 CEP 是 Flink 专门为我们提供的一个基于复杂事件监测处理的库。 CEP 通过一个或多个由简单事件构成的事件流
2020-10-15 flink
flink
Flink系列 16. 介绍Flink中状态一致性的保证 Flink系列 16. 介绍Flink中状态一致性的保证
1. 一致性1.1 介绍状态一致性 有状态的流处理，内部每个算子任务都可以有自己的状态 对于流处理器内部来说，所谓的状态一致性，其实就是我们所说的要保证计算结果准确，一条数据有也不丢失，也不会重复计算数据 在程序遇到故障时可以恢复任务状态，
2020-10-13 flink
flink
Flink系列 15. 介绍Flink中Checkpoint与Savepoint Flink系列 15. 介绍Flink中Checkpoint与Savepoint
1. Flink Checkpoint1.1 Checkpoint 介绍 Flink Checkpoint 是容错恢复机制的核心。这种机制保证了保证实时程序运行时的数据安全，即使突然遇到异常也能够进行自我恢复。 Flink Checkpoi
2020-10-03 flink
flink
Flink系列 14. 介绍Flink中的StateBackend Flink系列 14. 介绍Flink中的StateBackend
1. 状态后端介绍 Flink 实时计算数据场景下，有时需要启动 checkpoint 保存数据的状态，那么状态会随着 checkpoint 被持久化某个地方，以防止数据丢失，保证状态数据能够在需要恢复程序状态时保持数据的一致性。而进行 c
2020-09-12 flink
flink
Flink系列 13. 介绍Flink中的Operator State 和 Keyed State Flink系列 13. 介绍Flink中的Operator State 和 Keyed State
1. Flink State 介绍1.1 什么是 State（状态） 由一个任务维护，并且用来计算某个结果的所有数据，就属于这个任务的状态 可以认为状态就是一个本地变量，可以被任务的业务逻辑访问 当任务失败时，可以使用状态恢复数据 状态始终
2020-09-06 flink
flink
Flink系列 12. 介绍Flink中 Timer 的使用 Flink系列 12. 介绍Flink中 Timer 的使用
1. Timer 介绍 Timer（定时器）是 Flink 提供的用于 Processing Time 或 Event Time 变化的机制。 Timer 是 Flink 内部的定时器，与 key 和 timestamp 相关，相同的 k
2020-08-29 flink
flink
Flink系列 11. 介绍Flink中 ProcessFunction 的使用 Flink系列 11. 介绍Flink中 ProcessFunction 的使用
1. ProcessFunction 介绍1.1 介绍Flink一般的转换算子是无法访问事件的时间戳信息和WaterMark信息的。例如 MapFunction 这样的 map 转换算子就无法访问时间戳或者当前事件的事件时间。而这在某些应用
2020-08-25 flink
flink
java.lang.NumberFormatException Not a version 9 异常处理 java.lang.NumberFormatException Not a version 9 异常处理
1. 异常说明今天写了一段 Flink 窗口 function 的代码运行的时候抛出一个 NumberFormatException: Not a version: 9 的异常，异常信息如下： Exception in thread "m
2020-08-25 flink
exception flink
Flink系列 10. 介绍 Flink window function 的使用 Flink系列 10. 介绍 Flink window function 的使用
1. 窗口函数（window function）介绍定义完窗口分配器（WindowAssigner）之后，我们就需要指定要在每个窗口上执行的计算。这是Window Fucntion的职责，一旦系统确定窗口已准备好进行处理，就可以处理每个窗口
2020-08-05 flink
flink
Flink系列 9. 介绍 Flink 窗口触发器、移除器和延迟数据等 Flink系列 9. 介绍 Flink 窗口触发器、移除器和延迟数据等
1. 触发器1.1 触发器介绍 当数据到达某种情况，符合了某种条件去关闭窗口，这种到达条件就是触发。 设置到达某种条件并触发窗口执行就是触发器。 触发器的作用就是控制什么时候进行数据的聚合计算 flink 中的窗口计算依赖于触发器。 每种窗
2020-07-25 flink
flink
Flink系列 8. 介绍Flink中的窗口类型与相关操作 Flink系列 8. 介绍Flink中的窗口类型与相关操作
1. window 的概念 一般真实的流都是无界的，怎样处理无界的数据？ 可以把无界的流进行切分，得到有限的数据集进行处理，也就是得到有界流。 window 就是将无界流切割成有界流的一种方式，它会将流分发到有限大小的桶（bucket）中
2020-07-20 flink
flink
1 / 2