今天阳光很暖
  文章分类
yarn 13 airflow 7 others 26 ambari 16 dolphinScheduler 2 flink 23 ClickHouse 42 greenplum 7 hadoop 4 mapreduce 2 sqoop 2 flume 1 hbase 14 hdfs 9 hive 22 hudi 15 java 31 kafka 11 langchain 9 langgraph 16 mcp 5 zookeeper 2 python 18 phoenix 11 rag 9 redis 16 Scala 16 spark 58 prometheus 6

flink

收录 Flink 流处理、Table API、状态、检查点、运维与性能调优实践。

Flink 系列 18. Flink Table API 编程入门 Flink 系列 18. Flink Table API 编程入门
1. Table API 是什么Flink 中常见的编程方式主要有三类： 编程方式 特点 适合场景 DataStream API 最底层、最灵活，可以直接控制状态、时间、窗口、算子 复杂流处理、强定制逻辑 Table API
2024-09-05 flink
Flink
华为云 MRS Flink 连接 Kafka 异常记录 华为云 MRS Flink 连接 Kafka 异常记录
1. 背景最近在华为云 MRS 环境中提交 Flink 任务，任务中需要通过 Kafka Connector 读取 Kafka 数据。集群开启了安全认证，Kafka 侧使用 Kerberos 认证，Flink 版本与连接器依赖如下： <
2023-11-24 flink
exception Flink Kafka kerberos
Flink Log4j jar包冲突问题解决 Flink Log4j jar包冲突问题解决
flink 任务添加了 elasticsearch 之后 log4j 日志的 jar出现了冲突， 下面是一些报错日志以及解决方式： 1. 提交任务时未成功提交的日志Setting HBASE_CONF_DIR=/etc/hbase/con
2023-09-01 flink
exception Flink
Flink CEP 的使用场景与示例 Flink CEP 的使用场景与示例
1. 检测登录用户的 IP 变化 使用场景 在我们操作某些银行APP的时候，经常会发现，如果上一个操作与下一个操作IP变换了例如上一个操作使用的流量操作，下一个操作我连接上了wifi去操作，这时IP就会发生变化，那么APP就要求我们重新进行
2020-11-07 flink
Flink
Flink系列 17. 复杂事件处理 CEP Flink系列 17. 复杂事件处理 CEP
1. CEP 是什么 CEP 是 Complex Event Processing 三个单词的缩写，表示复杂事件处理。 CEP 是 Flink 专门为我们提供的一个基于复杂事件监测处理的库。 CEP 通过一个或多个由简单事件构成的事件流
2020-10-15 flink
Flink
Flink系列 16. 介绍Flink中状态一致性的保证 Flink系列 16. 介绍Flink中状态一致性的保证
1. 一致性1.1 介绍状态一致性 有状态的流处理，内部每个算子任务都可以有自己的状态 对于流处理器内部来说，所谓的状态一致性，其实就是我们所说的要保证计算结果准确，一条数据有也不丢失，也不会重复计算数据 在程序遇到故障时可以恢复任务状态，
2020-10-13 flink
Flink
Flink系列 15. 介绍Flink中Checkpoint与Savepoint Flink系列 15. 介绍Flink中Checkpoint与Savepoint
1. Flink Checkpoint1.1 Checkpoint 介绍 Flink Checkpoint 是容错恢复机制的核心。这种机制保证了保证实时程序运行时的数据安全，即使突然遇到异常也能够进行自我恢复。 Flink Checkpoi
2020-10-03 flink
Flink
Flink系列 14. 介绍Flink中的StateBackend Flink系列 14. 介绍Flink中的StateBackend
1. 状态后端介绍 Flink 实时计算数据场景下，有时需要启动 checkpoint 保存数据的状态，那么状态会随着 checkpoint 被持久化某个地方，以防止数据丢失，保证状态数据能够在需要恢复程序状态时保持数据的一致性。而进行 c
2020-09-12 flink
Flink
Flink系列 13. 介绍Flink中的Operator State 和 Keyed State Flink系列 13. 介绍Flink中的Operator State 和 Keyed State
1. Flink State 介绍1.1 什么是 State（状态） 由一个任务维护，并且用来计算某个结果的所有数据，就属于这个任务的状态 可以认为状态就是一个本地变量，可以被任务的业务逻辑访问 当任务失败时，可以使用状态恢复数据 状态始终
2020-09-06 flink
Flink
Flink系列 12. 介绍Flink中 Timer 的使用 Flink系列 12. 介绍Flink中 Timer 的使用
1. Timer 介绍 Timer（定时器）是 Flink 提供的用于 Processing Time 或 Event Time 变化的机制。 Timer 是 Flink 内部的定时器，与 key 和 timestamp 相关，相同的 k
2020-08-29 flink
Flink
Flink系列 11. 介绍Flink中 ProcessFunction 的使用 Flink系列 11. 介绍Flink中 ProcessFunction 的使用
1. ProcessFunction 介绍1.1 介绍Flink一般的转换算子是无法访问事件的时间戳信息和WaterMark信息的。例如 MapFunction 这样的 map 转换算子就无法访问时间戳或者当前事件的事件时间。而这在某些应用
2020-08-25 flink
Flink
java.lang.NumberFormatException Not a version 9 异常处理 java.lang.NumberFormatException Not a version 9 异常处理
1. 异常说明今天写了一段 Flink 窗口 function 的代码运行的时候抛出一个 NumberFormatException: Not a version: 9 的异常，异常信息如下： Exception in thread "m
2020-08-25 flink
exception Flink
1 / 2