pointer of checkpoint in FlinK

https://ci.apache.org/projects/flink/flink-docs-release-1.1/apis/streaming/savepoints.html

https://info.lightbend.com/rs/558-NCX-702/images/preview-apache-flink.pdf

https://github.com/apache/flink/blob/master/flink-runtime/src/main/java/org/apache/flink/runtime/checkpoint/Checkpoints.java

https://github.com/apache/flink/blob/master/flink-runtime/src/main/java/org/apache/flink/runtime/state/StateBackend.java

https://www.confluent.io/blog/real-time-stream-processing-the-next-step-for-apache-flink/

http://jcconf.tw/2016/assets/workshop/flink.pdf

原文地址：https://www.cnblogs.com/WCFGROUP/p/9096865.html

时间： 2024-11-26 10:04:28

pointer of checkpoint in FlinK的相关文章

Apache Flink 零基础入门（一）：基础概念解析

作者:陈守元.戴资力一.Apache Flink 的定义.架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速计算. 1. Flink Application 了解 Flink 应用开发需要先理解 Flink 的 Streams.State.Time 等基础处理语义以及 Flink 兼顾灵活性和方便性的多层次 API. Streams:流,分为有限数据流与无限数据流,unbou

Apache Flink 是什么?

架构 Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算.Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算. 接下来,我们来介绍一下 Flink 架构中的重要方面. 处理无界和有界数据任何类型的数据都可以形成一种事件流.信用卡交易.传感器测量.机器日志.网站或移动应用程序上的用户交互记录,所有这些数据都形成一种流. 数据可以被作为无界或者有界流来处理. 无界流有定义流的开始,但没有定义流的结束.它们会无休止地产生

flink任务性能优化

如何提高 Flink 任务性能一.Operator Chain 为了更高效地分布式执行,Flink 会尽可能地将 operator 的 subtask 链接(chain)在一起形成 task,每个 task 在一个线程中执行.将 operators 链接成 task 是非常有效的优化:它能减少线程之间的切换,减少消息的序列化/反序列化,减少数据在缓冲区的交换,减少了延迟的同时提高整体的吞吐量. Flink 会在生成 JobGraph 阶段,将代码中可以优化的算子优化成一个算子链(Operato

Flink 更新中

一.介绍 Flink分层组件栈 API支持对Streaming数据类应用,提供DataStream API 对批处理类应用,提供DataSet API(支持Java/Scala) Libraries支持支持机器学习(FlinkML) 支持图分析(Gelly) 支持关系数据处理(Table) 支持复杂事件处理(CEP) 整合支持支持Flink on YARN 支持HDFS 支持来自Kafka的输入数据支持Apache HBase 支持Hadoop程序支持Tachyon 支持Elastic

Flink| 容错机制

一致性检查点(checkpoint) 从检查点恢复状态 Flink检查点算法保存点(save point) 1. 一致性检查点(checkpoint) Flink--有状态的流式处理如上图sum_even (2+4),sum_odd(1 + 3 + 5),5这个数据之前的都处理完了,就出保存一个checkpoint:Source任务保存状态5,sum_event任务保存状态6,sum_odd保存状态是9:这三个保存到状态后端中就构成了CheckPoint: Flink故障恢复机制的核心,就是

Flink01

1. 什么是Flink? 1.1 4代大数据计算引擎第一代: MapReducer 批处理 Mapper, Reducer Hadoop的MapReducer将计算分为两个阶段, 分别为Map和Reducer. 对于上层应用来说, 就不得不想方设法去拆分算法, 甚至于不得不在上层应用实现多个Job的串联, 以完成一个完整的算法, 例如迭代计算. 第二代: DAG框架 (Tez) + MapReducer 批处理 1个Tez = MR (1) + MR (2) + ... + MR (n) 相比

Flink - Checkpoint

Flink在流上最大的特点,就是引入全局snapshot, CheckpointCoordinator 做snapshot的核心组件为, CheckpointCoordinator /** * The checkpoint coordinator coordinates the distributed snapshots of operators and state. * It triggers the checkpoint by sending the messages to the rele

Flink源码阅读（一）--Checkpoint触发机制

Checkpoint触发机制 Flink的checkpoint是通过定时器周期性触发的.checkpoint触发最关键的类是CheckpointCoordinator,称它为检查点协调器. org.apache.flink.runtime.checkpoint.CheckpointCoordinator CheckpointCoordinator主要作用是协调operators和state的分布式快照.它通过向相关的tasks发送触发消息和从各tasks收集确认消息(Ack)来完成checkpo

Flink CheckPoint奇技淫巧 | 原理和在生产中的应用

简介 Flink本身为了保证其高可用的特性,以及保证作用的Exactly Once的快速恢复,进而提供了一套强大的Checkpoint机制. Checkpoint机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如异常退出)出现故障时,能够将整个应用流图的状态恢复到故障之前的某一状态,保证应用流图状态的一致性.Flink的Checkpoint机制原理来自"Chandy-Lamport algorithm"算法 (分布式快照算法). Checkpoint的执行