Flink原理(二)——资源

前言

  本文主要是想简要说明Flink在集群部署、任务提交、任务运行过程中资源情况,若表述有误欢迎大伙留言分享,非常感谢!



一、集群部署阶段

  集群部署这里指的是Flink standalone模式,因为在Yarn模式(包括session、single job模式)是可以仅通过Flink client提交任务到Yarn上,所以是否手动部署Flink集群对任务的执行是没有影响的。下图[1]是简单的Flink的集群构成情况,包括一个master(JobManager)、两个worker(TaskManager)。至于Flink standalone模式的HA(一般有两个JobManager加上若干个TaskManager组成)是通过zookeeper实现的,其主要思想是通过zookeeper选举出JobManager的active节点,该结点负责资源分配等,另一个节点为standby。Flink的Yarn模式的高可用的通过在container中对JobManager的重启实现的,其具体过程在此不详细说明。

  部署阶段主要有以下两个参数:

1 #每个TaskManager中slot的个数,默认为1
2 taskmanager.numberOfTaskSlots
3 #任务的并行度,默认为1
4 parallelism.default

  1)taskmanager.numberOfTaskSlots:每个TaskManager中slot的数量,官方文档推荐:和每个TaskManager中物理CPU的个数成比例,比如:等于CPU的个数,或者是CPU个数的一半;

  2)parallelism.default:任务的并行度,默认值为1,该值可以通过在程序中设定setParallesim()改变,并行度与slot的关系见下详解;

二、任务提交阶段

  Flink集群资源的使用情况除了和已分配的资源有关外,还与并行度有关,已分配的资源表示Flink可以利用这么多资源,而实际能利用多少资源还和并行度有关。任务并行度的最大值由TaskManager集群的Slot总数决定,如:slot总数为10,则任务最大的并行度为10.

  在standalone模式中,Flink任务能利用的总资源已在启动集群时确定,其并行通过在执行./flink run 时,通过可选参数[-p]确定(不指定则为默认值1)。

  在Yarn模式中,均是先Yarn集群中分配资源给新建的Flink集群,如下图,其详细过程见文档[2]。

  Flink的Yarn模式session、single job模式在实现方法上还是存在一定的区别:

  1)session模式是先利用yarn-session.sh在yarn新建一个Flink集群,然后利用./flink run flinkExample.jar提交任务,其资源分配的方式和standalone模式一致;

./yarn-session.sh -n 4 -s 8 -jm 3072 -tm 32768 

  -n:在yarn上分配了4个container,即分配了4个TaskManager;

  -s:每个TaskManager有8个slot;

  -jm:每个JobManager中的内存数;

  -tm:每个TaskManager中的内存数;

  2)single job模式在命令中在申请资源的同时,提交任务,常用命令如下:

./flink run -m yarn-cluster -yn 7 -ys 8 example.jar

  -yn:yarn上分配的container个数,即TaskManager的个数;

  -ys:每个TaskManager中slot的个数

  其他参数的具体使用方法可以在控制台中执行./flink、./yarn-session.sh得到说明。

说明:session模式和single job的区别:

  1)session模式:Flink任务运行结束后,从yarn上申请到的资源是不被释放的,等待下一个Flink的提交,类似一个常住在yarn上永远不会结束的yarn任务。因为,yarn的资源分配模式中比如fair策略还是存在资源的竞争的,session模式资源的不释放性,这样可以在Yarn提供资源分配上的基础上进行实现资源隔离,也实现了对集群物理环境的屏蔽,但在一定的程度上造成了资源的浪费;

  2)single job模式和一般的yarn任务一样,任务结束后就会释放申请到的资源,使资源得到重复利用。

  所以session、single job模式的实际应用应根据需求使用。

三、任务运行阶段

  假定一个3个TaskManager的集群,每个TaskManager有3个slot,集群一个9个slot,从下图中可以得到[3]:任务的并行度为1时,只会用一个slot,并行度为2会用2个slot,依次类推,当并行度为9时,9个slot都会被利用,当然从example4中可知,可以针对不同的算子(operator)定义并行度。

Ref:

[1]https://ci.apache.org/projects/flink/flink-docs-release-1.6/ops/deployment/cluster_setup.html

[2] https://ci.apache.org/projects/flink/flink-docs-release-1.6/ops/deployment/yarn_setup.html

[3]https://ci.apache.org/projects/flink/flink-docs-release-1.6/ops/config.html

原文地址:https://www.cnblogs.com/love-yh/p/11261222.html

时间: 2024-10-30 01:42:06

Flink原理(二)——资源的相关文章

【原】Android热更新开源项目Tinker源码解析系列之二:资源文件热更新

上一篇文章介绍了Dex文件的热更新流程,本文将会分析Tinker中对资源文件的热更新流程. 同Dex,资源文件的热更新同样包括三个部分:资源补丁生成,资源补丁合成及资源补丁加载. 本系列将从以下三个方面对Tinker进行源码解析: Android热更新开源项目Tinker源码解析系列之一:Dex热更新 Android热更新开源项目Tinker源码解析系列之二:资源热更新 Android热更新开源项目Tinker源码解析系类之三:so热更新 转载请标明本文来源:http://www.cnblogs

一、掌握Samba服务的配置原理;二、在linux下配置samba共享服务

一.掌握Samba服务的配置原理二.在linux下配置samba共享服务(匿名共享.身份验证.账户映射.访问控制)Samba介绍:Samba是运行在Linux与Unix之上的免费共享服务的软件,是典型服务器/客户端模式,它有两个进程,一个是smbd,主要是用来管理共享文件的进程,另一个是nmbd,用来实现主机名到IP地址的转换(相当于Windows下的NetBIOS的功能),smbd运行在TCP的139.445端口,nmbd则运行在UDP的137.138端口(运行samba服务后可以用如:net

Kafka Topic Partition Replica Assignment实现原理及资源隔离方案

本文共分为三个部分: Kafka Topic创建方式 Kafka Topic Partitions Assignment实现原理 Kafka资源隔离方案 1. Kafka Topic创建方式 Kafka Topic创建方式有以下两种表现形式: (1)创建Topic时直接指定Topic Partition Replica与Kafka Broker之间的存储映射关系 /usr/lib/kafka_2.10-0.8.2.1/bin/kafka-topics.sh --zookeeper ZooKeep

并发编程 15—— 线程池 之 原理二

Java并发编程实践 目录 并发编程 01—— ConcurrentHashMap 并发编程 02—— 阻塞队列和生产者-消费者模式 并发编程 03—— 闭锁CountDownLatch 与 栅栏CyclicBarrier 并发编程 04—— Callable和Future 并发编程 05—— CompletionService : Executor 和 BlockingQueue 并发编程 06—— 任务取消 并发编程 07—— 任务取消 之 中断 并发编程 08—— 任务取消 之 停止基于线

支持向量机原理(二) 线性支持向量机的软间隔最大化模型

? ? ? ? ? ?支持向量机原理(一) 线性支持向量机 支持向量机原理(二) 线性支持向量机的软间隔最大化模型 支持向量机原理(三)线性不可分支持向量机与核函数 支持向量机原理(四)SMO算法原理 支持向量机原理(五)线性支持回归 在支持向量机原理(一) 线性支持向量机中,我们对线性可分SVM的模型和损失函数优化做了总结.最后我们提到了有时候不能线性可分的原因是线性数据集里面多了少量的异常点,由于这些异常点导致了数据集不能线性可分,本篇就对线性支持向量机如何处理这些异常点的原理方法做一个总结

Flink使用(二)——Flink集群资源规划

前言 本文主要译自Flink Forward 2017的柏林站中Robert Metzger的有关集群规划的How to size your flink cluster一文.该文中主要是考虑网络资源,博主结合自己的使用经验对文中省略的做了一定补充,同时也非常欢迎大伙留言补充. 本文非直译,原文链接如下:https://www.ververica.com/blog/how-to-size-your-apache-flink-cluster-general-guidelines 文中拿捏不准的地方,

Flink 原理(六)——异步I/O(asynchronous I/O)

1.前言 本文是基于Flink官网上Asynchronous  I/O的介绍结合自己的理解写成的,若有不正确的欢迎大伙留言交流,谢谢! 2.Asynchronous  I/O简介 将Flink用于流计算时,若涉及到和外部系统进行交互,如利用Flink从数据库中读取数据,这种需要获取I/O的场景时,我们需要考虑交互所带来的时延问题. 为分析如何减少时延,我们先来分析一下,Flink以同步的形式方法外部系统(以MapFunction中和数据库交互为例)的过程,若图1虚线左侧所示,请求a发送到data

coco2dx-动作(Action)原理二 动作分类详解

http://blog.csdn.net/zh13544539220/article/details/45223863 上篇文章是关于Action的工作流程和ActionManager的执行原理,本文说说Action的分类和具体的设计 动作类型的分类: 一.限时动作:FiniteTimeAction 包括:即时动作(CCActionInstance)和持续时间动作(CCActionInterval) 1.即时动作:即时动作有几个其实是只改变的node的position,visible等属性而已,

关于WordPress建站的原理二三事

在写关于仿站文章详情页如何制作之前,我觉得有必要就一些原理性的问题,做一些说明.文章详情页的核心模块和首页有很多相似的地方,比如调用文章的标题.文章的内容.文章分类.作者等,实现起来都差不多,因此,了解了首页制作的基本原理,文章详情页的制作就不是很困难了. 在报告(二)中,我更多的是记录制作的过程,很少有说到背后的原理,用到的WP函数都是什么意思呢?我一开始在第一次做的时候也不理解,@筑梦百科逍棽客老师给我的回答是,你先看看怎么用,在用的过程中慢慢理解了基本原理,然后再去找相关函数的字典去查查意