Flink中逻辑计划和物理计划的概念划分和对应关系

逻辑计划

  1. logicGraph或者jobGraph,其端点为operator,edge为数据流向。
  2. operator往往代表一个函数。
  3. 同一个分区内的具有连续上下游关系的函数组成operator-chain,一个operator-chain内的数据来流动过程中不会出现序列化和分区间的网络通信。

    物理计划

  4. physicalGraph是逻辑执行计划为并行执行而翻译的结果,其端点为task,edge为数据流向及数据分区。
  5. 一个task描述了一个operator或者operator-chain在分布式环境下对应的执行实例,是最小的调度单元。
  6. 一个sub-task是处理分区数据的task在分布式环境下的一个分身。
  7. 一个slot一时间只能执行一个sub-task(业务上一个slot一时间只能处理一条消息)。

原文地址:https://www.cnblogs.com/JaxYoun/p/12336990.html

时间: 2024-10-05 04:43:13

Flink中逻辑计划和物理计划的概念划分和对应关系的相关文章

SQL Server 中的逻辑读与物理读

首先要理解逻辑读和物理读: 预读:用估计信息,去硬盘读取数据到缓存.预读100次,也就是估计将要从硬盘中读取了100页数据到缓存. 物理读:查询计划生成好以后,如果缓存缺少所需要的数据,让缓存再次去读硬盘.物理读10页,从硬盘中读取10页数据到缓存. 逻辑读:从缓存中取出所有数据.逻辑读100次,也就是从缓存里取到100页数据. SQL Server存储的最小单位是页,每一页大小为8K,SQL Server对于页的读取是原子性的,要么读完一页,要么完全不读.即使是仅仅要获得一条数据,也要读完一页

Spark入门实战系列--6.SparkSQL(中)--深入了解运行计划及调优

[注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 1.1  运行环境说明 1.1.1 硬软件环境 l  主机操作系统:Windows 64位,双核4线程,主频2.2G,10G内存 l  虚拟软件:VMware® Workstation 9.0.0 build-812388 l  虚拟机操作系统:CentOS6.5 64位,单核 l  虚拟机运行环境: Ø  JDK:1.7.0_55 64位 Ø  Hadoop:2.2.0(需要编译为64位) Ø 

unix中无法使用crontab设置执行计划

unix中无法使用crontab设置执行计划 在系统下进行crontab设置时出现如下几种现象: 解决方法: 编辑cron文件内容: #EDITOR=vi #export EDITOR         (将VI设成缺省的文件编辑器) 这样的话当你编辑任务的时候,默认的编辑器就是 vi 了(注意:如果重新登陆的话,还得重新设定,但可以将语句加入到环境变量中,这样每次启机后都可以直接使用了) #crontab –e            (编辑当前用户的cron文件) #crontab –e use

通用电气、哈电合作项目入选中美绿色合作伙伴计划

中国北京,2014年7月10日 —— 今天,在北京人民大会堂,通用电气公司(GE)与哈尔滨电气集团在2014年度“中美绿色合作伙伴计划” 签字仪式上签署“高效.灵活.低排放重型燃气轮机联合循环发电机组设计和制造示范项目”合作意向书,标志着这一项目正式入选“中美绿色合作伙伴计划”.根据项目意向书,GE将携手哈电在中国推广9HA燃机联合循环发电技术的广泛使用,助力中国提高能源的高效.清洁利用.中国国务委员杨洁篪和美国国务卿约翰•克里参加了2014年度“中美绿色合作伙伴计划” 签字仪式. 当前,中国的

CSS中的px与物理像素、逻辑像素、1px边框问题

一直不太清楚CSS中的1px与逻辑像素.物理像素是个什么关系(作为一名前端感觉很惭愧 -_-!),今天终于花时间彻底弄清楚了,其实弄清楚之后就觉得事情很简单,但也只有在弄清楚之后,才会觉得简单(语出<禅与摩托车维修艺术>,哈哈哈哈). 两种像素 物理像素:设备屏幕实际拥有的像素点.比如iPhone 6的屏幕在宽度方向有750个像素点,高度方向有1334个像素点,所以iPhone 6 总共有750*1334个物理像素. 逻辑像素:也叫"设备独立像素"(Device Indep

rhel6和7中的服务启动以及计划任务

rhel6下 服务启动命令 service servername (start/stop/restart/status) 启动服务,停止服务,重启服务,查看服务状态 /etc/init.d/servername (start/stop/restart/status)  同上 开机自启 chkconfig servername [--level x] (on/off) 将服务在x启动级中开机自启开启/关闭,若不加--level指明,则2345全都服从命令 chkconfig --list 查看所有

Flink中TaskManager端执行用户逻辑过程(源码分析)

TaskManager接收到来自JobManager的jobGraph转换得到的TDD对象,启动了任务,在StreamInputProcessor类的processInput()方法中 通过一个while(true)中不停的拉取上游的数据,然后调用streamOperator.processElement(record)调用用户实现的方法去处理数据拉取的数据 首先先来看下这个operator对象 然后看看OneInputStreamOperator类的UML 这里所有的实现类没有全部列出,只列了

初谈SQL Server逻辑读、物理读、预读

前言 本文涉及的内容均不是原创,是记录自己在学习IO.执行计划的过程中学习其他大牛的博客和心得并记录下来,之所以想写下来是为了记录自己在追溯的过程遇到的几个问题,并把这些问题弄清楚. 本章最后已贴出原文地址. 1.SQL Server的数据存储方式 要理解逻辑读.物理读.预读这三个概念,先要搞懂SQL Server的数据存储方式. SQL Server数据库包括数据文件和日志文件,一个数据库可以有一个或多少数据文件.日志文件.所有的数据存储在数据文件中,数据文件可以划分为再小的单元,我们称为“页

浅谈SQL Server逻辑读、物理读和预读

[摘要] 对SQL Server数据库进行性能优化时,有一个重要的工作是优化IO开销.通过开启Statistics IO,我们可以了解到语句执行的IO开销,包含物理读.逻辑读.预读等.而我们是否了解这三者的区别和联系呢,相信很多人都不是很理解,下面我们一起来探索这三者究竟分别代表着什么. [正文] 一  .SQLServer数据存储方式 SQL Server的数据库包括数据文件和日志文件,一个数据库可以有一个或多个数据文件或日志文件. 所有的数据都存储在数据文件中,而数据文件可以划分为再小的单元