DolphinScheduler工作流调度引擎 致力于解决数据处理流程中错综复杂的依赖关系

DS是什么

Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
DolphinScheduler曾用名为“EasyScheduler”，由易观开发，美国时间2019年8月29日，正式通过顶级开源组织Apache基金会的投票决议，以全票通过的优秀表现正式成为Apache孵化器项目。由于名称已在国外某App使用，经社区讨论与投票后改名为DolphinScheduler，简称”DS”, 中文名 “小海豚调度”（海豚聪明、人性化，有左右脑可互相换班，终生不用睡觉）。起这个名字就是希望DolphinScheduler像它的名字一样，成为一个“开箱即用”的灵活易用的调度系统。

DS官网

https://dolphinscheduler.apache.org/en-us/index.html

跟Azkaban等流行的工作流调度引擎比较

谁在使用DS

截图欣赏

原文地址：https://blog.51cto.com/13735753/2475825

时间： 2024-10-29 07:36:15

DolphinScheduler工作流调度引擎 致力于解决数据处理流程中错综复杂的依赖关系的相关文章

工作流调度引擎---Oozie

Oozie使用教程 一．   Oozie简介 Apache Oozie是用于Hadoop平台的一种工作流调度引擎. 作用 - 统一调度hadoop系统中常见的mr任务启动hdfs操作.shell调度.hive操作等. - 使得复杂的依赖关系时间触发事件触发使用xml语言进行表达开发效率提高. - 一组任务使用一个DAG来表示,使用图形表达流程逻辑更加清晰. - 支持很多种任务调度,能完成大部分hadoop任务处理. - 程序定义支持EL常量和函数,表达更加丰富. 架构 访问 - 通过浏览器访问

解决vs code中golang插件依赖安装失败问题

解决vs code中golang插件依赖安装失败问题 Installing github.com/nsf/gocode SUCCEEDED Installing github.com/uudashr/gopkgs/cmd/gopkgs SUCCEEDED Installing github.com/ramya-rao-a/go-outline FAILED Installing github.com/acroca/go-symbols FAILED Installing golang.org/x

工作流调度器Azkaban学习

1.Azkaban是什么 我们在工作中应该都遇到过这样的场景:有一个任务,这个任务可以划分成多个较小的任务完成,之所以进行划分是因为小任务之间可以并发的进行,例如是一个shell脚本执行的命令吧,大任务A可以划分成B.C.D.E四个子任务(脚本)完成,而B和C是可以同时进行的,D依赖B和C的输出,E又依赖D的输出,于是我们一般的做法可能就是开两个终端同时执行B和C,等两个都执行完成之后再执行D,接着在执行E.整个执行的过程都需要我们参与,但是整个的执行过程类似一个有向无环图,每一个子任务的执行可

工作流调度系统Azkaban的简介和使用

1 概述 1.1 为什么需要工作流调度系统 l 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序.hive脚本等 l 各任务单元之间存在时间先后及前后依赖关系 l 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行: 例如,我们可能有这样一个需求,某个业务系统每天产生20G原始数据,我们每天都要对其进行处理,处理步骤如下所示: 1.  通过Hadoop先将原始数据同步到HDFS上: 2.  借助MapReduce计算框

工作流调度器azkaban概述

一.概述 1. 为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序.hive脚本等; 各任务单元之间存在时间先后及前后依赖关系; 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行: 例如: 我们可能有这样一个需求,某个业务系统每天产生20G原始数据,我们每天都要对其进行处理,处理步骤如下所示: 1.通过Hadoop先将原始数据同步到HDFS上: 2.借助MapReduce计算框架对原始数据进行

ccbpm工作流引擎是怎样支持多种流程模式的

前言: 在BPM领域支持流程运转的理论模型有多种.有的21种.28种.32种. 每种模式都代表了这样的模式的理论设计者研究者的人员主张.思想.这些模式尽可能的,全然去覆盖到现实生产.工作.应用上的流程流转规则. 可是不论什么领域都有自己未探索到的流程运转可能,假设说自己的理论可以涵盖全部的应用需求,那就说的有点太早. 就类似于世界上的教派或者哲学家一样.不同的教主与哲学家有不同的世界观.不同的世界认识,都对自己的"追随者"来宣扬自己的主张.观点,可是他们也能"和谐"

自研容器调度引擎Newben会成为“中国的K8s”？

作者:精灵云 前言: 一个月以前,我们对外详细介绍了内置在精灵云EcOS(Enterprise Container Operation System,企业级容器云平台)中的全自研容器调度框架Newben ,文章刚发出,就有很多人向小GO询问Newben是否会开源的问题.在此,小GO引用精灵云创始人晏东对CSDN的专访回答作为给大家的统一答复:"Newben适用于所有以Docker作为虚拟化引擎的场景,目前主要面向中大型企业,不对外开放代码."也就是说,Newben目前暂不开源,而是内置

hadoop工作流调度系统

常见工作流调度系统 Oozie, Azkaban, Cascading, Hamake 各种调度工具特性对比 特性 Hamake Oozie Azkaban Cascading 工作流描述语言 XML XML (xPDL based) text file with key/value pairs Java API 依赖机制 data-driven explicit explicit explicit 是否要web容器 No Yes Yes No 进度跟踪 console/log messages

工作流调度器azkaban的安装和使用

为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序.hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行: 作流调度实现方式 简单的任务调度:直接使用linux的crontab来定义: 复杂的任务调度:开发调度平台 或使用现成的开源调度系统,比如ooize.azkaban等 常见工作流调度系统 市面上目前有许多工作流调度器 在hadoop领