分布式作业

首先添加作业队列方法

function SubmitTaskList() {
    var obj = {};
    var taskList = [];
    var index = 0;
    obj.AddTask = function (task) { if (task) taskList.push(task); }
    obj.Post = function () {
        if (index < taskList.length) {
            var task = taskList[index++];
            if (!task.Check()) {
                return;
            }
            task.onSuccess = function () { obj.Post() };
            task.Post();
        }
        else
            obj.Rest();
    }
    obj.Check = function () {
        for (var i = 0; i < taskList.length; i++) {
            task = taskList[0];
            if (!task.Check()) {
                return false;
            }
        }
        return true;
    }
    obj.Rest = function () { index = 0; }
    return obj;
}

执行对象

function SubmitTask(checkFun, postFun) {
    var obj = {};
    obj.Check = checkFun;
    obj.Post = function () {
        postFun(obj.onSuccess);
    }
    return obj;
}

var taskList = SubmitTaskList(); 声明方法对象

taskList.AddTask(SubmitTask(Submit_Check, submitContactDifferInfo));添加执行队列

taskList.AddTask(SubmitTask(Submit_Check, function (onSuccess) {
                alert("保存成功");
                if (onSuccess) {
                    onSuccess();
                }
            }));

taskList.Post();

时间: 2024-10-27 13:44:54

分布式作业的相关文章

超级计算 CST DC分布式作业模型已经完成,但一直没有返回数据

问题:CST DC作业主要涉及到前端节点(登陆节点),主控制器,和求解器,也即是frontend(登陆节点)---DC maincontrol(MC节点)---DC Solver Servers(计算节点),没有数据返回,可能是计算节点和MC节点失去连接,或者MC和登陆节点失去连接,或者节点失去响应和假死状态 解决办法:看CST DC作业日志,一般都会显示是哪里失去连接,如果不能发现问题,可以登陆到登陆节点或者MC节点看节点是不是无响应或者假死,然后重启节点:

hadoop 倒排索引-分布式作业二

import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.

姚斌分布式作业一

首先打开hadoop, $ sbin/start-dfs.sh $sbin/start-yarn.sh 执行一下jps 命令看一下. ok,各任务都正常. 上次已经验证过了word count.注意每次生成都需要把上次的输出的文件夹删掉. 现在开始做hdfs的实验. http://blog.csdn.net/bigdatahappy/article/details/10068881

超算CST DC分布式作业Main Controller 主控节点程序连接不上问题

问题:CST的main controller 程序在大量程序仿真时会出现失去响应和崩溃 ssh到主控节点(比如节点名是mc06):ssh mc06 查看main controller进程状态:/etc/init.d/lsb-maincontroller2013 status 1提示Not running ,侧重新开启/etc/init.d/lsb-maincontroller2013 start 2提示is up and running ,则表示程序正在运行,但可能已无响应,这个时候手动结束ma

详解应对平台高并发的分布式调度框架TBSchedule

tbschedule是一款非常优秀的高性能分布式调度框架,非常高兴能分享给大家.这篇文章是我结合多年tbschedule使用经验和研读三遍源码的基础上完成的,期间和阿里空玄有过不少技术交流,非常感谢空玄给予的大力支持.我写这篇文章的目的一是出于对tbschedule的一种热爱,二是现在是一个资源共享.技术共享的时代,希望把它展现给大家(送人玫瑰,手留余香),能给大家的工作带来帮助. 一.tbschedule初识 时下互联网和电商领域,各个平台都存在大数据.高并发的特点,对数据处理的要求越来越高,

Elastic-Job - 分布式定时任务框架

Elastic-Job是ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架.去掉了和dd-job中的监控和ddframe接入规范部分. ddframe其他模块也有可独立开源的部分,之前当当曾开源过dd-soa的基石模块DubboX. 项目开源地址:https://github.com/dangdangdotcom/elastic-job Elastic-Job主要功能 定时任务: 基于成熟的定时任务作业框架Quartz cron表达式执行定时任务. 作业注册中心: 基于Zook

大数据【四】MapReduce(单词计数;二次排序;计数器;join;分布式缓存)

   前言: 根据前面的几篇博客学习,现在可以进行MapReduce学习了.本篇博客首先阐述了MapReduce的概念及使用原理,其次直接从五个实验中实践学习(单词计数,二次排序,计数器,join,分布式缓存). 一 概述 定义 MapReduce是一种计算模型,简单的说就是将大批量的工作(数据)分解(MAP)执行,然后再将结果合并成最终结果(REDUCE).这样做的好处是可以在任务被分解后,可以通过大量机器进行并行计算,减少整个操作的时间. 适用范围:数据量大,但是数据种类小可以放入内存. 基

新一代分布式任务调度框架:当当elastic-job开源项目的10项特性

作者简介: 张亮,当当网架构师.当当技术委员会成员.消息中间件组负责人.对架构设计.分布式.优雅代码等领域兴趣浓厚.目前主导当当应用框架ddframe研发,并负责推广及撰写技术白皮书. 一.为什么需要作业(定时任务)? 作业即定时任务.一般来说,系统可使用消息传递代替部分使用作业的场景.两者确有相似之处.可互相替换的场景,如队列表.将待处理的数据放入队列表,然后使用频率极短的定时任务拉取队列表的数据并处理.这种情况使用消息中间件的推送模式可更好的处理实时性数据.而且基于数据库的消息存储吞吐量远远

分布式大数据系统巧实现,全局数据调度管理不再难

背景 看到这个题目,我们会有很多疑问:什么是分布式大数据系统中的全局数据管理?为什么要从全局对数据进行管理?这种对数据从全局进行分布和调度的策略是在什么样的背景下产生的?如果我们不解决全局数据管理的问题,分布式大数据系统中将会面临一些什么样的风险? 总的来说:基于大数据,云计算的需求,加快了分布式系统的发展:开源分布式系统的发展,让海量数据存储和处理变的简单:产生了很多为了解决特定问题,服务特定业务的专有集群:集群之间数据无法共享,存在冗余甚至重复,迁移和复制代价高昂,同时还面临数据校验,验证和