调度平台的问题

今天在迁移到新服务器时,调度平台又出现问题,首先是脚本中依赖的包没有提前问大家,所以很多任务失败了,问题归结为:

  1. 提前问清楚所有的依赖包
  2. 最大的问题是在切换用户启动之后,出现问题。

    原先使用的是hadoop用户,然后再使用root用户启动,当再次使用hadoop的时候,出现任务不向下进行,卡在一半的问题,原因是使用root启动之后,很多文件的所属权归root,那么hadoop就不再有权限进行操作了,在调度平台中,就是因为/tmp下的文件所属root。查看源码本可以解决的,但是没有那么深入,以至于问题解决了一天才找到原因,另外特别感谢梅老板的帮助和指导,让我感觉到自己linux深深的不足,也学习了梅老板遇到问题,执着到底的精神。

时间: 2024-10-16 17:56:37

调度平台的问题的相关文章

利用Jenkins自动部署工具间接构建kettle的调度平台

关于Jenkins的介绍我就不说了,自己百度,因为这个工具调用脚本只是他的功能的冰山一角,其他功能我也不能理解,因为不是那个领域.        下面我就介绍一下为什么我们需要一个调度平台,以及学习完jenkins后,能解决什么问题.然后在开始讲解安装部署,然后再讲一下怎么调用kettle作业(和处理作业依赖) 1.为什么我们需要调度平台?  2.答:可能大部分人对于kettle的调度还是停留在win的计划任务,linux的cron, 但是作业越来越多,作业之间相互依赖,(例如:A作业,b作业,

大数据调度平台 azkaban windows IDEA/eclipse debug 环境搭建

近些日子需要研究大数据调度平台azkaban源码, 发现只有 linux运行的脚本,也没有windows下面的脚本,下面是怎么搭建IEDA /eclipse debug运行环境步骤.其实也挺简单的,我整理了下,方便初学者快速上手调试 ,希望可以帮助到大家. 1. 下载azkaban 源码 ,并按文档说明 ./gradlew build 2.怎么debug azkaban-exec-server 在IDEA或eclipse 右键 azkaban.execapp.AzkabanExecutorSer

spring cloud互联网分布式微服务云平台规划分析--spring cloud定时调度平台

1.介绍 鸿鹄云架构[定时调度平台]是一个完全由Java编写的开源任务调度框架,为企业在任务调度提供了简单却强大的机制.开发人员根据业务规则,使用调度平台简单配置,就可以让任务在特定时间特定阶段进行运行.特点如下: 1.强大的调度功能,例如支持丰富多样的调度方法,可以满足各种常规及特殊需求. 2.灵活的应用方式,例如支持任务和调度的多种组合方式,支持调度数据的多种存储方式. 3.分布式和集群能力,在复杂业务调度下非常稳定. 2.平台基础功能 调度管理 调度列表.新增任务.修改任务.删除任务.暂停

分布式多计算机调度平台

方案: 1,) 目前我们的程序,单独一台计算机一天分析100G以内的xml数据,有选择的将需要的数据入库数据库(sqlserver2008 r2 64)记录近1亿左右,一台128G内存,32核的计算机勉强能完成任务: 2,) 随着市场的扩展,我们拿到的数据量一天的数据就有1T左右的xml数据,单台计算机运行已经分析完成时间成为了瓶颈,可能需要十天或者更长的时间. 解决方案: 为了能够让我们的产品能有更强的生存力,吸引到更多的用户:项目组就有了这么一个讨论: 方案1,)使用hadoop对这种大数据

XLeaning:深度学习调度平台架构设计-GIAC

文章资源链接 点击下载更多优质文档尽在[示说网] 关于消息中间件,我找了一些比较好玩的讨论主题,觉得对于深入理解一些技术问题非常有帮助: https://www.slidestalk.com/s/kafka_vs_rabbitmq_fmwmi4 (怎么比较消息中间件?应该从哪几个纬度来关注其特点,kafka和rabbitmq有比较的意义么?) https://www.slidestalk.com/s/RabbitMQ23944 (RabbitMQ的使用和介绍) https://www.slide

分布式调度平台XXL-JOB源码分析-重试机制

在我们XxlJobScheduler类中,会启动一个失败任务监控线程,本文就来分析JobFailMonitorHelper这个类 原文地址:https://www.cnblogs.com/jiangyang/p/11597800.html

SpringMVC + Mybatis + SpringSecurity(权限控制到方法按钮) + Rest(服务) + Webservice(服务) + Quartz(定时调度)+ Lucene(搜索引擎) + HTML5 bootstrap + Maven项目构建绝对开源平台

框架整合: Springmvc + Mybatis + Shiro(权限) + REST(服务) + WebService(服务) + JMS(消息) + Lucene(搜搜引擎) + Quartz(定时调度) + Bootstrap Html5(支持PC.IOS.Android) 需要源码请加Q:3121026417   此处[源码获取地址] 框架简介: 项目Maven构建,真实大型互联网架构,做到高并发,大数据处理,整个项目使用定制化服务思想,提供模块化.服务化.原子化的方案,将功能模块进行

大型互联网服务集成平台:springmvc+mybatis+restfull+JMS+webservice+bootstrap介绍

SpringMVC + Mybatis + SpringSecurity(权限控制到方法按钮) + Rest(服务) + Webservice(服务) + Quartz(定时调度)+ Lucene(搜索引擎) + HTML5 bootstrap + Maven项目构建绝对开源平台 项目Mave构建,模拟大型互联网架构,做到高并发,大数据处理,整个项目使用定制化服务思想,提供原子化.模块化的方案,将功能模块进行拆分,可以公用到所有的项目中.架构采用分布式部署架构,所有模块进行拆分,使项目做到绝对解

集群资源管理与调度概要

背景知识: 很多互联网公司会有各种类型的工作任务,比如对外提供各种服务,内部的挖掘与数据管理系统. 即使内部数据系统也可能需要多种不同类型的计算系统:适应实时计算的挖掘系统.适合交互查询的系统 或者典型的批处理任务,面对多种各具特性的计算系统与框架,比较传统的资源管理方式采用的是静态资源划分方法. 静态划分优点:简单,固定的硬件资源给固定的计算框架使用,各个框架各行其是,互补干扰. 缺点:整体资源利用率不高,经常出现集群计算系统资源不足 所以需要动态的集群资源管理与调度,这方面的研究呢处于摸索期