azkaban2.5 具体配置以及使用方式

azkaban支持shell、java、mapreduce以及hive的工作流调度,在对这些不同类型任务调度之前须要配置所相应的插件;azkaban总体分为两部分azkaban executor server(负责任务调度的处理)、azkaban web server(提供web ui可视化操作);

眼下採用的版本号插件均为2.5.0 完整包下载

1、编译

azkaban源代码地址:https://github.com/azkaban/azkaban/tree/release-2.5/src

azkaban插件源代码地址:https://github.com/azkaban/azkaban-plugins/tree/release-2.5

是用ant来进行编译、打包

2、安装和编译

  • http://azkaban.github.io/downloads.html下载例如以下安装包

    • azkaban-web-server-2.5.0.tar.gz
    • azkaban-executor-server-2.5.0.tar.gz
    • azkaban-sql-script-2.5.0.tar.gz
    • azkaban-jobtype-2.5.0.tar.gz
    • azkaban-hdfs-viewer-2.5.0.tar.gz
    • azkaban-jobsummary-2.5.0.tar.gz
    • azkaban-reportal-2.5.0.tar.gz

Azkaban Web Server的部署

1、在本地安装mysql数据库,用来存储azkaban任务id、probject等信息的元数据库

2、建表,解压azkaban-sql-script-2.5.0.tar.gz 在创建的数据库中运行create-all-sql-2.5.0.sql文件

3、解压azkaban-web-server-2.5.0.tar.gz。里面带有mysql-connector-java-5.1.28.jar,版本号不一致能够更换

4、在解压后的文件夹下中的conf文件里输入keytool -keystore keystore -alias azkaban -genkey -keyalg RSA ,

在运行该命令后会提示输入password(建议输入的password都一样,方便兴许配置),这个password是兴许配置jetty时使用的,最后将在当前文件夹生成 keystore 证书文件,将 keystore 考贝到 azkaban web 文件夹中。

5、在/conf/azkaban.properties配置:

azkaban的大部分web方面的配置均在这个文件里包含:

    • 时区的配置:default.timezone.id=Asia/Shanghai
    • web所依赖mysql的配置:

      database.type=mysql

      mysql.port=**

      mysql.host=**

      mysql.database=**

      mysql.user=**

      mysql.password=**

      mysql.numconnections=**

    • jetty的配置

      jetty.maxThreads=**

      jetty.ssl.port=**

      jetty.port=**

      jetty.keystore=keystore

      jetty.password=创建keystore的密码

      jetty.keypassword=azkaban

      jetty.truststore=创建keystore的password

      jetty.trustpassword=创建keystore的密码

    • 邮件的配置

      mail.sender=

      mail.host=

      mail.user=

      mail.password=

      job.failure.email=

      job.success.email=

    • 其它配置可默认

6、azkaban-users.xml 配置用户的权限登录账号和password

7、服务的启动和关闭均在bin文件夹下命令:

bin/azkaban-web-shutdown.sh

bin/azkaban-web-start.sh

Azkaban Executor Server的部署

     1、解压azkaban-executor-server-2.5.0.tar.gz到安装文件夹在lib中自带了mysql-connector-java-5.1.28.jar,假设版本号不一致请自行替换。

     2、改动配置文件   安装文件夹/conf/azkaban.properties

  • 设置时区

    default.timezone.id=Asia/Shanghai

  • 设置数据库,与Web Server中的数据库设置一致

3、启动/停止服务

         和 web Service类似切到bin的上一文件夹

bin/azkaban-executor-shutdown.sh 停止

bin/azkaban-executor-start.sh 启动

4、插件的安装

  • 进入 安装文件夹/plugins文件夹,在该文件夹下解压azkaban-jobtype- 2.5.0.tar.gz得到文件夹:azkaban-jobtype-2.5.0。

    这个文件夹用来存放之后安装的全部插 件,与Web Server中的viewer文件夹类似。每次插件的安装配置须要重新启动Executor Server。

  • 改动 安装文件夹/plugins/azkaban-jobtype-2.5.0/common.properties。设置hadoop.home和hive.home。与你的环境变量HADOOP_HOME和HIVE_HOME分布保持一致。

hadoop.home=/etc/hadoop

hive.home=/usr/lib/hive

executor.home=/opt/azkaban2/executor    //executor所在文件夹

hadoop.lib=/usr/lib/hadoop                       //hadoop lib

azkaban.should.proxy=false

  • 改动 同等文件夹下的commonprivate.properties:

    1、相同须要设置hadoop.home和hive.home、executor.home、 hadoop.lib。

    2、设置.classpath

    ehive.classpath.items=${hive.home}/lib/*,${hive.home}/conf/,${hive.aux.jars.path}/*,${hadoop.lib}/*,${hadoop.lib}/lib/*,${hadoop.lib}/client/*,${hadoop.home}/conf/

    hive.classpath.items=${hive.home}/lib/*,${hive.home}/conf/,${hive.aux.jars.path}/*

    3、设置权限、代理

    # proxy.keytab.location=/home/aa.keytab

    # proxy.user=media-sns/[email protected]

    azkaban.should.proxy=false//假设为true的话须要进行kerkeros,即凝视打开,打开会后报hadoop的gettoken异常

    obtain.binary.token=true

    obtain.namenode.token=true

    obtain.jobtracker.token=true

    hive的安装

    改动hive目录下的plugin.properties

    hive.aux.jars.path=${hive.home}/lib

    改动hive目录下的private.properties

    jobtype.classpath=${hive.home}/lib/*,${hive.home}/conf,${hive.aux.jars.path}

    jobtype.class=azkaban.jobtype.HadoopHiveJob

    hive.aux.jars.path=${hive.home}/aux/lib

    上面的${hive.home} 均为/common.properties 文件里设置的hive.home

  注意:使用官网的jar包会有问题,须要下载源代码更改又一次编译:

version=1&modificationDate=1436499438543&api=v2">
azkaban-hadoopsecuritymanager-2.5.0.fix.jar

/plugins/jobtype/src/azkaban/jobtype/HadoopSecureHiveWrapper.java

删除:

if (!ShimLoader.getHadoopShims().usesJobShell()) { } 又一次打包编译

  jar包清单:

1、/azkaban2/executor/lib

executor/lib.jpg

2、/azkaban2/executor/plugins/azkaban-jobtype-2.5.0/hive     hive以及java  hadoopjava等都一样

插件jar.jpg

当中的azkaban-hadoopsecuritymanager-2.5.0.fix.jar 是编译完之后的包

3、 使用

azkaban的使用方式是依照job文件描写叙述来进行使用的,使用type来运行运行任务的类型,通过dependencies能够用来连接任务。即dependencies=A,仅仅有A任务运行完了才干够运行改任务

将描写叙述文件和脚本文件打成zip包上传到azkaban所相应的probject中

      运行Shell文件:

job文件:

type=command

command=echo "mr"

command.1=sh mr.sh

文件文件夹:

   运行Java文件

type=hadoopJava

job.class=azkaban.jobtype.examples.java.WordCount

classpath=./lib/*,${hadoop.home}/lib/*

main.args=${param.inData} ${param.outData}

Method.run=test();

force.output.overwrite=true

input.path=${param.inData}

 output.path=${param.outData}

假设不指定方法名默认找run()方法去运行 假设没有会报错

假设没有输入输出參数等,能够省略

运行hive

type=hive

user.to.proxy=media-sns

azk.hive.action=execute.query

hive.script=hive.sh

在hive.sh中写hive的sql

use test;

select * from t_user limit 10;

   文件夹结构:

version=1&modificationDate=1436499284232&api=v2" >

运行mr

可通过shell运行mr任务的命令方式和shell一样

时间: 2024-10-29 19:08:51

azkaban2.5 具体配置以及使用方式的相关文章

azkaban2.5 详细配置以及使用方式

azkaban支持shell.java.mapreduce以及hive的工作流调度,在对这些不同类型任务调度之前需要配置所对应的插件:azkaban整体分为两部分azkaban executor server(负责任务调度的处理).azkaban web server(提供web ui可视化操作): 目前采用的版本插件均为2.5.0 完整包下载 1.编译 azkaban源码地址:https://github.com/azkaban/azkaban/tree/release-2.5/src azk

Sharepoint 2010配置form认证方式(SQL账号)

Sharepoint 2010配置form认证方式(SQL账号) 一.准备工作: 1.首先我们创建我们form认证中所需要的数据库. 找到aspnet_regsql.exe,一般在C:\Windows\Microsoft.NET下,根据操作系统进行选择.因为本人是win2008 R2x64,所以打开目录为C:\Windows\Microsoft.NET\Framework64\v2.0.50727 2.双击运行后,点击下一步,然后选择为应用程序配置sql server,如图: 3.填写,服务器名

Centos 配置IP的方式

上一节我们安装Centos 7的操作系统,但是要是想真正使用系统的话,还需要手动配置IP地址,以便于可以数据通信和远程管理: 配置IP地址有两种方法: 1.DHCP获取的方式:即指通过远端DHCP服务器的分配来获取IP地址:地址的租约有期限: 2.静态获取IP地址:通过手动修改配置文件的方式来获取IP地址,使用较方便: 即都需要通过修改配置文件里的BOOTPROTO参数:BOOTPROTO=dhcp|static|none共有三种: dhcp:   通过dhcp的方式获取IP地址: staitc

阿里云应用配置管理ACM发布,重新定义云上配置的存放方式

摘要: 9月26日,阿里云宣布应用配置管理ACM产品正式商用,将重新定义云上配置的存放方式. 据了解,该产品具备亿级应用配置处理能力,将分布式架构下的应用配置管理智能化,极大的降低了在微服务.Devops.大数据等场景下配置管理的工作量,并保证云上配置的安全合规,让运维人员和开发者无需担心实时配置过程中产生的人为误操作给用户带去的干扰. 9月26日,阿里云宣布应用配置管理ACM产品正式商用,将重新定义云上配置的存放方式. 据了解,该产品具备亿级应用配置处理能力,将分布式架构下的应用配置管理智能化

nexus配置https(在nexus上配置jks证书方式)

nexus配置https(在nexus上配置jks证书方式): cd /usr/local/nexus3/etc/ssl/ 将已有的.crt和.key证书文件转为p12格式: openssl pkcs12 -export -out keystore.pkcs12 -inkey ming.key -in ming.crt 设置密码 再将p12格式文件转为.jks格式: keytool -v -importkeystore -srckeystore keystore.pkcs12 -srcstore

SpringBoot读取配置值的方式

SpringBoot读取配置值的方式 方法一: @Value注解的方式取值 设定appliction.properties的配置信息 xiaoming.sex=boy xiaoming.age=18 xiaoming.score=98 使用@Value取值 @RestController public class PersonController { @Value("${xiaoming.sex}") private String sex; @Value("${xiaomin

Django 缓存配置的多种方式

django 的缓存配置有多种方式,主要包含以下几种: 1.开发调试模式 2.内存模式 3.使用文件 4.直接使用数据库 5.使用redis或者memcache 这里主要是记录一下那些不常用,但是在微型项目或者测试阶段可以使用的配置方式(主要是记录一下 BACKEND, 引擎) 内存模式 CACHES = { 'default': { 'BACKEND': 'django.core.cache.backends.locmem.LocMemCache', 'LOCATION': 'lowmanis

配置采用手工方式建立IPSec隧道

微信公众号:网络民工组网需求 如图1所示,RouterA为企业分支网关,RouterB为企业总部网关,分支与总部通过公网建立通信.分支子网为10.1.1.0/24,总部子网为10.1.2.0/24. 企业希望对分支子网与总部子网之间相互访问的流量进行安全保护.分支与总部通过公网建立通信,可以在分支网关与总部网关之间建立一个IPSec隧道来实施安全保护.由于维护网关较少,可以考虑采用手工方式建立IPSec隧道. 图1 配置采用手工方式建立IPSec隧道组网图 操作步骤 RouterA的配置 # s

配置resin web方式部署项目

写在前面,推荐下载resin4.0.47版本.其它版本没有测试 最近打算做一个小项目,然后容器选用了resin.想通过web提交war文件的方式 进行部署,更新代码也方便. 试了resin最新的版本(目前最新版本为4.0.53),提交war文件到webapps下面都是.tmp文件.百度google一通还是没找到解决办法. 看了下公司用的resin版本,选择4.0.47.下载后发现没最新版本的上传问题. 通过web提交war文件方式步骤如下: 步骤一:修改resin.properties.推荐配置