azkaban2.5安装

安装包:

azkaban-executor-server-2.5.0.tar.gz

azkaban-web-server-2.5.0.tar.gz

azkaban-sql-script-2.5.0.tar.gz

azkaban-jobtype-2.5.0.tar.gz

1 配置MySql

目前 Azkaban 只支持 MySql ,故需安装 MySql 服务器,创建 azkaban 数据库,并创建 azkaban 用户,密码为 azkaban,并设置权限。

# Example database creation command, although the db name doesn‘t need to be ‘azkaban‘

mysql> CREATE DATABASE azkaban;

# Example database creation command. The user name doesn‘t need to be ‘azkaban‘

mysql> CREATE USER ‘azkaban‘@‘%‘ IDENTIFIED BY ‘azkaban‘;

# Replace db, username with the ones created by the previous steps.

mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to ‘azkaban‘@‘%‘ WITH GRANT OPTION;

解压缩 azkaban-sql-2.5.0.tar.gz文件,并进入到 azkaban-sql-script目录,然后进入 mysql 命令行模式:

$ mysql -uazkaban -pazkaban

mysql> use azkaban

mysql> source create-all-sql-2.5.0.sql

2 安装 azkaban-web-server

解压缩 azkaban-web-server-2.5.0.tar.gz,创建 SSL 配置,命令:keytool -keystore keystore -alias jetty -genkey -keyalg RSA

完成上述工作后,将在当前目录生成 keystore 证书文件,将 keystore 考贝到 azkaban web 目录中

修改 azkaban web 服务器配置,主要包括:

a. 修改时区和首页名称:

# Azkaban Personalization Settings

azkaban.name=ETL Task

azkaban.label=By BI

azkaban.color=#FF3601

azkaban.default.servlet.path=/index

web.resource.dir=web/

default.timezone.id=Asia/Shanghai

b. 修改 MySql 数据库配置

database.type=mysql

mysql.port=3306

mysql.host=localhost

mysql.database=azkaban

mysql.user=azkaban

mysql.password=azkaban

mysql.numconnections=100

c. 修改 Jetty 服务器属性,包括 keystore 的相关配置

# Azkaban Jetty server properties.

jetty.hostname=0.0.0.0

jetty.maxThreads=25

jetty.ssl.port=8443

jetty.port=8081

jetty.keystore=keystore

jetty.password=redhat

jetty.keypassword=redhat

jetty.truststore=keystore

jetty.trustpassword=redhat

d. 修改邮件设置(可选)

# mail settings

[email protected]

mail.host=javachen.com

mail.user=admin

mail.password=admin

3 安装 azkaban-executor-server

解压缩 azkaban-executor-server-2.5.0.tar.gz,然后修改配置文件,包括:

a. 修改时区为:default.timezone.id=Asia/Shanghai

b. 修改 MySql 数据库配置

database.type=mysql

mysql.port=3306

mysql.host=localhost

mysql.database=azkaban

mysql.user=azkaban

mysql.password=azkaban

mysql.numconnections=100

4 用户设置

进入 azkaban web 服务器 conf 目录,修改 azkaban-users.xml ,增加管理员用户:

<azkaban-users>

<user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />

<user username="metrics" password="metrics" roles="metrics"/>

<user username="admin" password="admin" roles="admin,metrics" />

<role name="admin" permissions="ADMIN" />

<role name="metrics" permissions="METRICS"/>

</azkaban-users>

5 启动服务

azkaban-web-server,需要在 azkaban-web-server 目录下执行下面命令:

sh bin/azkaban-web-start.sh

azkaban-executor-server,需要在 azkaban-executor-server 目录下执行下面命令:

sh bin/azkaban-executor-start.sh

6 调试sqoop调度任务

创建两个文件:sqoop.job和sqoop.sh

sqoop.job文件内容如下:

# sqoop.job

type=command

command=sh sqoop.sh

sqoop.sh文件内容如下:

#!/bin/bash

hdfs dfs -rm -r /user/cloud/WF_JOBS

sqoop-import --connect jdbc:mysql://120.132.117.159:33306/oozie --username inputuser --password inputpass --table WF_JOBS

之后许将这两个文件打包成sqoop.zip(azkaban所需的文件格式),在页面中完成调度,地址为:https://hostname:8443

注意,如果有多个job存在依赖,则需要将多个job打进一个zip压缩包中。

时间: 2024-08-06 03:44:42

azkaban2.5安装的相关文章

Azkaban安装

1.Azkaban安装部署 azkaban-web-server-2.5.0.tar.gz azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz 2.安装 将安装文件上传到集群,最好上传到安装 spark,hive.sqoop的机器上,方便命令的执行 mkdir azkaban azkaban web服务器安装 解压azkaban-web-server-2.5.0.tar.gz tar –zxvf azkaban

azkaban2.5 具体配置以及使用方式

azkaban支持shell.java.mapreduce以及hive的工作流调度,在对这些不同类型任务调度之前须要配置所相应的插件:azkaban总体分为两部分azkaban executor server(负责任务调度的处理).azkaban web server(提供web ui可视化操作): 眼下採用的版本号插件均为2.5.0 完整包下载 1.编译 azkaban源代码地址:https://github.com/azkaban/azkaban/tree/release-2.5/src a

工作流调度器azkaban的安装和使用

为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序.hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行: 作流调度实现方式 简单的任务调度:直接使用linux的crontab来定义: 复杂的任务调度:开发调度平台 或使用现成的开源调度系统,比如ooize.azkaban等 常见工作流调度系统 市面上目前有许多工作流调度器 在hadoop领

工作流调度器Azkaban的安装配置

Azkaban安装部署 准备工作 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务器 azkaban-executor-server-2.5.0.tar.gz MySQL 目前azkaban只支持 mysql,需安装mysql服务器,本文档中默认已安装好mysql服务器,并建立了 root用户,密码root. 下载地址:http://azkaban.github.io/downloads.html 安装 将安装文件上传到集群,最

azkaban2.5 详细配置以及使用方式

azkaban支持shell.java.mapreduce以及hive的工作流调度,在对这些不同类型任务调度之前需要配置所对应的插件:azkaban整体分为两部分azkaban executor server(负责任务调度的处理).azkaban web server(提供web ui可视化操作): 目前采用的版本插件均为2.5.0 完整包下载 1.编译 azkaban源码地址:https://github.com/azkaban/azkaban/tree/release-2.5/src azk

大数据任务调度工具azkaban安装的相关文档

区配置: 1.查看时区 2 .修改时区 3 安装mysql 下载MySQL数据脚本(如下有安装MySQL服务可以忽略) 下载然后解压:tar -zxvf azkaban-sql-script-2.5.0.tar.gz 创建用户.分配权限并执行脚本 mysql –u root –pxxxx 创建数据库: CREATE DATABASE azkaban; 创建好数据库然后退出. 然后将sql-script文件中的create-all-sql-2.5.0.sql中的数据表创建在刚创建好的azkaban

Azkaban 2.5.0的详细安装过程

准备下载Azkaban2.5.0:https://azkaban.github.io/downloads.htm 准备插件: 一.MySQL安装与配置 启动数据库并查看状态:sudo service mysqld start sudo service mysqld status 登陆mysql:以root用户登陆 mysql -u root -p 1)为Azkaban单独创建一个数据库: create database azkaban 2)单独创建一个数据库用户,实际生产中最好单独创建一个用户,

安装Windows7系统时,提示:缺少所需的CD/DVD驱动器设备驱动程序

      测试机型:HP probook 430 g3       系统:Windows 7 Pro x64 现在笔记本电脑主板集成的USB口大多为3.0版本,而且一些厂商为了追求PC的轻薄,不再集成光驱,所以我们在安装系统时,一般只能通过U盘或U口外接光驱. 而当我们因为需要(安装OEM系统),在通过刻录软件(如UltraISO)将系统写入U盘或光盘的方式安装系统时,此时问题就可能悄悄出现了:因为Win7官方原版系统没有集成USB3.0驱动,所以可能的报错如下: 点击"浏览"或通过

Windows8.1-KB2999226-x64安装提示 此更新不适用你的计算机

如题 Windows8.1-KB2999226-x64.msu  双击安装 安装提示 此更新不适用你的计算机 . 解决方案: 放在D:\update\目录下 windows键+X  选择  命令提示符(管理员)  一定要是管理员 打开cmd 分别执行下面两句.红色部分就是自己的更新程序了.其他安装同理 例如Windows8.1-KB2919442-x64.msu 等 1    expand –F:* D:\update\Windows8.1-KB2999226-x64.msu D:\update