Azkaban 2.5.0的详细安装过程

准备下载Azkaban2.5.0:https://azkaban.github.io/downloads.htm

准备插件:

一、MySQL安装与配置

启动数据库并查看状态:sudo service mysqld start

sudo service mysqld status

登陆mysql:以root用户登陆

mysql -u root -p

1)为Azkaban单独创建一个数据库:

create database azkaban

2)单独创建一个数据库用户,实际生产中最好单独创建一个用户,这里我使用azkaban/***1234,并对用户授权

创建:create user ‘azkaban‘@‘主机名‘ identified by ‘azkaban‘;(用户azkaban、主机名、对数据库azkaban)

授权:grant select,insert,update,delete,create,index on `azkaban`.* to ‘azkaban‘@‘主机名‘ with grant option;

接下来通过刚创建的用户登陆mysql

报错,再执行下面的

mysql> grant all privileges on *.* to ‘azkaban‘@‘%‘ identified by ‘azkaban‘ with grant option;
     Query OK, 0 rows affected (0.00 sec)

mysql> grant all privileges on *.* to ‘azkaban‘@‘master‘ identified by ‘azkaban‘ with grant option;
     Query OK, 0 rows affected (0.00 sec)

mysql> grant all privileges on *.* to ‘azkaban‘@‘localhost‘ identified by ‘azkaban‘ with grant option;
     Query OK, 0 rows affected (0.00 sec)

select user,host,password from mysql.user;

此时就可以通过azkaban账号登陆了

3) 为azkaban建表:

下载azkaban-sql-script-2.5.0.tar.gz 解压缩

执行create-all-sql-2.5.0.sql

mysql -u azkaban -pazkaban -Dazkaban<create-all-sql-2.5.0.sql(create-all-sql-2.5.0.sql重定向到创建的数据库)

上传解压

退出,做重定向

mysql -uazkaban -pazkaban -Dazkaban</home/hadoop/app/azkaban-2.5.0/create-all-sql-2.5.0.sql(全路径)

再次登录

完成

4)准备jdbc驱动

下载jdbc驱动包,webserver和executor-server都需要它,将其放入到webserver和executor-server的extlib目录下(2.5版本是自带的不需要配置)

二、配置Azkaban Web Server

1)安装web server

下载  解压缩

上传依赖包

把mysql驱动上传至/home/hadoop/app/azkaban-web-2.5.0/extlib

2)Getting KeyStore for SSL(生成KeyStore文件)

keytool -keystore keystore -alias jetty -genkey -keyalg RSA

密码尽量一致(包括大小写)

修改配置文件:conf/azkaban.properties

修改

# Azkaban Jetty server properties.
    jetty.maxThreads=25
    jetty.ssl.port=8443
    jetty.port=8081
    jetty.keystore=/home/hadoop/app/azkaban-web-2.5.0/web/keystore
    jetty.password=******
    jetty.keypassword=******
    jetty.truststore=/home/hadoop/app/azkaban-web-2.5.0/web/keystore 
    jetty.trustpassword=******

修改

setting up to the DB

 #Loader for projects
   executor.global.properties=/home/hadoop/app/azkaban-web-2.5.0/conf/global.properties
   azkaban.project.dir=projects

database.type=mysql
   mysql.port=3306
   mysql.host=localhost
   mysql.database=azkaban
   mysql.user=azkaban
   mysql.password=azkaban
   mysql.numconnections=100

修改

#Azkaban UserManager class
   user.manager.class=azkaban.user.XmlUserManager
   user.manager.xml.file=/home/hadoop/app/azkaban-web-2.5.0/conf/azkaban-users.xml

修改

#Azkaban Personalization Settings
     azkaban.name=Test
     azkaban.label=My Local Azkaban
     azkaban.color=#FF3601
     azkaban.default.servlet.path=/index
     web.resource.dir=/home/hadoop/app/azkaban-web-2.5.0/web/
     default.timezone.id=America/Los_Angeles

启动web server

bin/azkaban-web-start.sh

bin/azkaban-web-shutdown.sh

https://192.168.80.11:8443/

回车

https://192.168.80.11:8443/   web页面展示

配置安装完成!!!!!

三、配置安装Azkaban Executor Server

1)安装Azkaban Executor Server

下载azkaban-executor-server-2.5.0.tar.gz  上传、解压缩即可。

2)配置数据库(setting up to DB)

修改cof/azkaban.properties

#Loader for projects
          executor.global.properties=conf/global.properties
          azkaban.project.dir=projects

database.type=mysql
          mysql.port=3306
          mysql.host=localhost
          mysql.database=azkaban
          mysql.user=azkaban
          mysql.password=azkaban
          mysql.numconnections=100

3)配置端口号

默认配置不动即可(webserver和executorserver都用默认不需改动,如若自己想修改则两端都要改成一致)

注意:对于两种不同的模式,配置是不一样的了:

single executor mode:executor.port=12321即可。只需要和AzkabanWebServer的azkaban.properties下的executor.port保持一致就OK了。

4)启停Executor Server

bin/azkaban-exec-start.sh

bin/azkaban-exec-shutdown.sh

报错是由于没有指定全路径,找不到文件。所以在配置时尽量使用全路径即可

jps可以发现即使报错但是还是启动起来了,这里先干掉再启动

重新启动

成功

四、多个Executor Server 模式

待续。。。。。。。

五、配置Azkaban插件

azkaban设计的思路是使非核心功能基于插件,所以核心功能非常轻便,安装升级方便,而且很容易扩展到不同的操作系统。

web server 插件:

viewer plugins

trigger plugins

user manager plugins

alerter plugins

executor server插件:

注意:注意之前的疏忽,这里调整时区

web server

executor server

调整完成 重新启动 生效

六、创建工作流

桌面创建两个后缀名为.job的文件

打包

登陆web界面:https://192.168.80.11:8443/

创建组

上传工作流

原文地址:https://www.cnblogs.com/lyywj170403/p/8893846.html

时间: 2024-10-28 19:05:38

Azkaban 2.5.0的详细安装过程的相关文章

Visual Basic 6.0(VB6.0)详细安装过程

注:大家如果没有VB6.0的安装文件,可自行百度一下下载,一般文件大小在200M左右的均为完整版的软件,可以使用. 特别提示:安装此软件的时候最好退出360杀毒软件(包括360安全卫士,电脑管家等,如果电脑上有这些软件的话),因为现如今的360杀毒软件直接会对VB6.0软件误报,这样的话就可能会在安装过程中被误报阻止而导致安装失败,或者是安装后缺乏很多必须的组件(其它的杀毒软件或安全卫士之类的没关系)! 安装过程介绍: 将下载的文件解压(电脑上需要先安装了压缩软件),然后打开解压后的文件夹,如果

ARCGIS 10.0破解版安装过程error 1606 和error 1316问题 及安装流程

来自:http://blog.csdn.net/don_lvsml/article/details/8681100 楼主今天安装ESRI.ArcGIS.10.CS时,由于第一次接触该软件,将其按照一般软件安装流程安装,结果各种报错,在网上搜索了下错误,无非就是注册表错误等问题,然后开始删除各种注册表---重启---重装,最终解决了报error 1606 和error 1316的问题!^_^| 首先贴出ESRI.ArcGIS.10.CS的正确安装流程:(网上找到的) 在win7旗舰版32位下安装E

window 2008+apache2.4.4+php5.5+mysql-5.6.12+phpmyadmin4.0.4.1安装过程(参考他人文章基础上加上自己遇到的问题)

一.window server2008的安装 1.我用U盘安装的,先用UltraISO把server2008刻录到U盘中,过程我搜了一下,帖个地址: http://wenku.baidu.com/view/663e58bcfd0a79563d1e7200.html 2.在安装的过程需要插入别一个U盘,当然你可以提前把驱动考到安装系统的这个U盘中,加载RAID5驱动,否则硬盘找不到,这也是整个安装过程的关键. 3.接下来的过程基本不用人工操作,等重启以后就进行入系统. 4.进入系统后,就要安装各种

SQL Server 2000详细安装过程及配置

说明:这篇文章是几年前我发布在网易博客当中的原创文章,但由于网易博客现在要停止运营了,所以我就把这篇文章搬了过来,虽然现如今SQL Server 2000软件早已经过时了,但仍然有一部分人在使用它,尤其是某些高校的学生在做毕业设计或者课程设计的时候可能会使用到,所以就把该软件的安装过程保留在这里吧. 另外,此SQL Server 2000软件只能在Windows XP或者更低的操作系统上正常安装和使用,在Windows 7或者更高版本的操作系统上需要经过很多复杂的设置后才能安装和使用(而且还不一

Hadoop2.3.0详细安装过程

前言:       Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上:而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序.HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据. Hadoop的框架最核心的

Centos-6.7下_Oracle 11gR2&quot;静默&quot;详细安装过程及排错

系统要求:内存:1G(官方最低要求1G)硬盘:40G(企业版安装所需4.29G和1.7G数据文件) 检查的命令内存# grep MemTotal /proc/meminfo交换空间# grep SwapTotal /proc/meminfo磁盘空间# df -ah 安装前系统准备:1.修改主机名# sed -i "s/HOSTNAME=localhost.localdomain/HOSTNAME=DB_2/g" /etc/sysconfig/network# hostname DB_2

vim插件详细安装过程

1 写在前面   Linux下编程一直被诟病的一点是: 没有一个好用的IDE, 但是听说Linux牛人, 黑客之类的也都不用IDE. 但是对我等从Windows平台转移过来的Coder来说, 一个好用的IDE是何等的重要啊, 估计很多人就是卡在这个门槛上了, "工欲善其事, 必先利其器"嘛, 我想如果有一个很好用的IDE, 那些Linux牛人也会欢迎的. 这都是劳动人民的美好愿望罢了, 我今天教大家把gvim改装成一个简易IDE, 说它"简易"是界面上看起来&quo

ORACLE 11g从 11.2.0.1升级到11.2.0.4 详细实战过程

1.准备安装 查看当前oracle版本,确定是比较旧的11.2.0.1 [[email protected]_test_121_90 ~]$ rlwrap sqlplus / as sysdba SQL*Plus: Release 11.2.0.1.0 Production on Fri Mar 17 15:20:45 2017 Copyright (c) 1982, 2009, Oracle. All rights reserved. Connected to: Oracle Database

nginx 详细安装过程.

1.创建目录,将安装包下载到指定目录中 mkdir -p /home/download/tools cd /home/download/tools 执行这条命令下载安装包: wget  http://nginx.org/download/nginx-1.10.3.tar.gz 2.解决安装包依赖问题 复制执行即可 yum install pcre-devel openssl-devel -y 3.检查依赖包是否安装完成 rpm -qa |egrep "pcre|openssl" 查看返