大数据任务调度工具azkaban安装的相关文档

区配置:

1.查看时区

2 .修改时区

3 安装mysql

下载MySQL数据脚本(如下有安装MySQL服务可以忽略)

下载然后解压;tar -zxvf azkaban-sql-script-2.5.0.tar.gz

创建用户、分配权限并执行脚本

mysql –u root –pxxxx

创建数据库: CREATE DATABASE azkaban;
创建好数据库然后退出。
然后将sql-script文件中的create-all-sql-2.5.0.sql中的数据表创建在刚创建好的azkaban 数据库当中。
使用命令:mysql –u root –pxxxx -Dazkaban < /绝对路径/create-all-sql-2.5.0.sql
登录mysql数据库。mysql –u root –pxxx  查看存在的表。

注意:这里我们使用的root用户创建的数据库。在生产上我们是单独的创建一个用户,方便管理使用;
还需注意,在azkaban2.5以后不需要自己在引入mysql的驱动包。在lib目录下面存在驱动包。
创建用户名:CREATE USER ‘azkaban‘@‘%‘ IDENTIFIED BY ‘azkaban‘
分配权限:GRANT SELECT,INSERT,UPDATE,DELETE,CREATE,INDEX ON `azkaban`.* TO ‘azkaban‘@‘%‘ WITH GRANT OPTION;
flush privileges;
quit;
通过azkaban账号登录mysql:mysql –uazkaban –pazkaban
Use azkaban;
source ~/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql

4 Azkaban Web Server 安装

1 下载安装azkaban-web-server-2.5.0.tar.gz

解压tar包。目录如下

2 生成SSL 证书

因为azkaban是加密传输,因此要配置ssl 服务。方便网路传输。

关于怎么使用 Java keytool 生成 keystore 文件 在这里可以只简单的生成 keystore 文件,并将生成的 keystore 文件拷贝至 ~/azkaban-web-2.5.0/web
文件下。

keytool -keystore keystore -alias jetty -genkey -keyalg RSA

3 修改 ./conf/azkaban.properties

3 修改 ./conf/azkaban.properties

修改首页样式及时区信息
azkaban.name=Job Tasks     
azkaban.label=mysteel workflow
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai

修改mysql连接,可自行修改
database.type=mysql
mysql.port=3306
mysql.host=192.168.200.184
mysql.database=azkaban
mysql.user=azkaban     
mysql.password=azkaban
mysql.numconnections=100

修改 Jetty 服务器属性,包括 keystore 的相关配置
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=keystore   最好设置为绝对路劲,防止加载不到
jetty.password=mysteel
jetty.keypassword= mysteel
jetty.truststore=keystore   最好设置为绝对路劲,防止加载不到
jetty.trustpassword= mysteel

修改邮件设置(可选)
[email protected]
               mail.host=smtp.126.com
               mail.user= [email protected]
mail.password=xxx (注:发送邮箱的密码)

  5.用户及权限配置
进入 azkaban web 服务器 conf 目录,修改 azkaban-users.xml ,增加管理员用户:
< azkaban-users>
   < user username="azkaban" password="azkaban" roles="admin"  groups="azkaban" />
   < user username="metrics" password="metrics" roles="metrics"/>
   < user username="admin" password="admin" roles="admin,metrics" />
   < role name="admin" permissions="ADMIN" />
   < role name="metrics" permissions="METRICS"/>< /azkaban-users>

Azkaban Executor Server安装
1.下载安装包
azkaban-executor-server-2.5.0.tar.gz
解压到相对应的文件目录下面。
tar –zxvf  azkaban-executor-server-2.5.0.tar.gz  –C  ~/azkaban/
2.修改配置文件 (conf/azkaban.propreties)
修改时区信息
default.timezone.id=Asia/Shanghai
修改mysql连接,可自行修改
database.type=mysql
mysql.port=3306
mysql.host=192.168.200.184
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

配置端口,默认就好
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30

在web server 的azkaban.properties配置executor的连接,特别注意,如果两个server不是在一台主机上,web server 需要配置executor.host
# Azkaban Executor settings
executor.port=12321
executor.host=ip/hostname

启动验证
启动web server
~/azkaban/azkaban-web-2.5.0/bin/azkaban-web-start.sh(azkaban-web-shutdown.sh停止)
 访问 https://ip:8443   
登录用户名称和密码是上面xml 文件中的用户名称和密码,也可自行配置。

出现界面安装成功
启动 executor server
~/azkaban/azkaban-executor-2.5.0/bin/azkaban-exec-start.sh(azkaban-executor-shutdown.sh 停止

至此azkaban安装完成。









原文地址:https://www.cnblogs.com/gxgd/p/8717406.html

时间: 2024-08-11 16:09:43

大数据任务调度工具azkaban安装的相关文档的相关文章

UML创建工具starUML开发等相关文档

官方API网址: StarUML 5.0 Developer Guide:http://staruml.sourceforge.net/docs/developer-guide(en)/toc.html StarUML 5.0 User Guide:http://staruml.sourceforge.net/docs/user-guide(en)/toc.html Overview (StarUML 5.0 API Documentation):http://staruml.sourcefor

大数据应用工具有哪些

互联网的迅速发展推动信息社会进入到大数据时代,大数据催生了人工智能,也加速推动了互联网的演进.再对大数据的应用中,有很多工具大大提高了工作效率,本篇文章将从大数据可视化工具和大数据分析工具分别阐述. ? 大数据分析工具: RapidMiner 在世界范围内,RapidMiner是比较领先的一个数据挖掘的解决方案.很大程度上,RapidMiner有比较先进的技术.RapidMiner数据挖掘的任务涉及了很多的范围,主要包括可以简化数据挖掘的过程中一些设计以及评价,还有各类数据艺术. HPCC 某个

大数据调度平台 azkaban windows IDEA/eclipse debug 环境搭建

近些日子需要研究大数据调度平台azkaban源码, 发现只有 linux运行的脚本,也没有windows下面的脚本,下面是怎么搭建IEDA /eclipse debug运行环境步骤.其实也挺简单的,我整理了下,方便初学者快速上手调试 ,希望可以帮助到大家. 1. 下载azkaban 源码 ,并按文档说明 ./gradlew build 2.怎么debug azkaban-exec-server 在IDEA或eclipse 右键 azkaban.execapp.AzkabanExecutorSer

定向数据爬虫和搜索引擎(Directional Spider)设计文档

  定向数据网络爬虫和搜索引擎项目设计 (新闻数据抓取.分析.加工.检索) 版本号:            v 1.0.0 编写人:          张  文  豪 日  期:       2014年6月10日 文档说明:这个文档还在编写之中,文章中很多写在“保留”二字的不是每月东西,而是没有写.虽然没有具体实现,但是我觉得我把我的经验和思考都写进去了.虽然对于读者来说这个文档相当粗糙,但是是我一个很看重的东西.如果真的有人愿意认真阅读这篇文章,我会很开心和大家交流探讨,欢迎留言和联系我. [

Mongo-Connector 安装及使用文档

# Mongo-Connector 安装及使用文档 ------ > * 工具介绍> * 安装前准备> * 安装步骤> * 命令详解> * 有可能的坑> * 其他文档 ------ ###工具介绍mongo-connector工具创建一个从MongoDB簇到一个或多个目标系统的管道,目标系统包括:Solr,Elasticsearch,或MongoDB簇. 该工具在MongoDB与目标系统间同步数据,并跟踪MongoDB的oplog,保持操作与MongoDB的实时同步.

dotNET跨平台相关文档

dotNET跨平台相关文档整理 一直在从事C#开发的相关技术工作,从C# 1.0一路用到现在的C# 6.0, 通常情况下被局限于Windows平台,Mono项目把我们C#程序带到了Windows之外的平台,在工作之余花了很多时间在Mono的学习研究和推广,从<国内 Mono 相关文章汇总>你可以看到博客园有很多的同仁在探索学习,逐步形成了一个小圈子,这个圈子里的很多都是非Windows平台上运行C#程序,特别是MVP 刘冰的Web服务器Jexus 为我们dotNET跨平台提供了一个工业级的应用

dotNET跨平台相关文档整理

一直在从事C#开发的相关技术工作,从C# 1.0一路用到现在的C# 6.0, 通常情况下被局限于Windows平台,Mono项目把我们C#程序带到了Windows之外的平台,在工作之余花了很多时间在Mono的学习研究和推广,从<国内 Mono 相关文章汇总>你可以看到博客园有很多的同仁在探索学习,逐步形成了一个小圈子,这个圈子里的很多都是非Windows平台上运行C#程序,特别是MVP 刘冰的Web服务器Jexus 为我们dotNET跨平台提供了一个工业级的应用服务器,这个圈子里的同仁对于Mo

AHK的正则表达式相关文档(二)

RegExMatch() 函数功能:判断字符串是否包含某个匹配模式(正则表达式). FoundPos := RegExMatch(Haystack, NeedleRegEx [, UnquotedOutputVar = "", StartingPosition = 1]) 参数 FoundPosRegExMatch() 返回 NeedleRegEx 在字符串 Haystack 中最左边的出现位置. 首个字符位置为 1. 如果没有找到匹配模式则返回零. 如果遇到错误 (例如 Needle

AHK的正则表达式相关文档(三)

RegExReplace() 函数功能:替换字符串中匹配模式(正则表达式)出现的地方. NewStr := RegExReplace(Haystack, NeedleRegEx [, Replacement = "", OutputVarCount = "", Limit = -1, StartingPosition = 1]) 参数 NewStrRegExReplace() 返回内容被替换过的 Haystack 版本. 如果没有发生替换操作, 则返回的 Hayst