kettle在centos7下部署分布式集群

首先安装三台centos7 ,分别配置好静态ip    ssh免密码登录     关闭防火墙

具体步骤这里不多说了

关于centos7配置静态ip大家可以参考:https://www.cnblogs.com/braveym/p/8523100.html

我这里已经安装好了,我是在虚拟机里面装了三个节点

我这里通过xshell远程工具来连接的

先把主机名和ip地址映射配置好

另外两个节点也是这样做,在这里不多赘述了。

修改一下权限

加上这么一句话

修改完之后把文件的权限恢复过来

另外两节点也一样操作。

创建目录

[[email protected] ~]$ sudo mkdir /opt/softwares
[[email protected] ~]$ sudo mkdir /opt/modules
[[email protected] ~]$ sudo mkdir /opt/tools
[[email protected] ~]$ sudo mkdir /opt/datas
[[email protected] ~]$ cd /opt/
[[email protected] opt]$ ls
datas  modules  rh  softwares  tools
[[email protected] opt]$ ll
total 0
drwxr-xr-x. 2 root root 6 Sep 29 10:55 datas
drwxr-xr-x. 2 root root 6 Sep 29 10:55 modules
drwxr-xr-x. 2 root root 6 Mar 26  2015 rh
drwxr-xr-x. 2 root root 6 Sep 29 10:55 softwares
drwxr-xr-x. 2 root root 6 Sep 29 10:55 tools
[[email protected] opt]$ sudo chown -R kettle:kettle /opt/*
[[email protected] opt]$ ll
total 0
drwxr-xr-x. 2 kettle kettle 6 Sep 29 10:55 datas
drwxr-xr-x. 2 kettle kettle 6 Sep 29 10:55 modules
drwxr-xr-x. 2 kettle kettle 6 Mar 26  2015 rh
drwxr-xr-x. 2 kettle kettle 6 Sep 29 10:55 softwares
drwxr-xr-x. 2 kettle kettle 6 Sep 29 10:55 tools
[[email protected] opt]$ 

其他两个节点也是一样的操作。

下面安装jdk

先在本地上传一个jdk的安装包

解压

[[email protected] softwares]$ pwd
/opt/softwares
[[email protected] softwares]$ tar -zxf jdk-8u60-linux-x64.tar.gz -C /opt/modules/
[[email protected] softwares]$ cd ../modules/
[[email protected] modules]$ ls
jdk1.8.0_60
[[email protected] modules]$ 

配置jdk的环境变量

#java
export JAVA_HOME=/opt/modules/jdk1.8.0_60
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

使其环境变量生效

[[email protected] modules]$ sudo source /etc/profile
sudo: source: command not found
[[email protected] modules]$ su
Password:
[[email protected] modules]# source /etc/profile
[[email protected] modules]# java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
[[email protected] modules]# 

我们把jdk分发到另外两个节点

scp -r jdk1.8.0_60/ kettleslave1:/opt/modules/

scp -r jdk1.8.0_60/ kettleslave2:/opt/modules/

分别给另外两个节点配置环境变量,具体操作跟前面的一样,这里我不多说了。

Kettle的安装

先把kettle的安装包上传上来,然后解压

[[email protected] softwares]$ ls
jdk-8u60-linux-x64.tar.gz  pdi-ce-7.1.0.0-12.zip
[[email protected] softwares]$ unzip pdi-ce-7.1.0.0-12.zip -p /opt/modules/

我们可以进来看看

我们开始配置kettle

这个地方配置你主节点的ip地址

 <slaveserver>
    <name>master1</name>
    <hostname>192.168.86.11</hostname>
    <port>8080</port>
    <master>Y</master>
  </slaveserver>

  <masters>

    <slaveserver>
      <name>master1</name>
      <hostname>192.168.86.11</hostname>
      <port>8080</port>
      <username>cluster</username>
      <password>cluster</password>
      <master>Y</master>
    </slaveserver>

  </masters>

  <report_to_masters>Y</report_to_masters>

  <slaveserver>
    <name>slave1-8081</name>
    <hostname>192.168.86.12</hostname>
    <port>8081</port>
    <username>cluster</username>
    <password>cluster</password>
    <master>N</master>
  </slaveserver>

</slave_config>

  <masters>

    <slaveserver>
      <name>master1</name>
      <hostname>192.168.86.11</hostname>
      <port>8080</port>
      <username>cluster</username>
      <password>cluster</password>
      <master>Y</master>
    </slaveserver>

  </masters>

  <report_to_masters>Y</report_to_masters>

  <slaveserver>
    <name>slave2-8082</name>
    <hostname>192.168.86.13</hostname>
    <port>8082</port>
    <username>cluster</username>
    <password>cluster</password>
    <master>N</master>
  </slaveserver>

</slave_config>

我这里是搭建的三节点集群,所以我就配置了三个,当然也可以配置5节点,4节点了。

大家可以根据自己的需要去配置。

现在把配置好的kettle分发给另外两节点

[[email protected] modules]$ scp -r data-integration/ kettleslave1:/opt/modules/
[[email protected] modules]$ scp -r data-integration/ kettleslave2:/opt/modules/

在主节点上启动一下服务

在浏览器打开http://192.168.86.11:8080/这个地址,其中账号密码都是cluster

表示master启动成功。

同样的在从节点也启动一下服务

在浏览器打开地址http://192.168.86.12:8081/,账号密码也是cluster

另一个从节点启动也是一样的

在浏览器打开地址http://192.168.86.13:8082/

原文地址:https://www.cnblogs.com/braveym/p/9721220.html

时间: 2024-11-10 08:44:12

kettle在centos7下部署分布式集群的相关文章

centos7下部署elasticSearch集群

OS:Centos7x虚拟机 1H2Gjdk:1.8elasticsearch:5.6.0 单节点配置请参考:centos7下elasticSearch安装配置 配置master节点 # 在配置文件的最后加上下面的配置 # 集群的名字 cluster.name: snsprj # 节点的名字 node.name: master # 是否是master节点 node.master: true 配置slave节点 # 新建文件夹es_slave mkdir es_slave # 解压并复制两份es_

centos7搭建伪分布式集群

centos7搭建伪分布式集群 需要 centos7虚拟机一台: jdk-linux安装包一个 hadoop-2.x安装包1个(推荐2.7.x) 一.设置虚拟机网络为静态IP(最好设成静态,为之后编程提供方便,不设置静态ip也可以) 1.进入网络配置查看ip 2.选择NAT模式链连接 3.点击NAT设置,记住网关IP,后面要用到 4.进入终端,输入命令: cd  /etc/sysconfig/network-scripts,然后 vim ./ifcfg-eth0,(有的虚拟机是文件是:ifcfg

Centos7 上部署 redis集群

一.安装前看下redis5.0版本的新特性 先看一下 Redis 5 带来的更新内容: 新的流数据类型(Stream data type) https://redis.io/topics/streams-intro2.新的 Redis 模块 API:定时器.集群和字典 API(Timers, Cluster and Dictionary APIs) RDB 现在可存储 LFU 和 LRU 信息4.redis-cli 中的集群管理器从 Ruby (redis-trib.rb) 移植到了 C 语言代

docker下部署kafka集群(多个broker+多个zookeeper)

网上关于kafka集群的搭建,基本是单个broker和单个zookeeper,测试研究的意义不大.于是折腾了下,终于把正宗的Kafka集群搭建出来了,在折腾中遇到了很多坑,后续有时间再专门整理份搭建问题分析 docker-compose.yml配置文件 version: '2' services: zoo1: image: zookeeper restart: always container_name: zoo1 ports: - "2181:2181" environment: Z

3. linux centos6.8环境下部署zookeeper集群

安装3台机器来作为zookeeper集群,3台机器的ip分别是192.168.174.7,192.168.174.8,192.168.174.9.zookeeper由java编写,所以在安装zookeeper前先安装jdk环境. 3台机器上分别创建zookeeper的安装目录 mkdir -p /usr/local/software/zookeeper 官网下载tar包,3台机器上分别分别解压 tar -xvf zookeeper-3.4.11.tar.gz -C /usr/local/soft

Elasticsearch集群 windows下部署ES集群,多台服务器

? 针对于Elasticsearch集群部署基本上就是一些配置就可以解决的,我们这块简单称为(ES). ES下载地址为:https://www.elastic.co/cn/downloads/past-releases 如果不能下载,可以转至https://download.csdn.net/download/weixin_41986096/11635439 进行下载. 下来选择盘符建立es-cluster文件夹,名称可以随意替换,我们将es复制3份,分别如下图所示(伪集群部署方式) ? 然后打

在CentOS7上部署Rabbitmq集群配置

概述 RabbitMQ是目前流行的开源消息队列系统.MQ(消息队列)是一种应用程序对应用程序的通信方法. RabbitMQ的结构图如图所示: 实现步骤 在一个集群里,有三台服务器,其中一台使用磁盘模式,另两台使用内存模式.两台内存模式的节点无疑速度更快,因此通过客户端连接访问它们.但是客户端不可能分别连接两个内存节点,肯定是通过前端反向代理去轮询分发请求如果担心前端反向代理服务器故障,可以通过Keepalived软件做一个高可用架构.而磁盘模式的节点,由于磁盘IO相对较慢,因此仅作数据备份使用.

centos7.2 部署k8s集群

四.集群安装实例: 1.基础服务:(请在所有节点执行) ? 关闭防火墙 [[email protected] ~]# systemctl stop firewalld.service [[email protected] ~]# systemctl disable firewalld.service Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.Removed symlink /etc/

centos7环境部署ES集群(3节点)

此文档针对es在centos7环境3节点部署,3节点ip分别为:172.16.10.102.172.16.10.103,172.16.10.104一.增加host每个节点下增加host配置172.16.10.102 HadoopMaster172.16.10.103 HadoopSlave1172.16.10.104 HadoopSlave2二.然后下载es安装包cd /opt wget https://artifacts.elastic.co/downloads/elasticsearch/e