【Hadoop 分布式部署 九:分布式协作框架Zookeeper架构 分布式安装部署 】

1.首先将运行在本地上的  zookeeper 给停止掉

2.到/opt/softwares 目录下  将  zookeeper解压到  /opt/app 目录下

    命令:  tar -zxvf zookeeper-3.4.5.tar.gz -C /opt/app/

3.修改配置文件

    将文件   zoo_sample.cfg   重命名为   zoo.cfg

    创建文件目录    mkdir -p data/zkData       完整的路径:/opt/app/zookeeper-3.4.5/data/zkData

    修改配置文件 中的data存放  目录

    

    

    因为配置的是分布式,所以需要配置多个主机,然后再从   zoo.cfg 中添加  下面内容

    server.1=hadoop-senior.zuoyan.com:2888:3888
    server.2=hadoop-senior02.zuoyan.com:2888:3888
    server.3=hadoop-senior03.zuoyan.com:2888:38888

    如下图

    

    配置完成 (因为每个主机需要声明自己是哪个主机)  所以 需要在zookeeper 的安装主目录中创建文件   myid(文件名称必须叫这个)   touch myid

    vim myid            在里面写入编号  1

    第二台主机里面写入  2

    第三台主机里面写入  3

    

    接下来使用scp  -r  命令来同步  zookeeper  ,命令:   scp -r zookeeper-3.4.5/ [email protected]:/opt/app/

    继续同步到hadoop-senior03.zuoyan.com  命令:scp -r zookeeper-3.4.5/ [email protected]:/opt/app/

    然后修改节点二和节点三的myid文件内容  为  2  和  3;

    截止到这步为止,zookeeper的集群已经配置完成了。

启动集群,因为没有统一启动的脚本,需要每个机器一个一个的启动节点

      使用命令:bin/zkServer.sh start

      第一个节点的启动状况:

      

          第二个节点的启动状况:

      

      第三个节点的启动状况:

      

      

如果出现这中情况,证明这个zookeeper的集群  已经安装完成!

    

原文地址:https://www.cnblogs.com/kangxinxin/p/9729136.html

时间: 2024-12-09 06:30:22

【Hadoop 分布式部署 九:分布式协作框架Zookeeper架构 分布式安装部署 】的相关文章

(转)ZooKeeper 笔记(1) 安装部署及hello world

ZooKeeper 笔记(1) 安装部署及hello world 先给一堆学习文档,方便以后查看 官网文档地址大全: OverView(概述) http://zookeeper.apache.org/doc/r3.4.6/zookeeperOver.html Getting Started(开始入门) http://zookeeper.apache.org/doc/r3.4.6/zookeeperStarted.html Tutorial(教程) http://zookeeper.apache.

Zookeeper集群安装部署

 zookeeper集群: zookeeper作为一个开源的分布式应用协调系统,已经用到了许多分布式项目中,用来状态同步服务.集群管理.分布式应用配置项的管理等工作. ZooKeeper的工作模式有三种:单机模式.集群模式.伪集群模式. 单机模式:Zookeeper只运行在一台服务器上,适合测试用: 伪集群模式:就是在一台机器上运行多个Zookeeper 实例: 集群模式:运行于一个至少有三个节点以上集群中,适合生产环境; Zookkeeper 集群中有三种角色,leader -主节点 .fol

阿里云ECS服务器部署HADOOP集群(三):ZooKeeper 完全分布式集群搭建

本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里云ECS服务器:master, slave1, slave2 操作系统:CentOS 7.3 Hadoop:hadoop-2.7.3.tar.gz Java: jdk-8u77-linux-x64.tar.gz ZooKeeper: zookeeper-3.4.14.tar.gz 1.2 各节点角色

简要分析ZooKeeper基本原理及安装部署

一.ZooKeeper 基本概念 1.ZooKeeper 是什么? Zookeeper官网地址: http://zookeeper.apache.org/ Zookeeper官网文档地址:http://zookeeper.apache.org/doc/trunk/index.html ZooKeeper 是Hadoop下的一个子项目,它是一个针对大型分布式系统的可靠协调系统:它提供的功能包括:配置维护.名字服务.分布式同步.组服务等: 它的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性

zookeeper与kafka安装部署及java环境搭建

1. ZooKeeper安装部署 本文在一台机器上模拟3个zk server的集群安装. 1.1. 创建目录.解压 cd /usr/ #创建项目目录 mkdir zookeeper cd zookeeper mkdir tmp mkdir zookeeper-1 mkdir zookeeper-2 mkdir zookeeper-3 cd tmp mkdir zk1 mkdir zk2 mkdir zk3 cd zk1 mkdir data mkdir log cd zk2 mkdir data

深入理解ZooKeeper基本原理及安装部署

1. ZooKeeper 是什么 ZooKeeper 是一个针对大型分布式系统的可靠协调系统:它提供的功能包括:配置维护.名字服务.分布式同步.组服务等: 它的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效.功能稳定的系统提供给用户. 2. ZooKeeper特点 ZooKeeper 主要包含以下几个特点: 1).最终一致性:为客户端展示同一视图,这是 ZooKeeper 最重要的性能. 2).可靠性:如果消息被一台服务器接受,那么它将被所有的服务器接受. 3).实时性:ZooK

Hbase原理架构与安装部署教程

1. HBase是什么 1.1 HBase的概念 HBase基于Google的BigTable论文,是建立的==HDFS==之上,提供高可靠性.高性能.列存储.可伸缩.实时读写的分布式数据库系统. 在需要==实时读写随机访问==超大规模数据集时,可以使用HBase. 1.2 HBase的特点 ==海量存储== 可以存储大批量的数据 ==列式存储== HBase表的数据是基于列族进行存储的,列族是在列的方向上的划分. ==极易扩展== 底层依赖HDFS,当磁盘空间不足的时候,只需要动态增加data

分布式服务框架 Zookeeper -- 管理分布式环境中的数据

安装和配置详解 Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务.状态同步服务.集群管理.分布式应用配置项的管理等.本文将 从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义,以及分析 Zookeeper 的典型的应用场景(配置文件的管理.集群管理.同步锁.Leader 选举.队列管理等),用 Java 实现它们并给出示例代码. 单机模式 单 机安装非常简单,只要获取

【转】分布式服务框架 Zookeeper -- 管理分布式环境中的数据

Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务.状态同步服务.集群管理.分布式应用配置项的管理等.本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义,以及分析 Zookeeper 的典型的应用场景(配置文件的管理.集群管理.同步锁.Leader 选举.队列管理等),用 Java 实现它们并给出示例代码. 安装和配置详解 本文介绍的 Zookeeper 是以 3