zookeeper简易配置及hadoop高可用安装

zookeeper介绍
    是一个分布式服务的协调服务,集群半数以上可用(一般配置为奇数台),
    
    
    快速选举机制:当集群中leader挂掉,所有小弟会投票选举出新的leader。
    快速同步数据:zk将会存储小量用于服务做协调的数据。
    
    标准文件系统用于存储大量数据;而zk存储小量协调数据
    标准文件系统文件就是文件,目录就是目录;zk中文件既是目录。

1.zookeeper的安装与启动
    
    解压并配置环境变量
    配置./conf/zoo.cfg
        tickTime=2000  zk中时间单元
        initLimit=5    小弟连接老大的超时时间
        syncLimit=2    同步数据的超时时间
        dataDir=/home/zkdata
        clientPort=2181
        server.100=hadoop01:2888:3888  
        server.200=hadoop02:2888:3888
        server.300=hadoop03:2888:3888
        100(x)是server的id,2888是各个服务的通信端口,3888选举端口

分发到每一台服务器中
    创建数据目录,并创建myid文件
        mkdir /home/zkdata
        echo 100 > /home/zkdata/myid

启动zk的服务:
        zkServer.sh status/start/stop [./conf/zoo.cfg]

连接zk的集群:
        zkCli.sh [-server hadoop02:2181]
        
        
2.zk的简单使用
    增 : create  /name ‘sand‘          创建永久节点
                create -s /name ‘sand‘         创建临时顺序节点
                create -e /name ‘sand‘         创建临时节点
                get该节点信息:ephemeralOwne不为0 则是临时节点,其值为SessionID
    删:    delete  /name                         删除无子节点的节点
                rmr /name/sex                         递归删除
    改:    set /name ‘me‘                更新节点
    查:  ls /name/                                    查看name节点下节点信息
                get /name                                    查看name节点数据
                
                
3.hadoop高可用配置
    参照官网完成集群XML文件配置
    
    第一次hdfs的高可用流程:
        先启动zk集群(格式化zkfc之前必须要启动zk集群)
        zkServer.sh start
        
        启动journalnode集群: (不启动namenode无法格式化)
        hadoop-daemons.sh start journalnode

选择一台namenode进行格式化,然后并启动
        hdfs namenode -format
        hadoop-daemon.sh start namenode
        
        再在另一台namenode的服务器上进行拉去元数据操作(手动远程copy)
        hdfs namenode -bootstrapStandby
        
        格式化zkfc
        hdsf zkfc -formatZK

启动hdfs的模块:
        start-dfs.sh

测试是否自动切换namenode:

原文地址:https://www.cnblogs.com/OnTheWay-0518/p/9812767.html

时间: 2024-11-20 05:56:22

zookeeper简易配置及hadoop高可用安装的相关文章

CLOUD 04:zookeeper,kafka,hadoop高可用

zookeeper 安装 1 禁用防火墙和 selinux2 设置 /etc/hosts ip 主机名对应关系3 安装 openjdk zookeeper 角色,选举leader 集群主节点follower 参与选举的附属节点observer 不参与选举的节点,同步 leader 的命名空间 1 拷贝配置文件/usr/local/zookeeper/conf/zoo_sample.cfg 到/usr/local/zookeeper/conf/zoo.cfg 2 修改配置文件vim /usr/lo

基于 ZooKeeper 搭建 Hadoop 高可用集群

一.高可用简介 二.集群规划 三.前置条件 四.集群配置 五.启动集群 六.查看集群 七.集群的二次启动 一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多,所以它的实现也更加复杂,故下面先进行讲解: 1.1 高可用整体架构 HDFS 高可用架构如下: 图片引用自:https://www.edure

ceph对象存储(rgw)服务、高可用安装配置

ceph对象存储服务.高可用安装配置 简介:    Ceph本质上就是一个rados,利用命令rados就可以访问和使用ceph的对象存储,但作为一个真正产品机的对象存储服务,通常使用的是Restfulapi的方式进行访问和使用.而radosgw其实就是这个作用,安装完radosgw以后,就可以使用api来访问和使用ceph的对象存储服务了.    首先明白一下架构,radosgw其实名副其实,就是rados的一个网关,作用是对外提供对象存储服务.本质上radosgw(其实也是一个命令)和rbd

Keepalived+Mysql互为主从高可用安装配置

Keepalived+Mysql互为主从高可用安装配置环境介绍:keepalived_vip=192.168.1.210    (写虚拟ip)mysql_master01      eth0:192.168.1.211  eth1:172.20.27.211 (1核1G)mysql_master02      eth0:192.168.1.212  eth1:172.20.27.212 (1核1G) 1.安装mysql数据库(所有节点安装)  //此处省略安装mysql服务2.编辑my.cnf配

常用组件、kafka集群、hadoop高可用

1.Zookeeper安装搭建Zookeeper集群并查看各服务器的角色停止Leader并查看各服务器的角色 1.1 安装Zookeeper1)编辑/etc/hosts ,所有集群主机可以相互 ping 通(在nn01上面配置,同步到node1,node2,node3)nn01 hadoop]# vim /etc/hosts192.168.1.21 nn01192.168.1.22 node1192.168.1.23 node2192.168.1.24 node3 2)安装 java-1.8.0

Keepalived+MariaDB10配置双主高可用数据库

Keepalived+MariaDB10配置双主高可用数据库 OS RS 子网掩码 路由网关 Centos6.6 MariaDB10 Keepalived Eth0:192.168.26.210 255.255.252.0 192.168.25.3 VIP:192.168.27.210 255.255.255.252 Centos6.6 MariaDB10 Keepalived Eth0:192.168.26.211 255.255.252.0 192.168.25.3 VIP:192.168.

实例:LVS+Keepalived配置LVS的高可用

LVS+Keepalived配置LVS的高可用 我们这里LVS-DR模型的高可用集群: 实验环境:     vm1 LVS-DR1:              eth0 172.16.3.2/16              VIP :eth0:0 172.16.3.88              vm2 LVS-DR2:             eth0 172.16.3.3/16     vm3 Server-web1             RS1: eth0 172.16.3.1/16  

DRBD+Heartbeat+Mysql:配置mysql的高可用

说明: 今天接着研究DRBD的第二个应用,利用DRBD+Heartbeat+Mysql:配置mysql的高可用 环境: [[email protected] ~]# cat /etc/issue CentOS release 6.4 (Final) Kernel \r on an \m [[email protected] ~]# uname -r 2.6.32-358.el6.i686 dbm137 192.168.186.137 dbm137.51.com primary DRBD+Hear

DRBD+HeartBeat+NFS:配置NFS的高可用

说明: 上周研究了DRBD的安装和配置,今天研究下DRBD的第一个应用,利用DRBD+HeartBeat+NFS:配置NFS的高可用,作为集群中的底端共享存储 NFS主要存储WEB服务器上的程序代码和一些图片文件 参考: http://network.51cto.com/art/201010/230237_all.htm http://showerlee.blog.51cto.com/2047005/1212185 环境: [[email protected] ~]# cat /etc/issu