Zookeeper和zkui介绍以及部署

Zookeeper和zkui介绍以及部署

ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、小猪(Pig)  的管理员, Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,ZooKeeper是以Fast Paxos算法为基础,实现同步服务,配置维护和命名服务等分布式应用。Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储, Zookeeper 作用主要是用来维护和监控存储的数据的状态变化,通过监控这些数据状态的变化,从而达到基于数据的集群管理。

1.  Zookeeper简介

Zookeeper集群主要角色有Leader,Learner(Follower,Observer(当服务器增加到一定程度,由于投票的压力增大从而使得吞吐量降低,所以增加了Observer。)以及client:

(1)Leader:领导者,负责投票的发起和决议,以及更新系统状态

(2)Follower:接受客户端的请求并返回结果给客户端,并参与投票

(3)Observer:接受客户端的请求,将写的请求转发给leader,不参与投票。Observer目的是扩展系统,提高读的速度。

(4)Client:客户端,想Zookeeper发起请求。

Zookeeper的基本框架图如下:

2.  Zookeeper的部署

首先创建一个storm用户:

切换到storm用户下:

创建zookeeper目录:

将已下载好的zookeeper安装包放到zookeeper目录下。从主机向虚拟机中上传文件的方式很多,在此就不一一介绍。

接下来进入zookeeper目录解压安装包:

修改conf中zoo.cfg配置文件中的dataDir、dataLogDir、server.1

# The number of milliseconds of each tick

tickTime=2000

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

# the directory where the snapshot is stored.

dataDir=/home/shaka/dep/zookeeper-3.3.6/data  (改成自己的目录)

# the port at which the clients will connect

clientPort=2181

# set logs

dataLogDir=/home/shaka/dep/zookeeper-3.3.6/logs  (改成自己的目录)

# set server

server.1=hostname:4887:5887   (改成自己的hostname或IP)

#server.2=10.162.219.52:4887:5887

#server.3=10.163.15.119:4887:5887

# add by shaka

# set max client connects

maxClientCnxns=300

在启动zookeeper之前先修改bin下的执行权限:

修改完权限后,我们来启动zookeeper:

在启动完成后,查看zookeeper是否启动成功以及启动后的状态:

启动zookeeper客户端:

zk命令行工具的一些简单操作如下:

  1. 显示根目录下、文件: ls / 使用 ls 命令来查看当前 ZooKeeper 中所包含的内容

2.创建文件,并设置初始内容: create /zk "test" 创建一个新的 znode节点“ zk ”以及与它关联的字符串

3.获取文件内容: get /zk 确认 znode 是否包含我们所创建的字符串

4.修改文件内容: set /zk "zkbak" 对 zk 所关联的字符串进行设置

5.删除文件: delete /zk 将刚才创建的 znode 删除

6.退出客户端: quit

7. 帮助命令: help

3.  zkui的安装

首先安装编译工具mvn:

使用命令:wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.2.5/binaries/apache-maven-3.2.5-bin.tar.gz

下载最新maven安装包

之后将下载好的包解压到/usr/local目录下:

接下来配置maven的环境变量:

配置完成后更新一下.bash_profile

测试一下maven是否安装成功

完成maven的安装后,新建一个目录zkui将下载好的zkui压缩包放到zkui目录下并解压。解压后进入zkui目录下进行下一步操作。

下载安装成功后,执行ln -s target/zkui-2.0-SNAPSHOT-jar-with-dependencies.jar  zkui-2.0-SNAPSHOT-jar-with-dependencies.jar命令。

接下来修改config.cfg

zkServer=127.0.0.1:2181(这里ip设置为你自己的ip地址)

设置完成后就可以启动zkui

启动完成后可以通过jps -l查看是否启动。

同时也可以用浏览器登录查看可视化界面:

时间: 2024-07-28 13:33:23

Zookeeper和zkui介绍以及部署的相关文章

nmon性能监控工具介绍与部署指南

1.nmon简要介绍 nmon是IBM开发,对操作系统层的性能监控工具,有aix和linux两种版本 2.nmon下载地址 2.1.nmon for aix下载地址 https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/Power%20Systems/page/nmon 2.2 .nmonfor linux下载地址 http://nmon.sourceforge.net/pmwiki.php?n=Site.D

Memcache客户端库libmemcached介绍和部署

Memcache客户端库libmemcached介绍和部署 介绍 目前有两个著名的用 C 语言的库实现了操作 memcached 服务端:libmemcache.libmemcached. 需要注意的是,libmemcached 不是 libmemcache ,它们是两个不同的客户端库,先有 libmemcache 库,后面才发展了 libmemcached 库. libmemcached 库现在的开发比较活跃,libmemcache 库已经有很长时间没有更新了. libmemcached 是一

ZooKeeper应用场景介绍

ZooKeeper是一个高可用的分布式数据管理与系统协调框架.维护着一个树形层次结构,书中的节点被称为znode.znode可以用来存储数据,并且有一个与之相关联的ACL(权限),znode不能大于1M.基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得ZooKeeper解决很多分布式问题.网上对ZK的应用场景也有不少介绍,本文将结合作者身边的项目例子,系统地对ZK的应用场景进行一个分门归类的介绍. 值得注意的是,ZK并非天生就是为这些应用场景设计的

服务发现 - consul 的介绍、部署和使用(转)

什么是服务发现 相关源码: spring cloud demo 微服务的框架体系中,服务发现是不能不提的一个模块.我相信了解或者熟悉微服务的童鞋应该都知道它的重要性.这里我只是简单的提一下,毕竟这不是我们的重点.我们看下面的一幅图片: 图中,客户端的一个接口,需要调用服务A-N.客户端必须要知道所有服务的网络位置的,以往的做法是配置是配置文件中,或者有些配置在数据库中.这里就带出几个问题: 需要配置N个服务的网络位置,加大配置的复杂性 服务的网络位置变化,都需要改变每个调用者的配置 集群的情况下

saltstack自动化运维平台的介绍、部署、基本使用

saltstack:服务器基础架构集中化管理平台,有配置管理.远程执行.监控等功能,基于Python语言开发,结合轻量级消息队列(ZeroMQ)与Python第三方模块(Pyzmq.PyCrypto.Pyjinjia2.python-msgpack和PyYAML等)构建, 优点(1.部署简单便捷:2支持的系统多样:3配置简单,功能强,扩展性好:4基于主从,用证书建立连接,安全性高:5支持API及自定义模块) 认证minion在启动时,会在/etc/salt/pki/minion自动生成minio

01.ZooKeeper安装和介绍

1.ZooKeeper安装和启动 1.下载解压ZooKeeper ZooKeeper官方地址:http://zookeeper.apache.org/ 下载当前稳定版本:zookeeper-3.4.6.tar.gz 解压如下: [[email protected] ZooKeeper]$ tar -zxvf zookeeper-3.4.6 ...... [[email protected] ZooKeeper]$ ll total 17292 drwxr-xr-x. 10 lizhiwei li

Nginx的介绍和部署

1.nginx的介绍 1.1 nginx的优势 1) 作为Web服务器,Nginx处理静态文件.索引文件,自动索引的效率非常高. 2) 作为代理服务器,Nginx可以实现无缓存的反向代理加速,提高网站运行速度. 3)作为负载均衡服务器,Nginx既可以在内部直接支持Rails和PHP,也可以支持HTTP代理服务器对外进行服务,同时还支持简单的容错和利用算法进行负载均衡. 4) 在性能方面,Nginx是专门为性能优化而开发的,在实现上非常注重效率.它采用内核Poll模型,可以支持更多的并发连接,最

Spark入门实战系列--5.Hive(上)--Hive介绍及部署

[注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 1.Hive介绍 1.1 Hive介绍 Hive是一个基于Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据.它是Facebook 2008年8月开源的一个数据仓库框架,提供了类似于SQL语法的HQL语句作为数据访问接口,Hive有如下优缺点: l  优点: 1.Hive 使用类SQL 查询语法, 最大限度的实现了和SQL标准的兼容,大大降低了传统数据分析人员学习的曲线: 2.使用JDBC

Zookeeper简单概念介绍

过去,每个应用都是一个CPU.一个主机上的单一系统.然而今天,随着大数据和云计算时代的到来,不论什么相互独立的程序都可以运行在多个计算机上.然而面临的问题是,协调这些集群的系统比在单一主机上要复杂的多.因此对于开发人员来说.非常难在集中精力来关注他们的系统逻辑上,大部分的时间都花费在了协调这些集群系统上.Zookeeper的出现就攻克了这个问题,让开发人员可以集中精力在系统逻辑上,而免于协调这些集群计算机的运行情况.Zookeeper暴漏了一套简单的额API,可以让开发人员实现公共须要协调的任务