hadoop及hbase集群启停的几种方式

1、生产环境集群

2、web管理页面

hadoop web管理页面（主备）

http://192.168.10.101:50070

http://192.168.10.102:50070

hbase web管理页面（主备）

http://192.168.10.101:16010

http://192.168.10.102:16010

3、启动和停止服务

3.1、启动顺序

Hadoop及hbase集群启动顺序

zookeepeer->hadoop->hbase

Hadoop及hbase集群关闭顺序

hbase->hadoop->zookeepeer

3.2、启停ZK

启动和停止ZK

/home/zookeeper-3.4.6/bin/zkServer.sh start | stop

3.3、启动hadoop集群

3.3.1、启动及停止Hadoop方式一

启停yarn及hdfs

/data/hadoop/sbin/start-all.sh | stop-all.sh

启停historyserver进程

/data/hadoop/sbin/mr-jobhistory-daemon.sh start | stop historyserver

3.3.2、启动及停止Hadoop方式二

启停hdfs集群

/data/hadoop/sbin/start-dfs.sh | stop-dfs.sh

启停yarn集群

/data/hadoop/sbin/start-yarn.sh | stop-yarn.sh

启停historyserver进程

/data/hadoop/sbin/mr-jobhistory-daemon.sh start | stop historyserver

3.3.3、启动及停止Hadoop方式三

启停hdfs单个进程

/data/hadoop/sbin/hadoop-daemon.sh start | stop namenode

/data/hadoop/sbin/hadoop-daemon.sh start | stop datanode

/data/hadoop/sbin/hadoop-daemon.sh start | stop journalnode

/data/hadoop/sbin/hadoop-daemon.sh start | stop zkfc

启停yarn单个进程

/data/hadoop/sbin/yarn-daemon.sh start | stop resourcemanager

/data/hadoop/sbin/yarn-daemons.sh start | stop nodemanager

启停historyserver进程

/data/hadoop/sbin/mr-jobhistory-daemon.sh start | stop historyserver

4、启停Hbase集群

4.1、启动及停止Hbase方式一

启停HBase集群

/data/hbase/bin/start-hbase.sh | stop-hbase.sh

4,.2、启动及停止Hbase方式二

启停单个Hbase进程

/data/hbase/bin/hbase-daemon.sh start | stop master

/data/hbase/bin/hbase-daemon.sh start | stop regionserver

原文地址：http://blog.51cto.com/xiaoxiaozhou/2126085

时间： 2024-11-01 11:00:11

hadoop及hbase集群启停的几种方式的相关文章

hadoop+Spark+hbase集群动态增加节点

分布式系统的一个优势就是动态可伸缩性,如果增删节点需要重启那肯定是不行的.后来研究了一下,发现的确是不需要重启集群,直接在新增的节点上分别启动以下进程即可:以hadoop.spark和hbase为例: 一.hadoop增加datanode节点 因为1.x版本和2.x版本有比较大的差异,我这里是以2.7为例.在namenode节点上,将hadoop-2.7复制到新节点上,并在新节点上删除data和logs目录中的文件. 1.增加hdfs数据节点datanode 在此节点上启动hdfs: ./sbi

hadoop及hbase集群增加节点

老的集群服务器: 192.168.11.131 master1 192.168.11.132 master2 192.168.11.133 slave1 192.168.11.134 slave2 192.168.11.135 slave3 新加入的节点: 192.168.11.136 slave4 192.168.11.137 slave5 一.hadoop扩容 1.配置各节点hosts文件,加入新加入的两个节点的IP和主机名 新添加的节点添加下面内容 192.168.11.131 maste

kafka深度研究之路(3)-kafka 与zk 集群启停脚本

编写 kafka集群 启动 和 停止脚本 [[email protected] scripts]$ cat kafka_cluster_stop.sh #!/bin/bash -x #date 20190801 #autnor majihui clush -g all "source /etc/profile ;jps|grep Kafka|awk '{print $1}' | xargs kill -9 " [[email protected] scripts]$ cat kafka

Kubernetes+Flannel 环境中部署HBase集群

注:目前方案不满足加入新节点(master节点或regionserver节点)而不更改已运行节点的参数的需求,具体讨论见第六部分. 一.背景知识 先看下HBase的组成: Master:Master主要负责管理RegionServer集群,如负载均衡及资源分配等,它本身也可以以集群方式运行,但同一时刻只有一个master处于激活状态.当工作中的master宕掉后,zookeeper会切换到其它备选的master上. RegionServer:负责具体数据块的读写操作. ZooKeeper:负责集

浅谈zookeeper的在hbase集群中的作用

一,什么是zookeeper? ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop) . 蜜蜂(Hive) . 小猪(Pig)  的管理员, Apache Hbase和 Apache Solr 以及LinkedIn sensei  等项目中都采用到了 Zookeeper.ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,ZooKeeper是以Fast Paxos算法为基础,实现同步服务,配置维护和命名服务等分布式应用. 上面的解释感觉还不够,太官方了.Zo

Hbase集群client执行报错：Unable to find region for TABLE,,99999999999999 after 10 tries.

Windows7 eclipse下运行Hbase集群客户端,报 Unable to find region for wlan_log,,99999999999999 after 10 tries. Unable to find region for wlan_log,,99999999999999 after 10 tries. 其中wlan_log是我的Hbase表. 仔细检查了我的Hbase和Hadoop集群都没有问题,经过度娘的提示,我终于明白了, 因为我的host文件只配置了region

Hadoop2.0集群、Hbase集群、Zookeeper集群、Hive工具、Sqoop工具、Flume工具搭建总结

实验开发环境所用软件: [[email protected] local]# ll total 320576 -rw-r--r-- 1 root root 52550402 Mar 6 10:34 apache-flume-1.6.0-bin.tar.gz drwxr-xr-x 7 root root 4096 Jul 15 10:46 flume drwxr-xr-x. 11 root root 4096 Jul 10 21:04 hadoop -rw-r--r--. 1 root root

Hbase集群搭建及所有配置调优参数整理及API代码运行

最近为了方便开发,在自己的虚拟机上搭建了三节点的Hadoop集群与Hbase集群,hadoop集群的搭建与zookeeper集群这里就不再详细说明,原来的笔记中记录过.这里将hbase配置参数进行相应整理,方便日后使用. 首先vi ~/.bash_profile将hbase的环境变量进行配置,最后source ~./bash_profile使之立即生效 1.修改hbase-env.sh 由于我使用的是外置的zookeeper,所以这里HBASE_MANAGES_ZK设置为,设置参数: # The

CentOS7 安装Hbase集群

继续接上一章,已安装好Hadoop集群环境 http://www.cnblogs.com/dopeter/p/4612232.html 在此基础上继续安装Hbase集群 Hbase版本为1.0.1.1 一. 安装与配置Hbase 1. 解压 tar -zxvf hbase-1.0.1.1-bin.tar.gz-C /opt 2. 配置 cd /opt/hbase-1.0.1.1/conf vi hbase-env.sh export JAVA_HOME=/usr/java/jdk1.8.0_45