hbase集群安装（3）-安转Hadoop

1.HRegionServer启动不正常 在namenode上执行jps,则可看到hbase启动是否正常,进程如下: [[email protected] bin]# jps26341 HMaster26642 Jps7840 ResourceManager7524 NameNode7699 SecondaryNameNode 由上可见,hadoop启动正常.HBase少了一个进程,猜测应该是有个节点regionserver没有启动成功. 进入节点slave1 ,执行jps查看启动进程: [[e

1. 搭建hbase集群的前提条件是: (1) 需要有一个可用的hdfs分布式文件系统(2) 需要有一个可用的zookeeper或者集群 (3)搭建机器需要有jdk 的环境 2. 上传 用root用户和其他用户来安装都是可行的. 这个用 root用户,用工具将hbase安装包hbase-0.99.2-bin.tar.gz上传到/home/hadoop下,确保hbase-0.99.2-bin.tar.gz的用户是root,如果不是,执行chown命令,见上文 3.   解压 su – hadoop

前提 1.HBase 依赖于 HDFS 做底层的数据存储 2.HBase 依赖于 MapReduce 做数据计算 3.HBase 依赖于 ZooKeeper 做服务协调 4.HBase源码是java编写的,安装需要依赖JDK 版本选择 打开官方的版本说明http://hbase.apache.org/1.2/book.html JDK的选择 Hadoop的选择 此处我们的hadoop版本用的的是2.7.5,HBase选择的版本是1.2.6 安装 1.zookeeper的安装 参考http://w

粗略算算,从上周五到这周二,折腾Hadoop已经三天了.这三天我是过得诚惶诚恐,作为一个学徒,老大虽然没有说啥,但是我恨不得立马完成这些基本的部署工作,感觉拖了好久好久.简单的总结一下,第一天折腾Hadoop单机和伪分布式的安装,第二天在折腾Hive的安装,以失败告终,第三天折腾HBase的集群安装,在主节点上安装成功. 也就来具体的谈谈今天的收获,今天的参考资料主要是这么两篇1.分布式实时日志系统(四) 环境搭建之centos 6.4下hbase 1.0.1 分布式集群搭建(我FQ看的,不知道

简介: Apache HBase 是一个分布式的.面向列的开源 NoSQL 数据库.具有高性能.高可靠性.可伸缩.面向列.分布式存储的特性. HBase 的数据文件最终落地在 HDFS 之上,所以在 Hadoop 集群中,DataNode 节点都需安装 HBase Worker Node. 另外,HBase 受 ZooKeeper 管理,还需安装 ZooKeeper 单机或集群.建议 HBase Master 节点不要与集群中其余 Master 节点安装在同一台物理服务器. HBase Mast

环境:CentOS 6.4,Hadoop 2.6.0,ZooKeeper 3.4.6,HBase 1.0.1.1 集群角色规划: HostName HBase Role ZooKeeper Hadoop Role HDP1 Master YES Slave HDP2 Backup Master & RegionServer YES Master HDP3 RegionServer YES Slave HDP4 RegionServer YES Slave 1. 任意Master(HDP1)节点解

前言 最近在搞hadoop+spark+python,所以就搭建了一个本地的hadoop环境,基础环境搭建地址hadoop2.7.7 分布式集群安装与配置 本篇博客主要说明,如果搭建spark集群并集成到hadoop 安装流程 安装spark需要先安装scala 注意在安装过程中需要对应spark与scala版本, spark 也要跟hadoop对应版本,具体的可以在spark官网下载页面查看 下载sacla并安装 https://www.scala-lang.org/files/archive

1.zookeeper安装 把解压文件从桌面移到安装目录software 解压 显示文件 修改zoo.cfg文件 我的丛机就是主机 注意:如果有多台丛机应该这样配 创建datadir指定目录和创建myid文件 我是在一台机子上配的,主机就是丛机,如果要配置多台丛机,则使用以下命令 发送zookeeper给从节点 修改从节点myid中的值 启动每个节点的zookeeper服务 检查zookeeper是否安装成功 我的是一台机子,所以显示standalone 如果丛机不是本机,则显示follower

安装ssh服务器端 赋予tg用户权限 sudo chown -R tg:tg /software/ 查看用户被赋予的权限 1.检查ssh客户端是否安装: which ssh 2.检查sshd服务器端是否安装: which sshd 如下显示表示没有安转 [email protected]:~$ which sshd [email protected]:~$ 3.安转ssh服务器端: sudo apt-get install openssh-server 4.查看ssh服务器进程: ps –e |