“挖掘机”升级路 一篇(03)--HBase集群安装中的收获

粗略算算,从上周五到这周二,折腾Hadoop已经三天了。这三天我是过得诚惶诚恐,作为一个学徒,老大虽然没有说啥,但是我恨不得立马完成这些基本的部署工作,感觉拖了好久好久。简单的总结一下,第一天折腾Hadoop单机和伪分布式的安装,第二天在折腾Hive的安装,以失败告终,第三天折腾HBase的集群安装,在主节点上安装成功。

也就来具体的谈谈今天的收获,今天的参考资料主要是这么两篇1.分布式实时日志系统(四) 环境搭建之centos 6.4下hbase 1.0.1 分布式集群搭建(我FQ看的,不知道能不能打开),

2.配置Hbase完全分布式环境的详细教程 两篇相互印证,将我心中很多模糊的概念弄清楚了。我就不写详细安装过程,就把我遇到的一些问题写写。

第一步、因为我用的是公司的服务器搭建的四台虚拟机,所以进入主节点之后输入 #su - hadoop 切换为hadoop用户,不推荐使用root用户,可能处于安全考虑,反正我不懂。在这里我遇到两个问题,第一个是在 - 和hadoop之间有空格的,不能写成 #su-hadoop,这个shi找不到的。第二个错误是在用 #vim /etc/profile 的时候,老是发现你改不了,强制修改也不行(wq!),你要是换成 #sudo vim /etc/profile ,会提示你不是sudoer用户组。解决办法就是 #visudo 进入之后是个vi编辑界面,输入:进入命令模式,输入set nu显示行号,找到99行添加hadoop   ALL=(ALL)      ALL具体啥的我也忘了,就是和root一样,同时记得别再hadoop用户组下输入visudo,切到root用户下。之后就是改完后保存退出。

第二步、再就是在执行# ./sbin/start-dfs.sh 的时候注意是在你的hadoop目录下,但是按道理来说配置了环境变量,在别处也应该可以才对,这个让我在思考一下。

第三步、还有一部分没有整完,我完成了HBase和Hive集群安装再来继续。

时间: 2024-09-30 22:55:55

“挖掘机”升级路 一篇(03)--HBase集群安装中的收获的相关文章

HBase学习之路 (二)HBase集群安装

前提 1.HBase 依赖于 HDFS 做底层的数据存储 2.HBase 依赖于 MapReduce 做数据计算 3.HBase 依赖于 ZooKeeper 做服务协调 4.HBase源码是java编写的,安装需要依赖JDK 版本选择 打开官方的版本说明http://hbase.apache.org/1.2/book.html JDK的选择 Hadoop的选择 此处我们的hadoop版本用的的是2.7.5,HBase选择的版本是1.2.6 安装 1.zookeeper的安装 参考http://w

HBase集群安装过程中的问题集锦

1.HRegionServer启动不正常 在namenode上执行jps,则可看到hbase启动是否正常,进程如下: [[email protected] bin]# jps26341 HMaster26642 Jps7840 ResourceManager7524 NameNode7699 SecondaryNameNode 由上可见,hadoop启动正常.HBase少了一个进程,猜测应该是有个节点regionserver没有启动成功. 进入节点slave1 ,执行jps查看启动进程: [[e

Apache HBase 集群安装文档

简介: Apache HBase 是一个分布式的.面向列的开源 NoSQL 数据库.具有高性能.高可靠性.可伸缩.面向列.分布式存储的特性. HBase 的数据文件最终落地在 HDFS 之上,所以在 Hadoop 集群中,DataNode 节点都需安装 HBase Worker Node. 另外,HBase 受 ZooKeeper 管理,还需安装 ZooKeeper 单机或集群.建议 HBase Master 节点不要与集群中其余 Master 节点安装在同一台物理服务器. HBase Mast

HBase集群安装

环境:CentOS 6.4,Hadoop 2.6.0,ZooKeeper 3.4.6,HBase 1.0.1.1 集群角色规划: HostName HBase Role ZooKeeper Hadoop Role HDP1 Master YES Slave HDP2 Backup Master & RegionServer YES Master HDP3 RegionServer YES Slave HDP4 RegionServer YES Slave 1. 任意Master(HDP1)节点解

hbase集群安装文档

1. 搭建hbase集群的前提条件是: (1) 需要有一个可用的hdfs分布式文件系统(2) 需要有一个可用的zookeeper或者集群 (3)搭建机器需要有jdk 的环境 2. 上传 用root用户和其他用户来安装都是可行的. 这个用 root用户,用工具将hbase安装包hbase-0.99.2-bin.tar.gz上传到/home/hadoop下,确保hbase-0.99.2-bin.tar.gz的用户是root,如果不是,执行chown命令,见上文 3.   解压 su – hadoop

“挖掘机”升级路 二篇(04)--分享一个自动配置的脚本

掰着指头算算,今天是周三,也就意味着我从接触Hadoop到搭建集群Hadoop.HBase.Hive已经过去了四天,结果是我依然没有搭建完成,还在苦苦挣扎.这周一定要让完整的Hadoop跑起来,不然也真是太不像话了. 今天我想想干了些啥,早上路过青年路的时候买了个馒头,他居然要了我两块钱!!!不是什么营养馒头,就是路边摊.一笔带过,发泄一下. 今天的工作要分为两段来说,早上是自己接着在研究HBase的集群配置,遇到的主要问题就是两个,第一个就是当我配置slave机器的时候,在hbase-site

大数据之ES系列——第一篇 ElasticSearch2.2 集群安装部署

第一部分  安装准备 准备三台主机节点: hc11.spads  192.168.160.181 hc12.spads  192.168.160.182 hc13.spads  192.168.160.183 准备软件包: elasticsearch-2.2.0.tar.gz 注:将以上软件包上传至各主机节点/opt/softwareRes/目录下. 第二部分 安装配置 elasticsearch-2.2.0 1.各主机节点分别解压软件包 elasticsearch-2.2.0.tar.gz t

【Redis篇】Redis集群安装与初始

一.前述 本文将单台节点不同端口模拟集群方式. 二.具体搭建 前提是安装好redis具体可参考http://www.cnblogs.com/LHWorldBlog/p/8463269.html 1.规划 redis集群 3.x版本物理节点1个指定3个主节点端口为7000.7001.7002对应的3个从节点端口为7003.7004.7005 2.创建配置 mkdir cluster-testcd cluster-testmkdir 7000 7001 7002 7003 7004 7005在700

“挖掘机”升级路 初篇(02)--详解环境变量PATH,扫除安装Hadoop拦路虎

我在安装Hdoop以及相关套件的时候,最最痛苦的就是$PATH这都是些啥啥啥,看都看不懂,就是照猫画虎也学不像,经常出现很多莫名其妙的错误,煞是打击.于是乎下定决心,看书.FQ.花时间终于弄明白了,最后的理解是告诉这个祖宗Linux去什么地方找我要执行的命令,爷才不输入完整的,爷要随时随地使用,让系统做小弟.上干货!!! 以下引用Google的博客片段,具体谁的我忘了,原谅我! “/bin”.“/sbin”.“/usr/bin”.“/usr/sbin”.“/usr/local/bin”等路径已经