粗略算算,从上周五到这周二,折腾Hadoop已经三天了。这三天我是过得诚惶诚恐,作为一个学徒,老大虽然没有说啥,但是我恨不得立马完成这些基本的部署工作,感觉拖了好久好久。简单的总结一下,第一天折腾Hadoop单机和伪分布式的安装,第二天在折腾Hive的安装,以失败告终,第三天折腾HBase的集群安装,在主节点上安装成功。
也就来具体的谈谈今天的收获,今天的参考资料主要是这么两篇1.分布式实时日志系统(四) 环境搭建之centos 6.4下hbase 1.0.1 分布式集群搭建(我FQ看的,不知道能不能打开),
2.配置Hbase完全分布式环境的详细教程 两篇相互印证,将我心中很多模糊的概念弄清楚了。我就不写详细安装过程,就把我遇到的一些问题写写。
第一步、因为我用的是公司的服务器搭建的四台虚拟机,所以进入主节点之后输入 #su - hadoop 切换为hadoop用户,不推荐使用root用户,可能处于安全考虑,反正我不懂。在这里我遇到两个问题,第一个是在 - 和hadoop之间有空格的,不能写成 #su-hadoop,这个shi找不到的。第二个错误是在用 #vim /etc/profile 的时候,老是发现你改不了,强制修改也不行(wq!),你要是换成 #sudo vim /etc/profile ,会提示你不是sudoer用户组。解决办法就是 #visudo 进入之后是个vi编辑界面,输入:进入命令模式,输入set nu显示行号,找到99行添加hadoop ALL=(ALL) ALL具体啥的我也忘了,就是和root一样,同时记得别再hadoop用户组下输入visudo,切到root用户下。之后就是改完后保存退出。
第二步、再就是在执行# ./sbin/start-dfs.sh 的时候注意是在你的hadoop目录下,但是按道理来说配置了环境变量,在别处也应该可以才对,这个让我在思考一下。
第三步、还有一部分没有整完,我完成了HBase和Hive集群安装再来继续。