CentOS系统下Hadoop、Hbase、Zookeeper安装配置

最近两天给一个项目搭建linux下的大数据处理环境,系统是CentOS 6.3。主要是配置JDK,安装Tomcat,Hadoop、HBase和Zookeeper软件,本人在Hadoop这方面也是新手,配置这个环境遇到过许多问题,查了许多资料,这里做一个总结,以便日后回顾。

首先是账户权限的修改,安装软件环境需要上传文件和一些系统文件的修改权限,所以最好设置成root权限

权限修改方法:http://www.linuxidc.com/Linux/2012-03/55629.htm

软件的安装,网上有许多这方面的文章:

安装JDK:http://www.cnblogs.com/zhoulf/archive/2013/02/04/2891608.html

安装Tomcat:http://www.cnblogs.com/zhoulf/archive/2013/02/04/2891633.html

安装Hadoop:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html

http://bjbxy.blog.51cto.com/854497/352692

安装HBase:http://blog.csdn.net/21aspnet/article/details/18776833

安装zookeeper:http://www.cnblogs.com/ilovexiao/p/3946547.html

在安装Hadoop和Hbase之前需要选择下载相对应的正确的版本,可以查阅官方文档选择http://abloz.com/hbase/book.html,同时许多Hbase的配置也可以在文档中看到。

在配置Hadoop和Hbase的时候很重要的一个就是主机名,也就是hostname,这个非常重要,我在原本配置好的服务器上修改了hostname,出现了一系列的问题,怎么改都有问题(心碎啊),最后发现在修改过hostname以后需要先清空tmp下面的数据,然后format Hadoop的namenode的数据,具体如:http://www.07net01.com/storage_networking/hadoopanzhuangbushuyudaowenti_guzhangpaicha_90974_1363776317.html

在配置软件环境的过程中会遇到许多问题,可以通过查看hadoop、hbase和zookeeper的日志文件来了解问题所在,然后做出修改调整,一般都能解决。

在配置好环境后,测试程序,发现数据存入服务器之后,再读取出来确实乱码,在windows下测试没问题,这就是服务器的编码有问题,可以将服务器的编码改成GB2312或者GBK,具体的修改方式如:http://blog.sina.com.cn/s/blog_697b96890101jdxj.html

如果重启服务器之前没有关闭Hadoop和hbase,则服务器重启后,hadoop会进入safe模式,需要关闭才能重庆使用hbase及其命令。http://www.07net01.com/storage_networking/hadoopanzhuangbushuyudaowenti_guzhangpaicha_90974_1363776317.html

时间: 2024-08-02 11:02:01

CentOS系统下Hadoop、Hbase、Zookeeper安装配置的相关文章

Linux系统下JDK和Tomcat安装配置

Linux系统下JDK安装配置 1. 从oracle网站下载需要的JDK软件 :jdk-6u39-linux-i586.bin http://www.oracle.com/technetwork/java/javase/archive-139210.html 然后通过FTP上传到linux服务器上. 2. 将文件copy到/usr目录下 [[email protected] wendy]# cp jdk-6u39-linux-i586.bin /usr/ 3. 给文件添加执行权限: [[emai

Win10系统下MySQL压缩版安装配置教程

MySQL分为安装版和压缩.为了以后MySQL出问题想重装时的各种不必要的麻烦,我个人推荐压缩版MySQL.下面进入教程: 进入官网下载MySQL压缩包,并解压如下 配置环境变量---将bin文件的目录加入电脑系统环境配置path下 新建my.ini配置文件(安装目录和数据库存放目录根据自己的目录编辑) [mysql] default-character-set = utf8 [mysqld] #端口 port = 3306 #mysql安装目录 basedir = E:/mysql-8.0.1

CentOS系统下Hadoop 2.4.1集群安装配置(简易版)

安装配置 1.软件下载 JDK下载:jdk-7u65-linux-i586.tar.gz http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html Hadoop下载:hadoop-2.4.1.tar.gz http://www.apache.org/dyn/closer.cgi/hadoop/common/ 2./etc/hosts配置 [html] view plaincopyprin

ubuntu系统下smokping网络监控工具安装配置详解

系统:ubuntu 12.04 1.安装工具及依赖包 sudo apt-get install smokeping curl libauthen-radius-perl libnet-ldap-perl libnet-dns-perl libio-socket-ssl-perl libnet-telnet-perl libsocket6-perl libio-socket-inet6-perl apache2 2.直接启动: [email protected]:/etc/smokeping$ s

hadoop伪分布下的sqoop基本安装配置

1.环境工具版本介绍 centos6.4(Final) jdk-7u60-linux-i586.gz hadoop-1.1.2.tar.gz sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz mysql-5.6.11.tar.gz 2.安装centos 参照网上Ultra的使用制作了U盘启动,直接格式化安装系统,具体做法网上资料很多,但注意最好不要在安装时改主机名称,也最好不要利用图形化界面添加用户,因为我出过问题重做了系统,这些terminal中都能完成的 3.安装jd

Linux(CentOS)系统下安装好apache(httpd)服务后,其他电脑无法访问的原因

原文:Linux(CentOS)系统下安装好apache(httpd)服务后,其他电脑无法访问的原因 今天试了下在虚拟机上利用CentOS系统的yum命令安装好了httpd(apache2.4.6),然后在windows系统下访问此虚拟机的ip地址,却访问不了. 因为前段时间有知道过iptable的限制,所以在想是不是因为iptable限制了80端口呢! 所以在网上找了下iptable的命令,并且把tcp的80端口设置成允许任何IP都可以访问: iptables -I INPUT -p TCP

[推荐]Hadoop+HBase+Zookeeper集群的配置

Hadoop+HBase+Zookeeper集群的配置  http://wenku.baidu.com/view/991258e881c758f5f61f67cc.html?re=view HDFS+MapReduce+Hive+HBase十分钟快速入门   http://wenku.baidu.com/view/7db2fcd276eeaeaad1f33055.html Hadoop+Zookeeper+HBase部署指南  http://wenku.baidu.com/view/02e4ad

Hadoop集群安装配置文档

Hadoop集群安装配置文档 日期 内容 修订人 2015.6.3 文档初始化 易新             目录 1 文档概要... 5 1.1软件版本... 5 1.2机器配置... 5 2 虚拟机配置... 5 2.1新建虚拟机... 5 2.2虚拟网络配置... 8 3 CentOS安装及配置... 9 3.1系统安装... 9 3.2系统配置... 10 3.2.1防火墙配置... 10 3.2.2 SElinux配置... 10 3.2.3 IP配置... 11 3.2.4安装vim

Hadoop,HBase,Zookeeper源码编译并导入eclipse

基本理念:尽可能的参考官方英文文档 Hadoop:  http://wiki.apache.org/hadoop/FrontPage HBase:  http://hbase.apache.org/book.html Zookeeper:  https://cwiki.apache.org/confluence/display/ZOOKEEPER/Index 环境介绍 Ubuntu 14.04LTS, 32位 接下来则按照Hadoop,HBase,Zookeeper顺序来进行源码编译,建立文件夹