hadoop2.6和hbase1.0单机版安装配置

环境

系统:Ubuntu 14.04

hadoop版本:2.6.0

hbase版本:1.0

jdk版本:1.8

下载地址:Apache上慢慢找吧~~



jdk的环境配置这里就不列出来了,首先讲一下hadoop配置吧。

hadoop安装

1.安装位置:/opt

2.创建hadoop用户组

sudo addgroup hadoop

3.创建hadoop用户

sudo adduser -ingroup hadoop hadoop

4.给hadoop添加权限

sudo vim /etc/sudoers

在root ALL=(ALL:ALL) ALL下添加

hadoop  ALL=(ALL:ALL)   ALL

5.安装ssh

sudo apt-get install ssh openssh-server

6.建立ssh无密码登陆

su - hadoop
ssh-keygen -t rsa -P ""
cd ~/.ssh
cat id_rsa.pub >> authorized_keys

测试

ssh localhost

7.解压hadoop

tar -zxvf hadoop-2.6.0.tar.gz
sudo mv hadoop-2.6.0 /opt/hadoop
sudo chmod -R 775 /opt/hadoop
sudo chown -R hadoop:hadoop /opt/hadoop

8.配置环境变量

sudo vim ~/.bashrc

在末尾添加

#HADOOP VARIABLES START
export JAVA_HOME=/opt/jdk1.8.0
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path-$HADOOP_HOME/lib"
#HADOOP VARIABLES END

export HBASE_HOME=/opt/hbase
export PATH=$PATH:$HBASE_HOME/bin
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.${JAVA_HOME}/lib:${JRE_HOME}/lib:${HADOOP_HOME}/share/hadoop/common/lib:${HBASE_HOME}/lib

source ~/.bashrc

9.修改hadoop-env.sh

将JAVA_HOME修改为jdk安装目录,这里是/opt/jdk1.8.0

10.修改core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop/tmp</value>
        </property>
</configuration>

11.修改mapred-site.xml.template并修改为mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

12.修改yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

13.修改hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
     </property>
</configuration>

14.修改masters和slaves

masters好像不存在,自行添加

插入:

localhost

15.添加临时目录

cd /opt/hadoop
mkdir tmp dfs dfs/name dfs/data 

16.初始化hdfs

hdfs namenode -format

17.启动hadoop

start-dfs.sh
start-yarn.sh

hbase安装

hbase安装相对简单,就是把其整合hadoop

1.解压

tar -zxvf hbase-1.0.0-bin.tar.gz
sudo mv hbase-1.0.0 /opt/hbase
cd /opt
sudo chmod -R 775 hbase
sudo chown -R hadoop:hadoop: hbase

2.修改环境变量

sudo vim /opt/hbase/conf/hbase-env.sh

修改$JAVA_HOME为jdk安装目录,这里是/opt/jdk1.8.0

3.修改hbase-site.xml

添加:

<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://localhost:9000/hbase</value>
        </property>
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
</configuration>

4.启动hbase

start-hbase.sh

5.进入hbase shell

hbase shell

6.查看进程

通过jps,应该会看到一共有9个进程,分别如下:

3616 NodeManager
3008 NameNode
6945 HQuorumPeer
7010 HMaster
3302 SecondaryNameNode
3128 DataNode
7128 HRegionServer
3496 ResourceManager
7209 Jps

进程号不一定是这些



至此,hadoop和hbase都安装完成了,不过这只是单机版也可以说是伪分布式配置,希望对大家有所帮助。

时间: 2024-10-07 05:50:13

hadoop2.6和hbase1.0单机版安装配置的相关文章

hadoop2.5.1+hbase1.1.2安装与配置

今天正在了解HBase和Hadoop,了解到HBase1.1.x为稳定版,对应的Hadoop2.5.x是最新的支持此版本HBase的,同时jdk版本为jdk7才能支持.--本段话内容参考自Apache官方文档: 1.本表格为jdk与hbase版本对应: 2.以下表格为hbase与Hadoop版本对应. Hadoop version support matrix "S" = supported "X" = not supported "NT" =

Hadoop单机版安装配置

[toc] Hadoop单机版安装配置 前言 Hadoop单机版本的环境搭建比较简单,这里总结一下. Centos基本配置 网络配置 IPADDR=192.168.43.101 NETMASK=255.255.255.0 GATEWAY=192.168.43.2 DNS1=202.96.128.166 DNS2=202.96.128.86 配置完成后重启网络: service network restart 修改主机名和IP地址映射文件 vim /etc/sysconfig/network 将H

Hadoop从0开始 (安装配置:转) (一)

之前一直在找安装教程 都是0.20版本的 弄了好久没有弄出来..发现新版跟旧版有很大的不同 今天终于找到新版的安装配置方法.分享出来. 安装环境: 系统:Ubuntu 12.10 hadoop:0.23.6 jdk:sun 1.7.0_21 安装步骤: 一.安装JDK 安装 orcale jdk,并且配置环境以及设置成默认(略) 检查jdk是否正确安装和配置 在主目录下执行java -version 如果出现下面类似结果则ok [email protected]:~$ java -version

Hadoop-1.0.4 安装配置

Hadoop-1.0.4 安装配置 一.           安装VMware 本人使用的是11.1.2 build-2780323版本 不详细讲述. 二.           在VMware上安装ubuntu 本人使用的是ubuntu 14.10 (为了后续步骤的说明,本人在安装时的用户名.密码均定为hadoop) 开启虚拟机后,调整时间区域,调整系统语言(可选) 三.           克隆虚拟机 关掉虚拟机,在VMware中将安装好的ubuntu克隆出来,这里克隆出了两个当做slave.

fedora gtk+ 2.0环境安装配置

1.安装gtk yum install gtk2 gtk2-devel gtk2-devel-docs 2.测试是否安装成功 pkg-config --cflags --libs gtk+-2.0 执行此命令,看看能否把相应的路径和库显示出来,如果可以,说明安装成功 3.写个小测试程序 4.编译 敲入make命令进行编译,编译后运行就可以看见窗体显示在屏幕上 fedora gtk+ 2.0环境安装配置

resin4.0.25 安装配置 及结合eclipse开发

resin4.0.25 安装配置 及结合eclipse开发 本文大部分内容是对官网的翻译,及自己配置后的一些体会. 一.  基于win  ,resin基本安装1,安装jdk1.6或更高版本2,配置环境变量JAVA-HOME  ,RESIN-HOME3,配置classpath %RESIN-HOME%\lib\resin.jar (如果是win7的话没必要设置) 否则报异常:com.caucho.loader.SystemClassLoader4,解压resin-4.0.255, 点击resin.

IBM WebSphere Application Server Network Deployment 8.5.0.X 安装配置及补丁升级指南之Windows系统篇

自从IBM WebSphere Application Server(简称WAS)8.0发布以来,这个版本以及更高版本的安装与之前的WAS 5.x.6.x.7.x版本(也称传统的WAS版本)直接安装的方式做了一些变动,都需要通过IBM Installation Manager(简称IIM)安装管理工具来进行. 为方便新用户在安装时更加容易地完成安装与配置,特书写此安装指南以备参考. 下载地址为:http://www.java2class.net/bbs/viewthread.php?tid=24

CentOS 6.5+Zabbix2.0.6安装配置一. Zabbix安装1.1安装LAMP环境及依赖包

今天公司要我们安装zabbix,因为第一次安装所有遇到了很多问题都解决了,也自己写了脚本,后面会提到, 安装过程中遇到的问题我也截图出来,按我步骤安装下来,应该都没问题的.后续会分享下zabbix的使用更加详细说明文档. 现在版本换的快.不过我还是用2.0.6   这个可以用在2.2.0以上都没问题,亲自测试了. CentOS 6.5+Zabbix2.0.6安装配置 一. Zabbix安装 1.LAMP环境 #yum install mysql-server httpd php 这个需要安装下,

Hadoop2.6+Zookper3.4+Hbase1.0部署安装

继hadoop完全分布式安装后,再结合zookper+hbase安全.在之前环境配置下继续进行. 一.zookper安装 1.1 下载并解压软件 cd /software wget -c http://apache.fayea.com/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz tar -zxf zookeeper-3.4.10.tar.gz -C /usr/local/ ln -sv /usr/local/zookeeper-3.4.1