Hadoop 2.5.1 + HBase 0.98 单机

Package path: [email protected]:~/something/download

=====================================================================

1 安装环境

代码:

sudo apt-get install openssh-server  
sudo apt-get install default-jdk

2 安装hadoop

代码:

wget http://mirror.ox.ac.uk/sites/rsync.apache.org/hadoop/common/hadoop-2.5.1/hadoop-2.5.1.tar.gz
tar xzf hadoop-2.4.0.tar.gz
sudo mv hadoop-2.4.0/ /usr/local
cd /usr/local
sudo ln -s hadoop-2.4.0/ hadoop

3 加一个 hadoop 用户

代码:

sudo adduser hadoop
sudo chown -R hadoop:hadoop /usr/local/hadoop*
sudo su - hadoop
ssh-keygen -t rsa -P ""
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
sudo mkdir /usr/local/hadoop/tmp

4 配置 hadoop
修改 /usr/local/hadoop/etc/hadoop/hadoop-env.sh 在 export JAVA_HOME=${JAVA_HOME} 行前面插入如下内容

代码:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

修改 /usr/local/hadoop/etc/hadoop/core-site.xml 在 <configuration> 后面增加

代码:

<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/hadoop/tmp</value>
</property>

5 格式化 hadoop

代码:

/usr/local/hadoop/bin/hadoop namenode -format

6 启动 hadoop

代码:

/usr/local/hadoop/sbin/start-all.sh

7 测试 hadoop

代码:

/usr/local/hadoop/bin/hadoop fs -df

#8 停止 hadoop
#/usr/local/hadoop/sbin/stop-all.sh

9 退出 hadoop 用户
exit
--------------------------------------
HBASE

1 安装:

代码:

wget http://mirror.bit.edu.cn/apache/hbase/stable/hbase-0.98.6-hadoop2-bin.tar.gz
tar xzf hbase-0.98.6-hadoop2-bin.tar.gz
sudo mv hbase-0.98.6-hadoop2 /usr/local/
cd /usr/local/
sudo ln -s hbase-0.98.6-hadoop2/ hbase              
sudo chown -R hadoop:hadoop hbase*

2 配置:

代码:

sudo su - hadoop

编辑 /usr/local/hbase/conf/hbase-env.sh 找到 export JAVA_HOME 的行,在后面插入:

代码:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HBASE_HOME=/usr/local/hbase

编辑 /usr/local/hbase/conf/hbase-site.xml 在 <configuration> 行后面插入:

代码:

<property>
    <name>hbase.rootdir</name>
    <value>hdfs://localhost:9000/hbase</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

3 启动:

代码:

/usr/local/hbase/bin/start-hbase.sh

4 测试:

代码:

/usr/local/hbase/bin/hbase shell
hbase(main):001:0> status

#5 关闭:
#/usr/local/hbase/bin/stop-hbase.sh

时间: 2024-10-13 16:55:07

Hadoop 2.5.1 + HBase 0.98 单机的相关文章

Nutch 2.x + Hadoop 2.5.2 + Hbase 0.94.26

一开始运行Nutch 2.x 总是报下面这个错误: java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.Counter, but class was expected 这个问题足足折腾了2天,查了无数资料,始终不能解决问题,虽然问题定位在Nutch 编译的时候使用了Hadoop 1.x,然后运行的时候是在Hadoop 2.x上,但是始终找不到到底什么时候依赖了hadoop-core

hbase 0.98.1集群安装

本文将基于hbase 0.98.1解说其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接:http://blog.csdn.net/bluishglc/article/details/24593597,转载请注明出处. 1. 安装与配置 1.1. 前置条件 确保已经安装了hadoop并保证hadoop运行正常.关于hbase与hadoop的版本号依赖关系,请參考:  https://hbase.apache.org/book/configuration.html#hado

hadoop2 hive0.13.0 hbase 0.98.2版本集成错误总结

一. hadoop2.2.0的安装启动错误总结 关于hadoop在启动时datanode无法启动问题 1.core-site.xml文件中没有配置从节点 2.slave配置文件中没有添加从节点 3.所有节点的host链表不统一或有错位 4.因为多次formate namenode造成namenode和datanode的clusterID不一致 解决方案: 删除所有节点/home/hadoop/hadoop-2.2.0/dfs/data/下 curren目录 <name>hadoop.tmp.d

在Eclipse上建立hbase 0.98.3/0.96.2源代码阅读环境

2.1. 切换到源代码目录,执行: mvn install -DskipTests -Dhttp.proxyHost=proxy01.cd.intel.com -Dhttp.proxyPort=911 黄色部分作用为设置代理.由于本人的编译环境在公司内网,所以需要设置代理 2.2. 生成eclipse项目环境: mvn eclipse:eclipse -DskipTests -Dhttp.proxyHost=proxy01.cd.intel.com -Dhttp.proxyPort=911 2.

HBASE 0.98版本安装,二步曲:安装HADOOP到集群

1.准备4台服务器 一台作为namenode 192.168.137.101 hd1 三台作为datanode 192.168.137.102 hd2192.168.137.103 hd3192.168.137.104 hd4 2.拉平所有服务器的时间 使用ntpdate 略 3.配置多机互信 略 4.解压hadoop tar zxvf hadoop-2.2.0.tar.gz 5.移动hadoop到相应位置 mv hadoop-2.2.0 /home/hadoop/hadoop 6.在namen

HBASE 0.98版本安装,四步曲:安装HBAES 0.98

1.下载hbase-0.98.2-hadoop2-bin.tar.gz 2.解压缩 3.挪动hbase到相应的位置去/home/hadoop/hbase 4.配置hbase /home/hadoop/hbase/conf/hbase-site.xml <property> <name>hbase.rootdir</name> <value>hdfs://hd1:9000/hbase</value> </property> <pr

Spark 1.1.0 编译(为了支持hbase 0.98.6)

为了支持hbase0.98.6,需要重新编译spark 1. 下载spark 1.1.0源代码,以及 scala-2.10.4的bin包. 将环境变量 SCALA_HOME 设置为 scala-2.10.4 的目录位置. 2. 下载较新的pom.xml (https://github.com/tedyu/spark) 将该repository中的 spark/pom.xml和spark/examples/pom.xml下载下来,覆盖至用于编译的spark源代码中. 3. 进入源代码目录编译 ex

HBASE 0.98版本安装,一步曲:编译HADOOP 2.2.0 x64版本

1.安装JDK 下载JDK 7u55版本,安装JDK和JRE都需要,JDK里面有tools.jar,这个jar包是一定需要的安装在/java上 2.下载Hadoop 2.2.0源代码 wget http://apache.dataguru.cn/hadoop/common/stable/hadoop-2.2.0-src.tar.gz解压缩tar zxvf hadoop-2.2.0-src.tar.gz -C /tmp 3.安装依赖包 yum -y install lzo-devel zlib-d

HBASE 0.98版本安装,三步曲:安装Zookeeper 3.4.5

1.下载zookeeper 3.4.5 2.解压 3.挪到合适的位置 /home/hadoop/zookeeper 4.设置一个zookeeper放置数据的位置 /home/hadoop/zk 5.修改zookeeper配置文件 vim /home/hadoop/zookeeper/conf/zoo.cfg tickTime=2000initLimit=10syncLimit=5dataDir=/home/hadoop/zkclientPort=2181 server.1=hd1:2888:38