Hadoop的安装(Ubuntu 12.10为例)

1. JDK安装

a)
安装目录：网上的安装JDK资料中安装目录基本有两种——/opt和/usr/local。这两个目录安装在哪里其实都无所谓，只不过在以前的linux中人们习惯将软件安装在/usr/local中。这里推荐/opt目录。

b) 配置文件：将JDK同时配置在/etc/profile和/etc/bash.bashrc中

c)
下载32位或64位JDK安装文件，形如jdk-6u37-linux-i586.bin或jdk-6u37-linux-x64.bin

d) 拷贝JDK文件到/opt目录：

# mv jdk-6u37-linux-x64.bin /opt

e) 授权，并执行：

chmod +x
jdk-6u37-linux-x64.bin
./jdk-6u37-linux-x64.bin

f) 设置环境变量：

vim /etc/profile
vim /etc/bash.bashrc

在两个文件的末尾都加上下面一段

#set java environment
export
JAVA_HOME=/opt/jdk1.6.0_37
export
JRE_HOME=/opt/jdk1.6.0_37/jre
export
CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

g) 重新打开终端，测试是否安装成功：

java –version

注1：本部分参考http://www.neversaydie.cc/ubuntu-install-jdk-in-detailed/，谢谢原作者。

注2：或者可以省略以上步骤，直接：

sudo apt-get install openjdk-6-jdk

java -version

2. 安装SSH

a) 安装SSH,运行：

sudo apt-get install ssh

b) 启动服务：

sudo /etc/init.d/ssh start

c) 通过如下命令查看服务是否正确启动：

ps -e | grep ssh

d) 设置成免密码登录，生成私钥和公钥，创建一个空密钥：

ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa
cat
~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3. Hadoop基本设置

a) 设定hadoop-env.sh：

进入hadoop目录，打开conf目录下到hadoop-env.sh，添加以下信息：
export
JAVA_HOME=/usr/lib/jvm/java-6-openjdk
(视你机器的java安装路径而定)
export
HADOOP_HOME=/usr/local/hadoop
export
PATH=$PATH:/usr/local/hadoop/bin

b) 让环境变量配置生效source：

~$ source /opt/hadoop/conf/hadoop-env.sh

c) 运行一下hadoop自带的例子WordCount来感受以下MapReduce过程：

在hadoop目录下新建input文件夹

~$ mkdir input

将conf中的所有文件拷贝到input文件夹中

~$ cp conf/* input<span style="font-family: Arial, Helvetica, sans-serif; white-space: normal; background-color: rgb(255, 255, 255); "> </span>

运行WordCount程序，并将结果保存到output中

~$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output

观察结果

~$ cat output/*

4. Hadoop伪分布安装

a) 解压hadoop文件，修改配置：

conf/core-site.xml:
<configuration>
　　<property>

　　　　<name>fs.default.name</name>

　　　　<value>hdfs://localhost:9000</value>

　　</property>
</configuration>

conf/hdfs-site.xml:
<configuration>

　　<property>

　　　　<name>dfs.replication</name>

　　　　<value>1</value>

　　</property>
</configuration>

conf/mapred-site.xml:
<configuration>
　　<property>
　　　　<name>mapred.job.tracker</name>
　　　　<value>localhost:9001</value>
　　</property>
</configuration>

b) 格式化HDFS文件系统:bin/hadoop namenode -format

c) 启动：bin/start-all.sh

d) jps查看JVM实例：

xxx TaskTracker
xxx DataNode
xxx JobTracker
xxx
SecondaryNameNode
xxx Jps
xxx NameNode

e) 查看地址：

NameNode - http://localhost:50070/
JobTracker -
http://localhost:50030/

5. Hadoop全分布安装

a) 集群机器三台：

192.168.56.101 master
192.168.56.102 slave1
192.168.56.103
slave2
保证各集群机安装了java,下载hadoop安装文件
为了方便管理可创建一个特定的用户：
sudo
addgroup hadoop
sudo adduser --ingroup hadoop hadoop

b) 将hadoop文件的拥有者改为hadoop用户：

sudo chown -R hadoop:hadoop hadoop

c) 通过hadoop账号配置SSH,具体过程参见上文

vim /etc/hosts
192.168.56.101
master
192.168.56.102 slave1
192.168.56.103
slave2

e) 修改/etc/hostname的主机名（如;master,slave1等）

f) 配置hadoop-env.sh的export JAVA_HOME=

以下配置的目录需要确认有权限和目录存在，否则会出现问题。
conf/core-site.xml:
<configuration>
　　<property>
　　　　<name>fs.default.name</name>
　　　　<value>hdfs://master:9000</value>
　　　　<final>true</final>
　　</property>
　　<property>
　　　　<name>hadoop.tmp.dir</name>
　　　　<value>/data/hadoop/tmp</value>
　　　　<final>true</final>
　　</property>
</configuration>

conf/hdfs-site.xml:
<configuration>
　　<property>
　　　　<name>dfs.replication</name>
　　　　<value>2</value>
　　　　<final>true</final>
　　</property>
　　<property>
　　　　<name>dfs.name.dir</name>
　　　　<value>/data/hadoop/hdfs/name</value>
　　　　<final>true</final>
　　</property>
　　<property>
　　　　<name>dfs.data.dir</name>
　　　　<value>/data/hadoop/hdfs/data</value>
　　　　<final>true</final>
　　</property>
</configuration>

conf/mapred-site.xml:
<configuration>
　　<property>
　　　　<name>mapred.job.tracker</name>
　　　　<value>master:9001</value>
　　</property>
</configuration>

conf/masters:
master

conf/slaves:
slave1
slvae2

g) 最后启动hadoop:

bin/hadoop namenode -format#set java
environment
bin/start-all.sh

10) 一些基本测试：

Copy the input files into the distributed filesystem: 
$
bin/hadoop fs -put conf input

Run some of the examples provided: 
$ bin/hadoop jar
hadoop-examples-*.jar grep input output ‘dfs[a-z.]+‘

Examine the output files:

Copy the output files from the distributed filesystem to the local
filesytem and examine them: 
$ bin/hadoop fs -get output
output 
$ cat output/*

View the output files on the distributed filesystem:

$ bin/hadoop fs -cat output/*

When you‘re done, stop the daemons with: 
$
bin/stop-all.sh

PS:注意文件权限问题。。启动的适合我发现以下这个问题

WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory
in dfs.data.dir: Incorrect permission for /xxx/data, expected: rwxr-xr-x,
while actual: rwxrwxr-x
通过修改文件权限解决了

注：本部分参考http://my.oschina.net/u/220934/blog/130021，谢谢原作者。

时间： 2024-08-25 19:46:13

Hadoop的安装(Ubuntu 12.10为例)的相关文章

Ubuntu 12.10 安装vim出错

在Ubuntu 12.10中安装vim时出现了如下提示: 正在读取软件包列表... 完成正在分析软件包的依赖关系树 正在读取状态信息... 完成 有一些软件包无法被安装.如果您用的是 unstable 发行版,这也许是因为系统无法达到您要求的状态造成的.该版本中可能会有一些您需要的软件包尚未被创建或是它们已被从新到(Incoming)目录移出.下列信息可能会对解决问题有所帮助:下列软件包有未满足的依赖关系: vim : 依赖: vim-common (= 2:7.3.429-2ubuntu2.1

Ubuntu 12.10 server 安装 Jenkins（搭建）

1.查看Java 是否安装 java -version 2.安装Jenkins wget -q -O - http://pkg.jenkins-ci.org/debian/jenkins-ci.org.key | sudo apt-key add - sudo sh -c 'echo deb http://pkg.jenkins-ci.org/debian binary/ > /etc/apt/sources.list.d/jenkins.list' sudo apt-get update su

在Ubuntu 12.10上安装VirtualBox

首先,根据以下官方指引进行安装: https://www.virtualbox.org/wiki/Linux_Downloads 因此,根据你的操作系统的版本号在/etc/apt/sources.list添加以下记录: deb http://download.virtualbox.org/virtualbox/debian trusty contrib deb http://download.virtualbox.org/virtualbox/debian saucy contrib deb h

Ubuntu 12.10 安装JDK7

1.首先到oracle下载上下载jdk-7u25-linux-i586.tar.gz 2.将jdk-7u25-linux-i586.tar.gz拷贝到/usr/lib/jvm/目录下面,这里如果没有jvm文件夹,则创建该文件夹 sudo mkdir jvm  //创建文件夹jvm sudo cp -r  ~/download/jdk-7u25-linux-i586.tar.gz   /usr/lib/jvm sudo tar -xzvf jdk-7u25-linux-i586.tar.gz 3.

Ubuntu 12.10安装Bochs 2.6, 调试linux-0.11内核

http://blog.csdn.net/sinzou1/article/details/5903968 Linux(ubuntu)安装bochs http://wenku.baidu.com/view/f968e23b0912a21614792914.html ubuntu下安装bochs http://www.linuxidc.com/Linux/2011-07/38371.html Ubuntu 10.04安装Bochs 2.4.5笔记 http://blog.csdn.net/trace

【Linux】Windows 7下硬盘安装Ubuntu 14.10图文教程

本文转载自:http://www.linuxidc.com/Linux/2014-10/108430.htm 著名的Linux发行版 Ubuntu 系统已经释出最新的 14.10 版,同时大家也可能不知道其实它已经十岁了.与半年前的14.10相比,这次Ubuntu 14.10系统升级的修改幅度很小,外观界面几乎保持原样,增加了安装动画. 它的第一次公布时间为 2004 年的 10 月呢.在这次十周年更新中,Ubuntu 为用户带来一个 Developer Tools Centre,让他们可以一次

解决Ubuntu 12.10中ZIP文件名乱码的方法

转摘源地址:http://blog.csdn.net/jiangxinyu/article/details/8206395 安装(12.04及以上): 代码: sudo apt-get install unar 假设需要解压的ZIP包是foo.zip 代码: lsar foo.zip #列出所有文件 如果列出的文件名已经正确 代码: unar foo.zip #解压所有文件 如果列出的文件名还不正确 代码: lsar -e GB18030 foo.zip #指定使用GB18030编码列出所有文件

U盘安装 Ubuntu 12.04 Server LTS

折腾了半天12.04 server版,遇到的问题,貌似难度比10.04大很多: 首先是低版本的ultraISO不支持12.04映像刻录,只显示出EFI, 所以只能下个高版本的9.5.5(UUI被证明是不可行的) 其次是按照10.04来做的话,Help->F6根本没有地方输入installcdrom-detect/try-usb=true.(找了好久,实在是找不到,网上没有找到的...好吧,其实就是没有) 经过各种折腾,在网上看到一个很有价值的文章,终于试成功了一个办法: 1. 用UltraISO

Linux - Ubuntu中文输入法安装(Ubuntu 12.04)

Ubuntu中文输入法安装(Ubuntu 12.04) 本文地址:http://blog.csdn.net/caroline_wendy Ubuntu作为Linux常见的操作系统,是须要熟练使用的. 在安装过程中,输入法有时会出现故障,须要手动安装. 点击System Settings:找到Language Support. Install/Remove Language,找到Chinese(simplified).并点击Apply Changes,就可以. 安装完成之后,Keyboard in