Hadoop单机安装配置过程：

1. 首先安装JDK，必须是sun公司的jdk，最好1.6版本以上。

最后java –version 查看成功与否。

注意配置/etc/profile文件，在其后面加上下面几句：

export JAVA_HOME=/usr/local/jdk1.6.0_17    
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATH    
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

2. 安装ssh，免密码登陆。

apt-get install openssh-server 安装ssh

建立 SSH KEY：

$ ssh-keygen -t rsa -P "" （注意不要多加空格或缺少空格）

中途需要安装者选择保存密钥的文件，按回车使用默认的文件就可以了：

Enter file in which to save the key (/root/.ssh/id_rsa):（按回车）

启用SSH KEY:

$ cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

/etc/init.d/ssh reload

reload ssh

ssh localhost

3. 安装配置单机hadoop

1)解压到/opt/hadoop

Java代码

  1. $ tar zxvf hadoop-0.20.2.tar.gz
  2. $ sudo mv hadoop-0.20.2 /opt/
  3. $ sudo chown -R hadoop:hadoop /opt/hadoop-0.20.2
  4. $ sudo ln -sf /opt/hadoop-0.20.2 /opt/hadoop

4. 配置 hadoop-env.sh 
1）在hadoop/conf 里面hadoop-env.sh增加

Java代码

  1. export JAVA_HOME=/usr/jdk1.6.0.18
  2. export HADOOP_HOME=/opt/hadoop
  3. export PATH=$PATH:/opt/hadoop/bin

5.配置文件 
1)編輯 /opt/hadoop/conf/core-site.xml

Java代码

  1. <configuration>
  2. <property>
  3. <name>fs.default.name</name>
  4. <value>hdfs://localhost:9000</value>
  5. </property>
  6. <property>
  7. <name>hadoop.tmp.dir</name>
  8. <value>/tmp/hadoop/hadoop-${user.name}</value>
  9. </property>
  10. </configuration>

2)編輯 /opt/hadoop/conf/hdfs-site.xml

Java代码

  1. <configuration>
  2. <property>
  3. <name>dfs.replication</name>
  4. <value>1</value>
  5. </property>
  6. </configuration>

3)編輯 /opt/hadoop/conf/mapred-site.xml

Java代码

  1. <configuration>
  2. <property>
  3. <name>mapred.job.tracker</name>
  4. <value>localhost:9001</value>
  5. </property>
  6. </configuration>

6.格式化hdfs

Java代码

  1. $ cd /opt/hadoop
  2. $ source conf/hadoop-env.sh
  3. $ hadoop namenode -format

提示信息一大堆...

7. 启动hadoop

Java代码

  1. $ sudo ./start-all.sh //在hadoop/bin下执行

8.完成后的测试

Java代码

  1. http://localhost:50030/ - Hadoop 管理接口

启动
[[email protected] ~]$ ~/hadoop-0.21.0/bin/start-all.sh 
This script is Deprecated. Instead use start-dfs.sh and start-mapred.sh
starting namenode, logging to /home/hadoop/hadoop-0.21.0/bin/../logs/hadoop-hadoop-namenode-hadoop00.out
192.168.91.11: starting datanode, logging to /home/hadoop/hadoop-0.21.0/bin/../logs/hadoop-hadoop-datanode-hadoop01.out
192.168.91.12: starting datanode, logging to /home/hadoop/hadoop-0.21.0/bin/../logs/hadoop-hadoop-datanode-hadoop02.out
192.168.91.10: starting secondarynamenode, logging to /home/hadoop/hadoop-0.21.0/bin/../logs/hadoop-hadoop-secondarynamenode-hadoop00.out
starting jobtracker, logging to /home/hadoop/hadoop-0.21.0/bin/../logs/hadoop-hadoop-jobtracker-hadoop00.out
192.168.91.12: starting tasktracker, logging to /home/hadoop/hadoop-0.21.0/bin/../logs/hadoop-hadoop-tasktracker-hadoop02.out
192.168.91.11: starting tasktracker, logging to /home/hadoop/hadoop-0.21.0/bin/../logs/hadoop-hadoop-tasktracker-hadoop01.out

2.停止
[[email protected] ~]$ ~/hadoop-0.21.0/bin/stop-all.sh 
This script is Deprecated. Instead use stop-dfs.sh and stop-mapred.sh
stopping namenode
192.168.91.12: stopping datanode
192.168.91.11: stopping datanode
192.168.91.10: stopping secondarynamenode
stopping jobtracker
192.168.91.11: stopping tasktracker
192.168.91.12: stopping tasktracker

初始配置HDFS 
1、 格式化HDFS文件系统
[[email protected] ~]$ hadoop namenode -format

2、 查看HDFS
[[email protected] ~]$ hadoop fs -ls /
11/09/24 07:49:55 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/09/24 07:49:56 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
Found 4 items
drwxr-xr-x   - hadoop supergroup          0 2011-09-22 08:05 /home
drwxr-xr-x   - hadoop supergroup          0 2011-09-22 11:29 /jobtracker
drwxr-xr-x   - hadoop supergroup          0 2011-09-22 11:23 /user

3、 通过WEB查看hadoop
查看集群状态 http://192.168.91.10:50070/dfshealth.jsp

查看JOB状态 http://192.168.91.10:50030/jobtracker.jsp

运行hadoop的example-wordcount 
Wordcount程序是一个简单的计算输入文件中每个单词出现的次数，并输出到指定的目录下。该程序是官方的例子，在hadoop-0.21.0安装目录下的：hadoop-mapred-examples-0.21.0.jar

在hdfs上建立程序的输入目录和文件，同时建立程序的输出目录.
[[email protected] ~]$ mkdir input
[[email protected] ~]$ cat a a a a a b b b c c c c c c c c c 1 1 1 > input/file
[[email protected] ~]$ hadoop fs –mkdir /wordcount
[[email protected] ~]$ hadoop fs –put input /wordcount

[[email protected] ~]$ hadoop jar hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jar wordcount /wordcount/input /wordcount/output
11/09/24 08:11:25 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/09/24 08:11:26 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
11/09/24 08:11:26 WARN mapreduce.JobSubmitter: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
11/09/24 08:11:26 INFO input.FileInputFormat: Total input paths to process : 2
11/09/24 08:11:26 WARN conf.Configuration: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps
11/09/24 08:11:26 INFO mapreduce.JobSubmitter: number of splits:2
11/09/24 08:11:27 INFO mapreduce.JobSubmitter: adding the following namenodes‘ delegation tokens:null
11/09/24 08:11:27 INFO mapreduce.Job: Running job: job_201109240745_0002
11/09/24 08:11:28 INFO mapreduce.Job:  map 0% reduce 0%
11/09/24 08:11:44 INFO mapreduce.Job:  map 50% reduce 0%
11/09/24 08:11:50 INFO mapreduce.Job:  map 100% reduce 0%
11/09/24 08:11:57 INFO mapreduce.Job:  map 100% reduce 100%
11/09/24 08:11:59 INFO mapreduce.Job: Job complete: job_201109240745_0002
11/09/24 08:11:59 INFO mapreduce.Job: Counters: 34
……

[[email protected] ~]$ hadoop fs -cat /wordcount/output/part-r-00000
11/09/24 08:18:09 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/09/24 08:18:09 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
1       3
a       5
b       3
c       9

时间： 2024-09-28 20:27:58

Hadoop单机安装配置过程：的相关文章

Hadoop单机版安装配置

[toc] Hadoop单机版安装配置 前言 Hadoop单机版本的环境搭建比较简单,这里总结一下. Centos基本配置 网络配置 IPADDR=192.168.43.101 NETMASK=255.255.255.0 GATEWAY=192.168.43.2 DNS1=202.96.128.166 DNS2=202.96.128.86 配置完成后重启网络: service network restart 修改主机名和IP地址映射文件 vim /etc/sysconfig/network 将H

openvpn安装配置过程

前言 之前为了方便远程办公时访问公司的内部系统,如:svn.OA.wiki.禅道等等:通通在防火墙上做了端口映射.然后 有个内部系统被黑了,各种弱口令没办法.果断关闭端口映射,看来还是得搭建个VPN服务器,vpn设备感觉大材小用.马上就想到了开源的openvpn, 下面就来介绍openvpn的安装配置过程. openvpn简介 官方网站:https://openvpn.net 打不开请爬墙 openssl原理:http://www.178linux.com/archives/2704 参考书生的

minicom在虚拟机（linux）安装配置过程

1. minicom需要ncurses库的支持,否则安装会有问题. A. 下载ncurses.我选择是ncurses-5.6.tar.gz 下载地址:http://directory.fsf.org/project/ncurses/ B. 解压缩到/opt/ncurses目录下.# tar zxvf ncurses-5.5.tar.gz –C /opt/ncurses C. 到ncurses目录下,配置编译ncurses. 源码安装的三个步骤(configure.make.make instal

游戏服务端pomelo完整安装配置过程

游戏服务端pomelo安装配置 一.安装环境 debian 7.0 amd64 二.安装需要的组件 1.安装nodejs 注:debian下nodejs没有相应的apt包,所以无法用apt-get安装,只能通过nodejs的源码包安装, 这里有比较全的其他系统环境下安装nodejs的方式https://github.com/joyent/node/wiki/Installing-Node.js-via-package-manager a.安装所需的组件,python g++ #apt-get i

sonar安装配置过程

1.下载sonarqube(下载社区版不需要许可证),sonarscanner,安装jdk,数据库,本次安装使用jdk1.7+mysql5.7(安装配置过程不详述,自行百度).2.数据库新建数据库sonar.3.解压sonarqube进入conf目录下,sonar.properties添加配置 #数据库地址 sonar.jdbc.url=jdbc:mysql://localhost:3306/sonar?useUnicode=true&characterEncoding=utf8&rewr

Linux下Kafka单机安装配置方法(图文)

Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢 介绍 Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: •Kafka将消息以topic为单位进行归纳.•将向Kafka topic发布消息的程序成为producers.•将预订topics并消费消息的程序成为consumer.•Kafka以集群的

Hadoop的安装配置

一.安装CentOS 过程略 下载地址:链接:https://pan.baidu.com/s/1nursRf23DjI5ynmuVvUYuw 提取码:76xk 二.配置CentOS网络设置 1.进入网络配置cd /etc/sysconfig/network-scripts 2.打开ens33配置vi ifcfg-ens33 3.编辑配置 将BOOTPROTO改为static静态添加IPADDRIP地址添加NETMASK子网掩码添加GATEWAY网关地址添加DNS1,DNS2域名解析地址TYPE=

windows 下android react native详细安装配置过程

写在前面: 在网上搜了很多安装配置文档,感觉没有一个真的跟我安装的过程一模一样的,东拼拼西凑凑,总算是装好了,我不会告诉你,断断续续,我花了两天时间...一到黑屏报错就傻眼,幸好在react群里遇到了热心的同行,还有同事的帮助...废话就到这里了,此处只是记录我自己装载的过程,系统环境各种不一样,可能或多或少有差异. 我的电脑,windows7 64位之前已经装了eclipise,java,jdk,所以,有些安装文档上面的java的jdk和c++,我电脑上并不需要. 这里我还是都粘贴上来. 参考

详细到复制粘贴就能完成的java开发软件的安装配置过程

java开发与发布过程中需要安装很多软件,这些软件的安装过程通常不是鼠标双击就能解决的,但也不难,只是很少有人会花精力去记住,我将这些软件的安装过程整理出来,以备参考!整理过程以centos 6.5平台为主,其他linux版本也可以参考 jdk java开发最重要的自然是jdk,就从jdk的安装开始吧(windows安装jdk与linux基本相同) 从oracle官方网站下载jdk安装包:jdk-8u111-linux-x64.rpm 安装前检查是否有系统自带的jdk或已经安装的jdk,如果有的