<JAVA>Hadoop安装配置(单机)

参考文献:

http://blog.csdn.net/inkfish/article/details/5168676

http://493663402-qq-com.iteye.com/blog/1515275

http://www.cnblogs.com/syveen/archive/2013/05/08/3068044.html

http://www.cnblogs.com/kinglau/p/3794433.html

环境 :Vmware11下Ubuntu14.04 LTS, Hadoop2.7.1

一 :创建账户

1.创建hadoop组 及组下hadoop用户

[email protected]:~$ sudo addgroup hadoop 
[email protected]:~$ sudo adduser --ingroup hadoop hadoop

2.添加到sudoers里面

[email protected]:~$ sudo gedit /etc/sudoers

如图

3.切换至hadoop用户

[email protected]:~$ su hadoop

二:安装配置SSH

1.从应用商店选择合适的源,比如阿里源

2.安装 openssh-server

[email protected]:/home/dogless$ sudo apt-get install openssh-server

3.启动ssh服务器

sudo /etc/init.d/ssh start
ps -e | grep ssh

4.修改为免密码登录

[email protected]:/home/dogless$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
[email protected]:/home/dogless$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

5.尝试登录与登出,两遍

三:安装JAVA

sudo apt-get install openjdk-7-jdk

四:安装配置Hadoop(单机)

1.在桌面解压Hadoop 2.7.1安装包

2.移动到/hadoop目录并赋予权限

[email protected]:/home/dogless/Desktop$ sudo mv hadoop-2.7.1 /hadoop
[email protected]:/home/dogless/Desktop$ sudo chmod 777 /hadoop

五:配置环境变量

[email protected]:/home/dogless/Desktop$ sudo gedit /etc/profile

末尾追加  (特别注意JAVA_HOME和HADOOP_INSTALL路径)

#HADOOP

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$PATH:$JRE_HOME/lib

export HADOOP_INSTALL=/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP

更新环境

[email protected]:/home/dogless/Desktop$ source /etc/profile

六:测试

1.定位到程序目录,创建测试目录input,使用Readme做数据

[email protected]:/home/dogless/Desktop$ cd /hadoop
[email protected]:/hadoop$ cp README.txt input

2.测试wordcount这个example,输出到output文件夹

[email protected]:/hadoop$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount input output

测试成功

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-10-29 05:02:47

<JAVA>Hadoop安装配置(单机)的相关文章

hadoop安装配置——伪分布模式

1. 安装 这里以安装hadoop-0.20.2为例 先安装java,参考这个 去着下载hadoop 解压 tar -xzf hadoop-0.20.2 2. 配置 修改环境变量 vim ~/.bashrc export HADOOP_HOME=/home/rte/hadoop-0.20.2 #这里为实际hadoop解压的目录位置 export PATH=$PATH:$HADOOP_HOME/bin source ~/.bashrc 配置hadoop-env.sh vim conf/hadoop

CentOS 7 Hadoop安装配置

前言:我使用了两台计算机进行集群的配置,如果是单机的话可能会出现部分问题.首先设置两台计算机的主机名 root 权限打开/etc/host文件 再设置hostname,root权限打开/etc/hostname文件设置 从机设为Slaver.Hadoop 1.安装java jdk 并配置环境 centos 自带安装了一个jdk,如果我们要自己安装jdk并配置环境的话首先卸载掉原本的jdk 在命令行模式下健入命令:yum remove java (root用户,非root用户请在命令前加sudo)

CentOS Hadoop安装配置详细

总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs.mapreduce等主从关系. 1.环境,3台CentOS7,64位,Hadoop2.7.3需要64位Linux,CentOS7 Minimal的ISO文件只有600M,操作系统十几分钟就可以安装完成,Master 192.168.6.220 Slave1 192.168.6.221 Slave2 192.168.6.222 2.SSH免密码登录,因为Hadoop需要通过SSH

Hadoop学习笔记0001——Hadoop安装配置

Hadoop配置主要事项 1. 保证Master和Slave能够ping通: 2. 配置/etc/hosts文件: 3. 能够ssh无密码切换各台主机: 4. 安装sun公司的jdk,在/etc/profile中设置好环境变量: 5. 下载Hadoop,安装.配置.搭建Hadoop集群: 1.Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(

Hadoop安装配置及问题总结

学习了一下慕课网上的hadoop教程,看着很简单,但是做起来碰到的问题确实不少.搞了一个下午,总算是搞定了,本博文主要记录一下我在配置hadoop过程碰到的一些问题.对于hadoop的鼎鼎大名,想必大家都略知一二,我也是入个门,嘎嘎! http://hadoop.apache.org/ (hadoop 官网).这里介绍的比较详细. hadoop可以在这里下载,按照现在的版本已经更新到2.7了,1.x的版本和2.x的版本听说差距挺大,且学且感受吧. 1.首先将hadoop解压到 /opt $sud

Centos下Hadoop安装配置

首先声明本人的配置是根据: http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 进行修改的,因此在这里表示感谢. 在这里我自己对于原有的文章进行了修改. 原作的某些命令不适合在centos上进行使用. 以及一些不太注意的细节,在这里我提了出来. 首先在安装之前,应先建立hadoop的用户组和hadoop用户, 然后再进行以下的安装配置.这里是很多新手都忽略的地方. 1.2 环境说明 集群中包括4个节点:1个Master,

(十二)linux下hadoop安装配置

1.准备Linux环境 1.1关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkconfig iptables --list #关闭防火墙开机启动 chkconfig iptables off 1.2修改sudo su root vim /etc/sudoers 给hadoop用户添加执行的权限 hadoop  ALL=(ALL) ALL 关闭linux服务器的图形界面:vi /

JAVA环境安装配置

dk1.6 64位是 Java 语言的软件开发工具包,主要用于移动设备.嵌入式设备上的java应用程序. jdk1.6 64位安装教程 jdk1.6 64位JDK的安装路径:D:\Program Files\Java\jdk1.6.0_43 这是jre的安装路径:D:\Program Files\Java\jre6 安装完成后对环境变量进行配置:(Win7) 计算机-属性-高级系统设置---环境变量 首先,在系统变量中新建JAVE_HOME,路径为D:\Program Files\Java\jd

hadoop安装配置

一.安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:192.168.1.100主机名:admin安装用户:root 二.安装JDK 安装JDK1.7或者以上版本.这里安装jdk1.7.0_79. 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 1,下载jdk-7u79-linux-x64.gz,解压到/usr/java/jdk1.7.0_79. 2,在/root/.bash_pr