Hadoop安装指引

环境：

Ubuntu16.04

机器：

192.168.1.105
namenode

192.168.1.102
datanode1

0、配置节点信息

sudo
gedit /etc/hosts

#加入下面的信息

192.168.1.105
namenode

192.168.1.102
datanode1

sudo
gedit /etc/hostname #修改主机名称

#上面的内容电脑重启后生效

1、在Ubuntu下创建hadoop组和hadoop用户

1.1、创建hadoop用户组

如果不是在root下登录需要

@ubuntu:~$
sudo addgroup hadoop

1.2、创建hadoop用户

@ubuntu:~$
sudo adduser -ingroup hadoop hadoop

1.3、为hadoop用户添加权限(和root权限一样)

sudo
gedit /etc/sudoers

在#User
privilege specification 添加

root ALL=(ALL:ALL)
ALL

hadoop ALL=(ALL:ALL)
ALL

2、用新增加的hadoop用户登录Ubuntu系统

su
hadoop

3、安装ssh

3.1、下载：sudo
apt-get install openssh-server

安装完成后，启动服务

3.2、启动：sudo
/etc/init.d/ssh start

查看服务是否正确启动：ps
-e | grep ssh

设置ssh免密码登录

#
su hadoop

$
ssh-keygen -t rsa

$
ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]

$
chmod 0600 ~/.ssh/authorized_keys

$
exit

在namenode节点操作

mkdir -p $HOME/.ssh
chmod 700 $HOME/.ssh
ssh-keygen -t rsa -P ‘‘ -f $HOME/.ssh/id_rsa
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
chmod 644 $HOME/.ssh/authorized_keys
Copy the public key to new slave node in hadoop user $HOME directory
scp $HOME/.ssh/id_rsa.pub [email protected]:/home/hadoop/

在datanode上操作

cd $HOME
mkdir -p $HOME/.ssh
chmod 700 $HOME/.ssh
cat id_rsa.pub >>$HOME/.ssh/authorized_keys
chmod 644 $HOME/.ssh/authorized_keys

4、安装jdk

$su

password

到oracle网站下载64位或者32位的jdk(根据自己的操作系统位数)

mkdir /usr/lib/jvm

tar -zxf jdk...

# mv jdk1.8.0_101 /usr/lib/jvm

# exit

添加

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_101

export PATH=PATH:$JAVA_HOME/bin

5、安装hadoop

mkdir
/home/hadoop

sudo
tar xzf hadoop-2.7.3.tar.gz

mv
hadoop-2.7.3 /home/hadoop

#修改hadoop-2.7.3为hadoop

mv
hadoop-2.7.3 hadoop

chmod
777 /home/hadoop/hadoop

!!!!!hadoop文件配置

在hadoop下面建立dfs文件家

cd
/home/hadoop/hadoop

hadoop$
mkdir dfs

hadoop$
mkdir dfs/name

hadoop$
mkdir dfs/name/data

cd
/home/hadoop/hadoop/etc/hadoop

sudo
gedit core-site.xml

<name>fs.default.name</name>

<value>hdfs://namenode:9000</value>

</property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

sudo
gedit hdfs-site.xml

<value>file:/home/hadoop/hadoop/dfs/name/data</value>

</property>

<value>file:/home/hadoop/hadoop/dfs/name</value>

</property>

<name>dfs.replication</name>

</property>

</configuration>

sudo
gedit mapred-site.xml.template

<name>mapreduce.framework.name</name>

</property>

</configuration>

<!--

<name>mapred.job.tracker</name>

<value>hdfs://namenode:9001</value>

</property>

</configuration>

–->

配置yarn文件

sudo
gedit yarn-site.xml

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce.shuffle</value>

</property>

<description>The
address of the applications manager interface in the
RM.</description>

<name>yarn.resourcemanager.address</name>

</property>

<description>The
address of the scheduler interface.</description>

<name>yarn.resourcemanager.scheduler.address</name>

</property>

<description>The
address of the RM web application.</description>

<name>yarn.resourcemanager.webapp.address</name>

</property>

<description>The
address of the resource tracker interface.</description>

<name>yarn.resourcemanager.resource-tracker.address</name>

</property>

</configuration>

su
gedit slaves

#输入slave节点

datanode1

sudo
gedit masters

#输入namenode节点

namenode

!!!!!hadoop文件配置

配置.bashrc文件

sudo
gedit ~/.bashrc

#HADOOP
VARIABLES START

export
JAVA_HOME=/usr/lib/jvm/jdk1.8.0_101

export
HADOOP_HOME=/home/hadoop/hadoop

export
PATH=$PATH:$HADOOP_HOME/bin

export
PA TH=$PATH:$HADOOP_HOME/sbin

export
HADOOP_MAPRED_HOME=$HADOOP_HOME

export
HADOOP_COMMON_HOME=$HADOOP_HOME

export
HADOOP_HDFS_HOME=$HADOOP_HOME

export
YARN_HOME=$HADOOP_HOME

export
HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export
HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

#HADOOP
VARIABLES END

用命令使配置生效：source
~/.bashrc

5.6在hadoop-env.sh配置java环境变量

sudo
gedit /home/hadoop/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME环境变量，修改如下

export
JAVA_HOME=/usr/lib/jvm/jdk1.8.0_101

7、在slavenode上安装hadoop

#
su hadoop

$
cd /home/hadoop

$
scp -r hadoop slavenode:/home/hadoop

8、启动hadoop

cd
/home/hadoop/hadoop/bin

hadoop
namenode -format
#注意启动一次后再次启动的时候可能会导致集群中datanodes节点的dfs中data文件下version过期导致无法在slave节点上创建datanode,可以修改VERSION中layoutVersion和namenode中的一致来完成同步或者删除VERSION

cd
/home/hadoop/hadoop/sbin

start-all.sh

时间： 2024-10-24 10:06:09

Hadoop安装指引的相关文章

hadoop安装教程

hadoop的核心 Hadoop的核心就是HDFS和MapReduce,而两者只是理论基础,不是具体可使用的高级应用,Hadoop旗下有很多经典子项目,比如HBase.Hive等,这些都是基于HDFS和MapReduce发展出来的.要想了解Hadoop,就必须知道HDFS和MapReduce是什么. HDFS HDFS(Hadoop Distributed File System,Hadoop分布式文件系统),它是一个高度容错性的系统,适合部署在廉价的机器上.HDFS能提供高吞吐量的数据访问,适

SAS9.3 64位版Win7安装指引

SAS9.3 64位版安装指引换了新电脑,安装原来使用的SAS9.2之后,增强型编辑器一直不能被加载,尝试了各种方法,浪费了一天的时间.无奈下载了SAS9.3 64位版本,但是安装也不顺利,当然主要是JDK出现了问题,参考了网友的文章,顺利完成了安装,另注操作系统为win7 64位版. 原文地址:http://f.dataguru.cn/thread-161588-1-1.html 1,主要流程,来源于网络: 操作系统: win7中文旗舰版 64位 SAS: 9.3 64位安装之前的准备工作

转载：Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住.加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情. 本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1

分布式Hadoop安装

本文旨在介绍通过两台物理节点,实现完全分布式hadoop程序的部署 writen by [email protected] 环境介绍: 主机名机器IP 用途描述 Hadoop0 192.168.80.101 Namenode secondaryNamenode jobTracker CentOS6.4 jdk-6u24-linux-i586 hadoop-1.1.2 Hadoop1 192.168.80.102 Datanode taskTracker CentOS6.4 jdk-6u24-

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

参见:http://www.powerxing.com/install-hadoop/ 完全拷贝至上面网址环境本教程使用 Ubuntu 14.04 64位作为系统环境(Ubuntu 12.04 也行,32位.64位均可),请自行安装系统. 如果用的是 RedHat/CentOS 系统,请查看相应的CentOS安装Hadoop教程_单机伪分布式配置. 本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,

hadoop安装和hadoop pipes编程说明

本篇文章主要是对hadoop pipes编程的一些问题的备注,对于网上常见的问题,并未完全写入. 安装基础环境:3台基于centos7的虚拟机(1个master,2个slave:slave1.slave2).hadoop-2.6.0 1. hadoop安装主要参考的网址是:hadoop参考安装 2. linux配置ssh免密码登录,具体参考的是:centos ssh免密码登录 tips: 1. 三个虚拟机的一定要用一样的帐号,即用户名.如果不一样的话,通过ssh进行免密码登录时会出现问题.比如

Alex 的 Hadoop 菜鸟教程: 第4课 Hadoop 安装教程 - HA方式 (2台服务器)

声明本文基于Centos 6.x + CDH 5.x 官方英文安装教程 http://www.cloudera.com/content/cloudera/en/documentation/cdh5/v5-0-0/CDH5-Installation-Guide/cdh5ig_cdh5_install.html 本文并不是简单翻译,而是再整理如果没有yum源请参考http://blog.csdn.net/nsrainbow/article/details/36629339#t2 准备工作用vm

Hadoop安装（Ubuntu Kylin 14.04）

安装环境:ubuntu kylin 14.04 haoop-1.2.1 hadoop下载地址:http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/ 1.安装JDK,这里要注意的是:要想在hadoop中使用,则需要在hadoop下输入命令:source /etc/profile 来实现,然后用java -version 测试看看是否生效了. 2.创建hadoop用户和用户组(切换到root) 创建hadoop用户组 sudo ad

手把手教你hadoop安装

<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:dt="uuid:C2F41010-65B3-11d1-A29F-00AA00C14882" xmlns:m="h