CentOS6.3安装Hadoop2.4.1

修改主机名和IP的映射关系

vim /etc/hosts

192.168.1.168        cacgg168

安装java

export JAVA_HOME=/usr/java/jdk1.6.0_45

export JRE_HOME=/usr/java/jdk1.6.0_45/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH

安装hadoop

mkdir /cloud

#解压到/cloud/目录下

tar -zxvf hadoop-2.4.1.tar.gz -C /cloud/

修改配置文件

hadoop-env.sh

vim hadoop-env.sh

#第27行

export JAVA_HOME=/usr/java/jdk1.6.0_45

core-site.xml

<property>

<name>fs.defaultFS</name>

<value>hdfs://cacgg168:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/cloud/hadoop-2.4.1/tmp</value>

</property>

hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

mv mapred-site.xml.template mapred-site.xml

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

yarn-site.xml

<property>

<name>yarn.resourcemanager.hostname</name>

<value>cacgg168</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

export HADOOP_HOME=/cloud/hadoop-2.4.1

$HADOOP_HOME/bin:$HADOOP_HOME/sbin

时间: 2024-10-26 22:16:41

CentOS6.3安装Hadoop2.4.1的相关文章

centos6.5 安装hadoop2.7.6 1master2node

环境采用centos 6.5最小化安装,hadoop下载的hadoop2.7.6.tar.gz安装,Java下载的oracle官网的1.8.0_172的包安装. 参考了别人的文档,遇到了不同的问题. 1. 3台centos6.5 vmware 192.168.17.205 Master192.168.17.206 hadoop1192.168.17.207 hadoop2为三台主机添加同一用户,设置密码: 添加用户useradd hadoop修改密码passwd hadoop SSH 免密码登录

centos6.4安装hadoop2.4.1

#关闭防火墙 service iptablesstop 1:安装JDK 1.1上传jdk-7u_65-i585.tar.gz 1.2解压jdk #创建文件夹 mkdir /home/hadoop/app #解压 tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app 1.3将java添加到环境变量中 sudo vim /etc/profile #在文件最后添加 export JAVA_HOME=/home/hadoop/app/jdk-7

Centos6下安装Hadoop2.6 问题总结

一. 安装背景:VirtualBox下安装三台Centos6.8虚拟机(一主:master, 两从:slave1,slave2) Centos版本:CentOS-6.8-x86_64 网络配置:三台虚拟机配置静态IP,并配置主机名master,slave1,slave2 系统配置:安装JDK,增加hadoop用户(三台都需要) Hadoop安装包:hadoop-2.6.0-cdh5.6.0.tar.gz 无密码ssh:配置ssh无密码连接(master->slave1, master->sla

CentOS6.7 安装hadoop2.7.5

一.下载hadoop二进制包 下载地址:http://mirrors.hust.edu.cn/apache/hadoop/common/ 二.环境准备 1.安装JDK(1.8.0_151) 2.安装openssh-clients 注意: CentOS6.7 默认没有安装openssh-clients,导致系统没有ssh命令,而hadoop脚本中会使用ssh命令,如果不装openssh-clients,启动服务器时会报错 三.安装hadoop tar zxf hadoop-2.7.5.tar.gz

64bit Centos6.4编hadoop-2.5.1

64bit Centos6.4编hadoop-2.5.1   1.说明 a)       因为从apache下载下来的tar.gz包是用32 bit编译的,全部假设用Linux 64作为hadoop的平台,将会出现一些问题,所以须要手动的编译成64 bit 2.软件准备 a) JDK jdk1.7.0_51 b) Hadoophardoop-2.5.1-src.tar.gz c) Maven apache-maven-3.0.5-bin.zip d) Protobufprotobuf-2.5.0

CentOS6.4编译Hadoop-2.4.0

因为搭建Hadoop环境的时候,所用的系统镜像是emi-centos-6.4-x86_64,是64位的,而hadoop是默认是32的安装包.这导致我们很多操作都会遇到这个问题(Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /opt/hadoop-2.4.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM w

centos6.4设备hadoop-2.5.1(完全分布式)

环境介绍: 在这两种装备centos6.4(32位置)的server安装Hadoop-2.5.1分布式集群(2台机器,主要试验用.哈哈). 1.改动主机名和/etc/hosts文件 1)改动主机名(非必要) vi /etc/sysconfig/network HOSTNAME=XXX 重新启动后生效. 2)/etc/hosts是ip地址和其相应主机名文件,使机器知道ip和主机名相应关系.格式例如以下: #IPAddress HostName 192.168.1.67 MasterServer 1

安装hadoop-2.3.0-cdh5.1.2全过程

工欲善其事,必先利其器,啥都不说,Hadoop下载:http://archive.cloudera.com/cdh5/cdh/5/  选择好相应版本搞起,在本文讲述的是 围绕hadoop-2.3.0-cdh5.1.2版本安装过程.(安装环境为自己在VMWare 10里面搭建的三台 Linux 虚拟机). 1.hadoop 是大apache开源的分布式离线计算框架,语言:java,既然这样,要想搭建hadoop环境(不管伪分布式 还是多机集群),那必须在服务器上安装好jdk. 简单过程简单说,简要

CentOS6.5、Hadoop-2.2.0、64 位的编译

1.安装CentOS6.5 下载地址是 http://mirror.neu.edu.cn/centos/6.5/isos/x86_64/ 选择 CentOS-6.5-x86_64-bin-DVD1.iso 下载,注意是 64 位的,大小是 4GB,需要下载一段时间的. 其实 6.x 的版本都可以,不一定是 6.5,一定要保持 linux 联网状态. 说明:我把软件下载后全部复制到/usr/local 目录下,以下命令执行的路径是在/usr/local 目录下. 请读者在阅读时,一定要注意路径.