hadoop2.7.2修改配置文件，配置linux java环境变量

1.修改core-site.xml，加上

<property>

<name>fs.defaultFS</name>

<value>hdfs://backup02:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/home/zhongml/hadoop-2.7.2/tmp</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>131702</value>

</property>

2.修改hdfs-site.xml，加上

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/zhongml/hadoop-2.7.2/hdfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/zhongml/hadoop-2.7.2/hdfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>backup02:9001</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

3.先复制一个mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

修改mapred-site.xml，加上

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>backup02:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>backup02:19888</value>

</property>

4.修改yarn-site.xml，加上

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>backup02:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>backup02:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>backup02:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>backup02:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>backup02:8088</value>

</property>

<property>

<name>yarn.nodemanager.resource.memory-mb</name>

<value>768</value>

</property>

5.配置/home/zhongml/hadoop-2.7.2/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME

6.配置/home/zhongml/hadoop-2.7.2/etc/hadoop目录下slaves

7.验证启动是否成功

bin/hadoop fs -ls

http://localhost:50030(MapReduce的页面)

http://localhost:50070(HDFS的页面)

8.如果是64位的linux，需要覆盖native

9.配置java环境变量/etc/profile

先卸载linux自带的jdk，

执行以下命令查看需要卸载的选项:

rpm -qa | grep gcj

执行卸载操作:

yum -y remove java-1.4.2-gcj-compat-1.4.2.0-40jpp.115

将以下内容添加到/etc/profile末尾

JAVA_HOME=/jdk/jdk1.8.0_101/

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME

export PATH

export CLASSPATH

注意:装好hadoop环境必须关闭防火墙:

关闭防火墙服务
[[email protected] hadoop]# service iptables stop
关闭开机自动启动

[[email protected] hadoop]# chkconfig iptables off

安装以下软件:

yum install svn

yum install autoconfautomake libtool cmake

yum install ncurses-devel

yum install openssl-devel

yum install gcc*

时间： 2024-10-07 04:17:43

hadoop2.7.2修改配置文件，配置linux java环境变量的相关文章

配置linux的环境变量

下面是配置linux的环境变量:(记得source .bash_profile). 修改/etc/profile文件 (全局所有用户) vi 此文件/etc/profile在profile文件末尾加入:export JAVA_HOME=/usr/share/jdk1.6.0_20export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar .  /etc/prof

Linux 服务器基本配置（java 环境变量，防火墙）

在linux下配置环境变量和windows的原理是相同,都是使jdk的路径成为全局变量,用 sudo gedit(如果没安装可以用vi)打开/etc/profile,在文件最后添加 export JAVA_HOME=/usr/java/jdk1.6.0_45 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar jdk1.6.0_45改为你安装的jdk的

虚拟机Linux java环境变量设置readhat系统

最近在学习Linux 期间找了好多资料才配置成功 现在把Linux的环境变量配置记录一下 系统环境VMware readhat5.5版本 jdk1.6 我使用的是jdk-6u45-linux-x64.bin 包 首先把jdk的bin包拷贝到虚拟机的系统上我放到了/home/wangs/目录下 使用 ./jdk-6u45-linux-x64.bin 命令解压bin包 在系统的 /etc/profile.d 目录下创建java.sh脚本touch java.sh;编辑脚本vi java.sh exp

(2)Linux Java环境变量安装

install default JRE/JDK Installing Java with apt-get is easy. First, update the package index: sudo apt-get update check if Java is not already installed: java -version If it returns "The program java can be found in the following packages", Jav

你应该理解你配置的java环境变量

很多人都曾盲目的去网上复制黏贴别人的环境配置,然后配完后一脸懵逼的问为什么我错误了? 我想大家肯定有人遇到过,我最开始接触java的时候也接触过了. 我在一些java群里面仍然能够经常看到很多新手对于环境配置很苦恼, 特此我写下这篇文章. 其实环境变量的配置没你想象的那么困难,只要你熟悉了你配的每一个变量是什么就会变得非常的简单. 我想大家(就算你是个新手)应该(再怎么不济)都用过cmd的命令行的命令. 为什么那些命令你可以直接用呢?为什么你配置失败的时候或报错说没有javac这个命令呢?你有好

linux java环境变量设置

查看java版本 rpm -qa |grep java 删除原来java自带版本 yum -y remove java-1.6.0-openjdk-1.6.0.0-1.2.b09.el5 yum -y remove java-1.4.2-gcj-compat-1.4.2.0-40jpp.115 3,解压下载的jdk *.tar.gz包 tar -zxvf jdk-8u25-linux-i586.tar.gz 4,改名  mv jdk1.8.0_25/ /usr/java/jdk 5,修改环境变量

Linux中如何设置java环境变量

这里介绍Linux下如何设置java环境变量. 工具/原料 Linux java环境变量 方法/步骤 1 查看java的安装路径   查看java执行路径   配置java环境变量   java的安装路径和执行路径   注意这里的JAVA_HOME后面一定要带上bin路径,路径设置完成一定要用 export输出,注意export单词不要写错了   设置环境变量后使用java的v参数测试,还是失败,因为没有执行source命令   环境变量修改后执行source命令,使得配置生效   运行sour

Linux下搭建Java环境变量并实现第一个Java小程序

1.首先,我们打开虚拟机里面的Linux操作系统,然后点击下图菜单下的虚拟机选项: 在点击虚拟机下的设置菜单,如下图所示: 这里我已经添加进去我所需要的文件夹了,我放在本机E盘下的as文件夹里面到底放了什么呢? 上图这两个压缩文件,一个是android studio的压缩包,上年发布出来的,一直没用它,今天本来想在windows下安装这个软件,发现所需要的jdk是1.7,而我在windows下的jdk版本为1.6,所以打算在Linux操作系统下安装jdk1.7,并安装andoid studio工

win7下JAVA环境变量配置方法

1.首先,根据自己的需要下载1.6或者1.7的JDK,安装JDK.(安装的时候记一下安装目录,后面会用到) 2.右键计算机→属性→高级系统设置→高级→环境变量,在系统变量部分新建名为"JAVA_HOME"的变量,变量值为之前安装jdk的目录,例如本人的为"D:\Java\jdk1.6.0_10". 3.在系统变量部分新建名为"classpath"的变量,变量值为".;%JAVA_HOME%\lib;%JAVA_HOME%\lib\too