Hadoop3.0配置

1、core-site.xml

<configuration>
<property>
<name>fs.default.namenode</name>
<value>hdfs://172.16.100.34:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/data/tmp</value>
</property>
</configuration>

2、hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/opt/data/input</value>
</property>
</configuration>

3、mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://172.16.100.34:9001</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>/opt/modules/hadoop-3.0.0-alpha4/etc/hadoop,
/opt/modules/hadoop-3.0.0-alpha4/share/hadoop/common/*,
/opt/modules/hadoop-3.0.0-alpha4/share/hadoop/common/lib/*,
/opt/modules/hadoop-3.0.0-alpha4/share/hadoop/hdfs/*,
/opt/modules/hadoop-3.0.0-alpha4/share/hadoop/hdfs/lib/*,
/opt/modules/hadoop-3.0.0-alpha4/share/hadoop/mapreduce/*,
/opt/modules/hadoop-3.0.0-alpha4/share/hadoop/mapreduce/lib/*,
/opt/modules/hadoop-3.0.0-alpha4/share/hadoop/yarn/*,
/opt/modules/hadoop-3.0.0-alpha4/share/hadoop/yarn/lib/*
</value>
</property>
</configuration>

时间： 2024-08-06 11:47:37

Hadoop3.0配置的相关文章

hadoop-3.0.0-beta1运维手册（001）：定制虚拟机

1.1 什么是虚拟机 虚拟机是一个软件,运行在我们的计算机上,通过它可以模拟一台计算机. 虚拟机和真实的物理机器一样,也有CPU.硬盘.网卡.内存这些硬件,在虚拟机上同样可以安装操作系统,操作系统安装好后,使用起来和真实的机器基本一样. 利用虚拟机软件,我们可以在一台物理服务器上运行多个虚拟机,从而模拟多机环境,既经济又方便. 定制虚拟机的就是根据我们自己的需要,来配置一台虚拟机. 1.2 软件版本 虚拟机软件有很多,我们这里选择最常用的VMware WorkStation,版本是9,安装好后,

hadoop-3.0.0-beta1运维手册（002）：安装Guest操作系统

2.1 什么是Guest操作系统 Guest指虚拟机,安装Guest操作系统,就是在我们刚才定制的虚拟机nn1上安装操作系统. 我们要安装的操作系统是Linux,它有很多发行版,在这里我们选择Centos系列,它主要用作服务器操作系统,非常稳定,在生产环境中应用广泛.具体版本是Centos 7,64位,下载地址为:CentOS-7-x86_64-Everything-1511.整个光盘有7GB多,因为它包含了更多的安装包(软件),我们在安装的时候,可以根据需要来选择安装哪些软件.因此,实际装出来

hadoop-3.0.0-beta1运维手册（003）：安装全分布式HDFS3.0.0-准备软件

3.1 准备软件 HDFS是Hadoop的一个组件,它并没有单独发布,因此,我们需要下载Hadoop的安装包. 1. 下载Hadoop3.0.0-beta1,保存到d:\hdfs3\soft 3-1 Hadoop存储路径图 有关beta1版本的介绍:它是API稳定的版本,但不保证质量,并且不打算用于生产环境.因此,此版本可以用来提前学习,待stable版本出来后,可以直接替换上生产环境. 2. 下载JDK Hadoop是用java编写的,JDK提供了java程序的运行环境,因此,需要下载JDK.

Install hadoop3.0 on multiple nodes

在实际操作中,用到了两台ubuntu,一台ip 192.168.9.128,一台ip192.168.9.153. 第一台作为master(主机名为hadoop-master),第二台作为slave(主机名为hadoop).需要注意的是,这两台ubuntu需要有同一登陆名(用户).并且JDK以及hadoop安装都需要使用此用户来进行.两台ubuntu需要配置SSH免密码登陆,配置方法见前文.由于在启动hadoop时,master会SSH免密码登陆slave,登陆时使用的用户名为master的用户名

centos 7安装hadoop-3.0.0

最近在学习大数据,需要安装hadoop,自己弄了好久,最后终于弄好了.网上也有很多文章关于安装hadoop的,但总会遇到一些问题,所以把整个过程记录下来,有什么不对的地方大家可以留言更正. 一.ssh免密登录 1.测试是否能免密登录 # ssh localhost The authenticity of host 'localhost (::1)' can't be established. 2.设置免密登录 1).去掉 /etc/ssh/sshd_config中的两行注释,如没有则添加,所有服

Win10 下 hadoop3.0.0 单机部署

前言 因近期要做 hadoop 有关的项目,需配置 hadoop 环境,简单起见就准备进行单机部署,方便开发调试.顺便记录下采坑步骤,方便碰到同样问题的朋友们. 安装步骤 一.下载 hadoop-XXX.tar.gz 下载地址:http://archive.apache.org/dist/hadoop/core/ 将文件解压至无空格目录下,好像时间有那么点点久..... 注:解压需管理员权限!!! 添加环境变量 添加HADOOP_HOME配置 在 path 中添加 bin 目录 C:\hadoo

Windows10安装Hadoop3.0.0

前言 准备: 7Zip下载:压缩工具,支持*.tar.gz格式的压缩文件解压 Hadoop下载:http://archive.apache.org/dist/hadoop/core/,笔者选择3.0.0版本下载,官网下载的网速如同断网... winutils下载:https://github.com/steveloughran/winutils,Hadoop不直接支持Windows,使用工具集进行支持. JDK1.8及其以上版本,自行安装,并配置JAVA_HOME环境变量. 1. 文件准备 ha

cordova 3.0 配置

cordova 3.0 配置 总结下安装的一些问题: 1.必备安装 Java JDK,需配置系统path,否则在添加平台时会有问题. apache ant,打包工具,有windows版本,需配置系统path. android sdk,需配置系统path. 很重要的一点是,都需要配置好系统path值. 2.创建项目.并编译.官网有详细介绍,必备安装如果都有设置相应path一般不会有太多问题. 3.通过命令方式编译,其实很麻烦,因为启动ADT后,就无法再操作,所以DEBUG时得重新打开新的ADT.而

VC++6.0 配置CppUTest测试环境

最近看<软件项目成功之道>,书中无数次提及到“单元测试”对于项目成败的重要性,看到同事将CppUTest用于Linux动态库测试,于是在VC++6.0环境下搭建一个基于CppUTest的单元测试环境,用于测试工作中编写的C函数.下面就来介绍整个搭建过程,整个过程分为四步:前期准备——需要的库:环境配置——VC++6.0配置:实例演示——可复现的Demo:拓展——后续学习资料. 一.前期准备: CppUTest下载 官网:http://cpputest.github.io/ 历史版本:https