Hadoop 2.7.3 完全分布式部署

本次测试环境如下

 IP       host JDK linux hadop role
172.16.101.55 sht-sgmhadoopnn-01 1.8.0_111 CentOS release 6.5 hadoop-2.7.4 namenode
172.16.101.58 sht-sgmhadoopdn-01 1.8.0_111 CentOS release 6.5 hadoop-2.7.4 datanode
172.16.101.59 sht-sgmhadoopdn-02 1.8.0_111 CentOS release 6.5 hadoop-2.7.4 datanode
172.16.101.60 sht-sgmhadoopdn-03 1.8.0_111 CentOS release 6.5 hadoop-2.7.4 datanode

1. 软件准备

http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz

http://download.oracle.com/otn-pub/java/jdk/8u144-b01/090f390dda5b47b9b721c7dfaa008135/jdk-8u144-linux-x64.tar.gz

2. 系统环境该准备

# useradd -r -u 115 -g dba -G root -d /home/hduser hduser
# tar -zxf jdk-8u144-linux-x64.tar.gz -C /usr/java/
# tar -zxf hadoop-2.7.4.tar.gz -C /usr/local/
# chown -R hduser:dba /usr/local/hadoop-2.7.4/
# cat /home/hduser/.bash_profile
..........

export JAVA_HOME=/usr/java/jdk1.8.0_111_273
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/usr/local/hadoop-2.7.4
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH:$HOME/bin

3. hadoop配置

4. 启动hadoop

5. 验证hadoop

时间： 2024-09-29 17:53:19

Hadoop 2.7.3 完全分布式部署的相关文章

Hadoop 2.6.0 完全分布式部署安装

一.准备软件环境: hadoop-2.6.0.tar.gz CentOS-5.11-i386 jdk-6u24-linux-i586 Master:hadoop02     192.168.20.129 Slave01:hadoop03    192.168.20.130 Slave02:hadoop04    192.168.20.131 二.安装JDK.SSH环境和hadoop[先在hadoop02下] 对于JDK chmod u+x jdk-6u24-linux-i586.bin ./jd

hadoop高可用的完全分布式部署

1.将zookeeper-3.4.6.tar.gz解压(例:root目录下) 2.将/root/zookeeper-3.4.6/conf/zoo_simple.cfg修改为zoo.cfg 并修改zookeeper存放文件的目录:dataDir=/tmp/zookeeper 添加: #其中1.2.3是zookeeper的服务编号,后面是对应服务器的主机名 server.1=zlj02:2888:3888 server.2=my01:2888:3888 server.3=my02:2888:3888

大数据之伪分布式部署之终极篇

------------------------------软件版本-------------------------------------- RHEL6.8 hadoop2.8.1 apache-maven-3.3.9 ? ? ? findbugs-1.3.9 protobuf-2.5.0.tar.gz jdk-8u45 ------------------------------软件版本--------------------------------------- 1.Hadoop宏观:

windows下hadoop的集群分布式部署

下面我们进行说明一下hadoop集群的搭建配置. 本文假设读者具有hadoop单机配置的基础,相同的部分不在重述. 以三台测试机为例搭建一个小集群,三台机器的ip分别为 192.168.200.1;192.168.200.2;192.168.200.3 cygwin,jdk的安装同windows下hadoop的单机伪分布式部署(1),这里略过. 1.配置 hosts 在三台机子的hosts文件中加入如下记录: 192.168.200.1 hadoop1  #master namenode 192

windows下hadoop的单机伪分布式部署（3）

下面介绍myeclipse与hadoop的集成. 我用的myeclipse版本是8.5. 1.安装hadoop开发插件 在hadoop1.2.1版本的安装包contrib/目录下,已经不再提供hadoop-eclipse-pligin-1.2.1.jar; 而是提供了源代码文件,需要我们自行重新编译成jar包文件:这里方便,大家可以从这里下载: hadoop-eclipse-plugin-1.2.1.jar.pdf 由于博客上传文件的类型限制,故添加了pdf后缀,下载之后重命名,去掉".pdf&

windows下hadoop的单机伪分布式部署（1）

hadoop的运行环境应该是在linux环境.如果想在windows环境下安装和运行hadoop,一般有两种方式:一种是VM的方式linux操作系统,这样可以实现全linux环境的hadoop运行:另一种方式安装cygwin模拟linux环境,该方法相对比较简单方便. 本文采取cywin的方式.下面将介绍下cygwin的安装与配置: (1)cygwin的安装 下载cygwin安装文件:http://cygwin.com; 我用的是64位版:操作系统为win7: 下载的setup文件实际上只是一个

hadoop(1.2) 伪分布式部署

1. 部署环境 系统:  CentOS 6.3 JDK和hadoop的下载直接参考分布式安装... 2. 伪分布式环境 不需要配置/etc/hosts 本机也需要免密码ssh登录 ssh localhost 3. 配置修改 1. conf/core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</va

windows下hadoop的单机伪分布式部署（2）

下面开始hadoop的安装与配置: (1)安装jdk 我安装的是JDK1.7.0_40,windows x64版的 下载完之后,直接点击安装, 我的安装路径为默认路径:C:\Program Files\Java\jdk1.7.0_40: 安装完毕后,设置环境变量: JAVA_HOME指向JDk安装目录 PATH指向JDK的bin目录 设置完成之后,在cmd中 输入java命令,如果出现一下画面,即为安装成功: (2)安装hadoop 下载hadoop,http://hadoop.apache.o

Hadoop 2.6.0分布式部署参考手册

Hadoop 2.6.0分布式部署参考手册 关于本参考手册的word文档,可以到如下地址下载:http://download.csdn.net/detail/u012875880/8285323 1.环境说明 1.1安装环境说明 本列中,操作系统为Centos 7.0,JDK版本为Oracle HotSpot 1.7,Hadoop版本为Apache Hadoop 2.6.0,操作用户为hadoop. 2.2 Hadoop集群环境说明: 集群各节点信息参考如下: 主机名 IP地址 角色 Resou