Hadoop的安装配置

一、安装CentOS

过程略

下载地址：链接：https://pan.baidu.com/s/1nursRf23DjI5ynmuVvUYuw 
提取码：76xk

二、配置CentOS网络设置

1.进入网络配置
cd /etc/sysconfig/network-scripts

2.打开ens33配置
vi ifcfg-ens33

3.编辑配置
将BOOTPROTO改为static静态
添加IPADDRIP地址
添加NETMASK子网掩码
添加GATEWAY网关地址
添加DNS1，DNS2域名解析地址
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
IPADDR="192.168.100.2"
NETMASK="255.255.255.0"
GATEWAY="192.168.100.1"
DNS1="8.8.8.8"
UUID="9b660db5-cd4d-4c05-94eb-21d017e078d8"
DEVICE="ens33"
ONBOOT="yes"

三、配置安全相关

1.关闭防火墙

systemctl status firewalld 查看防火墙状态
systemctl start firewalld 打开防火墙
systemctl stop firewalld 关闭防火墙
systemctl disabled firewalld 关闭开机自动启动
systemctl enabled firewalld 开启开机自动启动

2.关闭selinux

getenfore 查看selinux状态
setenforce 临时关闭

永久关闭方法

vi /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled

3.关闭NetWorkManager

systemctl status NetworkManager 查看网络管理器状态
systemctl start NetworkManager 打开网络管理器
systemctl stop NetworkManager 关闭网络管理器
systemctl disabled NetworkManager 关闭开机自动启动
systemctl enabled NetworkManager 开启开机自动启动

四、安装常用软件

1.配置yum源

1. yum install -y wget 安装wget软件
2. 备份 mv /etc/yum.repos.d/CentOS-Base.repo/etc/yum.repos.d/CentOS-Base.repo.backup
3.下载新的yum源
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
4. 运行 yum makecache 生成缓存

2.下载常用软件

1.安装net-tools yum install net-tools
2.安装vim yum install vim

3.安装jdk

1.下载jdk压缩包 存放在 /opt/install
2.解压到/opt/software/jdk1.8
3.配置环境变量 vim /etc/profile
export JAVA_HOME=/opt/soft/jdk1.8
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=.:$JAVA_HOME/bin

source /etc/profile
4.java -verion 查看jdk版本，有版本显示则安装成功

4.安装Hadoop

修改主机名

vim /etc/hostname #编辑主机名文件

hdp01

修改主机映射

vim /etc/hosts #编辑主机映射文件

192.168.100.2 hadoop101

下载并上传Hadoop2.7.7

下载Hadoop压缩包 存放在 /opt/install
解压到/opt/software/hadoop2.7.7

配置环境变量

vim /etc/profile #编辑环境变量

JAVA_HOME=/opt/software/jdk1.8
HADOOP_HOME=opt/software/hadoop-2.7.7
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin;$HADOOP_HOME/sbin

source /etc/profile #使环境变量生效

修改配置文件 6个

hadoop-env.sh

cd /opt/software/hadoop-2.7.7 #进入hadoop-2.7.7目录

vim etc/hadoop/hadoop-env.sh #编辑配置文件hadoop-env.sh

export JAVA_HOME=/opt/software/jdk1.8 #修改25行
export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop #修改33行

core-site.xml

<configuration>

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdp01:9000</value>
</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/software/hadoop-2.7.7/tmp</value>
</property>

</configuration>

hdfs-site.xml

<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

</configuration>

mapred-site.xml

<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

yarn-site.xml

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdp01</value>
</property>

<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

slaves

hdp01

格式化文件系统

hadoop  namenode -format

启动Hadoop

start-all.sh

验证是否启动成功

jps  //java 守护进程 有以下5个则启动成功

WEB端查看

http://hdp01:50070 #查看NameNode的状态
http://hdp01:50075 #查看DataNode的状态
http://hdp01:50090 #查看SecondaryNameNode的状态

原文地址：https://www.cnblogs.com/phy2020/p/12336768.html

时间： 2024-08-13 12:25:25

Hadoop的安装配置的相关文章

Hadoop单机版安装配置

[toc] Hadoop单机版安装配置 前言 Hadoop单机版本的环境搭建比较简单,这里总结一下. Centos基本配置 网络配置 IPADDR=192.168.43.101 NETMASK=255.255.255.0 GATEWAY=192.168.43.2 DNS1=202.96.128.166 DNS2=202.96.128.86 配置完成后重启网络: service network restart 修改主机名和IP地址映射文件 vim /etc/sysconfig/network 将H

Hadoop单机安装配置过程：

1. 首先安装JDK,必须是sun公司的jdk,最好1.6版本以上. 最后java –version 查看成功与否. 注意配置/etc/profile文件,在其后面加上下面几句: export JAVA_HOME=/usr/local/jdk1.6.0_17    export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATH    export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar 2. 安装ssh,

hadoop搭建杂记：Linux下hadoop的安装配置

VirtualBox搭建伪分布式模式:hadoop的下载与配置 VirtualBox搭建伪分布式模式:hadoop的下载与配置 由于个人机子略渣,无法部署XWindow环境,直接用的Shell来操作,想要用鼠标点击操作的出门转左不送- 1.hadoop的下载与解压 wget http://mirror.bit.edu.cn/apache/hadoop/common/stable2/hadoop-2.7.1.tar.gzmkdir /usr/hadooptar -xzvf hadoop-2.7.1

hadoop环境安装配置介绍与步骤

在上一篇的分享文章中我是给大家分享了运行部署hadoop的一些安装准备工作,这篇接上一篇继续为大家分享一些个人的学习经验总结.我学习用的是大快发行版DKHadoop,所以所有的经验分享都是以DKHadoop为基础,这里要先说明一下.个人觉得DKHadoop对新手还是算是很友好的了,新手朋友们可以大快搜索网站下载一个三节点的dkhadoop玩一下看看.闲话到此结束,本篇重点整理的是服务器操作系统的配置问题,写的可能会有点长,需要一点点耐心看的哦!1.修改权限步骤:在准备工作中拷贝安装包DKHPla

Docker Hadoop LAMP安装配置教程

以下教程来自九章算法. 1.How to install Dockerhttps://bupt.quip.com/YehSAR4qnGqB 2.How to set up hadoop environment https://bupt.quip.com/85VvAGqcb0Lg 3.Setup LAMP(Linux, Apache, MySQL, PHP) https://bupt.quip.com/dkUAARkMfPcB

每天收获一点点------Hadoop基本介绍与安装配置

一.Hadoop的发展历史 说到Hadoop的起源,不得不说到一个传奇的IT公司—全球IT技术的引领者Google.Google(自称)为云计算概念的提出者,在自身多年的搜索引擎业务中构建了突破性的GFS(Google File System),从此文件系统进入分布式时代.除此之外,Google在GFS上如何快速分析和处理数据方面开创了MapReduce并行计算框架,让以往的高端服务器计算变为廉价的x86集群计算,也让许多互联网公司能够从IOE(IBM小型机.Oracle数据库以及EMC存储)中

Ubuntu14.04 安装配置Hadoop2.6.0

目前关于Hadoop的安装配置教程书上.官方教程.博客都有很多,但由于对Linux环境的不熟悉以及各种教程或多或少有这样那样的坑,很容易导致折腾许久都安装不成功(本人就是受害人之一).经过几天不断尝试,终于成功了.现将整个关于Hadoop的安装配置步骤分享出来,一方面为了希望能对有需要的朋友有所帮助,一方面为了总结所遇到的问题和解决方案.接下来开始正文. 准备工作 提前下载好以下工具: JDK安装包 Eclipse安装包 Hadoop安装包 Eclipse的Hadoop插件插件 本人用的JDK版

storm安装配置

系统环境 Cent OS 6.5 hadoop-2.5.0 zookeeper-3.4.5 storm-0.9.2 HADOOP Zookeeper 安装配置 一.配置安装 wget http://www.apache.org/dyn/closer.lua/storm/apache-storm-0.9.2-incubating/apache-storm-0.9.2-incubating.tar.gz tar zxvf apache-storm-0.9.2-incubating.tar.gz -C

Hadoop从0开始 (安装配置:转) (一)

之前一直在找安装教程 都是0.20版本的 弄了好久没有弄出来..发现新版跟旧版有很大的不同 今天终于找到新版的安装配置方法.分享出来. 安装环境: 系统:Ubuntu 12.10 hadoop:0.23.6 jdk:sun 1.7.0_21 安装步骤: 一.安装JDK 安装 orcale jdk,并且配置环境以及设置成默认(略) 检查jdk是否正确安装和配置 在主目录下执行java -version 如果出现下面类似结果则ok [email protected]:~$ java -version