Hadoop3.2.0+Centos7三节点完全分布式安装配置

一、环境准备

①准备三台虚拟机,配置静态IP

②先修改主机名(每个节点统一命名规范)

vim /etc/hostname
master  #重启生效

配置DNS每个节点

vim /etc/hosts
192.168.60.121 master192.168.60.122 salve1
192.168.60.123 salve2

永久关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

配置免密登录

ssh-keygen -t rsa  #一路回车即可cd 到 .sshcp id_rsa.pub authorized_keys    #生成公钥

将公钥拷贝到节点

scp authorized_keys [email protected]:/root/.ssh/
scp authorized_keys [email protected]:/root/.ssh/

登录到hadoop2主机cd到.ssh

cat id_isa.pub >> authorized_keys  #使用cat追加方式

登录到2号主机重复操作,再将公钥拷贝到三台主机上

二、配置jdk1.8

将jdk解压到自定义目录

vim /etc/profile #添加如下信息export JAVA_HOME=jdk安装目录export CLASSPATH=$JAVA_HOME/lib/export PATH=$PATH:JAVA_HOME/bin再保存执行  #source /etc/profile验证#java -version

三、Hadoop环境配置

解压并移动到自定义位置

vim /etc/profile
export HADOOP_HOME=Hadoop的安装目录
export PATH=$PAHT:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/Hadoop更新资源使生效source /etc/profil

首先在hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中指定JDK的路径

export JAVA_HOME=jdk安装目录

配置core-site.xml

<configuration>
  <property>
    <name>fs.checkpoint.period</name>
    <value>3600</value>
  </property>
  <property>
    <name>fs.checkpoint.size</name>
    <value>67108864</value>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/data/hdfs/tmp</value>
  </property>
  <property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
  </property>
</configuration>

配置hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/data/hdfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/data/hdfs/data</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node1:50090</value>
  </property>
  <property>
    <name>dfs.namenode.http-address</name>
    <value>node1:50070</value>
  </property>
  <property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file:/usr/local/data/hdfs/checkpoint</value>
  </property>
  <property>
    <name>dfs.namenode.checkpoint.edits.dir</name>
    <value>file:/usr/local/data/hdfs/edits</value>
  </property>
</configuration>

配置yarn-site.xml

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>node1</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandle</value>
</property>
<property>
  <name>yarn.resourcemanager.resource-tarcker.address</name>
  <value>node1:8025</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>node1:8030</value>
</property>
<property>
  <name>yarn.resourcemanager.address</name>
  <value>node1:8040</value>
</property>
<property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>node1:8033</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>node1:8088</value>
</property>

配置mapred-site.xml

<configuration>
  <property>    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapred.job.tarcker</name>
    <value>node1:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node1:19888</value>
  </property>
</configuration>

修改workers文件,删除localhost,并换成

slave1
slave2

新建文件夹(不建立应该也是可以的)

mkdir /usr/local/data/hdfs/tmp
mkdir /usr/local/data/hdfs/name
mkdir /usr/local/data/hdfs/data
mkdir /usr/local/data/hdfs/checkpoint
mkdir /usr/local/data/hdfs/edits

复制Hadoop文件到节点

scp -r /目的目录 hadoop2:./目的目录

Hadoop安装完成,格式化Namenode

cd到bin目录./Hdfs namenode -format

启动Hadoop

cd到sbin下 ./start-all.sh

OVER。。。

原文地址:https://www.cnblogs.com/jake-jin/p/11978376.html

时间: 2024-11-07 18:49:02

Hadoop3.2.0+Centos7三节点完全分布式安装配置的相关文章

Zookeeper分布式安装配置

Zookeeper分布式安装配置 Zookeeper介绍 概述 1.ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件.它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护.域名服务.分布式同步.组服务等. 2.ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效.功能稳定的系统提供给用户. 3.ZooKeeper包含一个简单的原语集,提供Java和C的接

Python爬虫进阶三之Scrapy框架安装配置

初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了,不过还有更加强大的工具,爬虫框架Scrapy,这安装过程也是煞费苦心哪,在此整理如下. Windows 平台: 我的系统是 Win7,首先,你要有Python,我用的是2.7.7版本,Python3相仿,只是一些源文件不同. 官网文档:http://doc.scrapy.org/en/latest/intro/install.html,最权威哒,下面是我的亲身体验过程. 1.安装Python 安装过程我就不多说啦,我的电

简洁的kafka单节点和分布式安装文档

单节点安装: Ip:single:192.168.1.186 1.下载:http://kafka.apache.org/downloads.html 下载源码或者对应scala版本的bin包 2.解压 [[email protected] cloud]# tar -zxvf kafka_2.10-0.8.2-beta.tgz -C /cloud/ 3.进入解压目录 [[email protected] kafka_2.10-0.8.2-beta]# cd config/ [[email prot

第三篇elasticsearch分布式安装

elasticSearch 分布式安装 1.在elasticSearch下的config下elasticsearch.yml文件最后一行添加注意 一定要加空格在:后面cluster.name: wali //集群的名字node.name: master //给主的master(指挥官)节点起名字node.master: true //告诉他是masternetwork.host: 127.0.0.1 绑定ip 2.配置分支节外面新建文件夹es_slave,copy2份 elasticsearch

HBase基础和伪分布式安装配置

一.HBase(NoSQL)的数据模型 1.1 表(table),是存储管理数据的. 1.2 行键(row key),类似于MySQL中的主键,行键是HBase表天然自带的,创建表时不需要指定 1.3 列族(column family),列的集合. 一张表中有多个行健,一个行健读取出来的是一条记录,列族和MySQL中的列差不多,但是它是列的集合 HBase中列族是需要在定义表时指定的,列是在插入记录时动态增加的. HBase表中的数据存储在本地磁盘上的时候,每个列族单独一个作为文件存储. 上图表

Hadoop完全分布式安装配置完整过程

一. 硬件.软件准备 1. 硬件设备 为了方便学习Hadoop,我采用了云服务器来配置Hadoop集群.集群使用三个节点,一个阿里云节点.一个腾讯云节点.一个华为云节点,其中阿里云和腾讯云都是通过使用学生优惠渠道购买了一年的云服务,华为云使用免费7天或15天的云服务器.我决定使用腾讯云节点作为Master节点,阿里云节点和华为云节点作为Slave节点.集群基本结构如下图: 云服务器配置信息如下: 集群网络环境: 分别在每台机器上创建了用户hadoop,并且全部禁用了防火墙. 2. 软件 由于Ha

CentOS7.4——KVM虚拟化一 安装配置及基本操作

KVM的安装配置与基本操作 目录第一部分 实验环境第二部分 安装图形界面第三部分 配置KVM虚拟化第四部分 创建桥接网卡第五部分 KVM虚拟环境中安装系统第六部分 克隆第七部分 其它命令 第一部分 实验环境Linux服务器一台IP地址:192.168.80.40(kvm01) 第二部分 安装图形界面[[email protected] ~]# yum groupinstall "GNOME 桌面" –y //安装图形界面注意,如果在控制台上操作(或者没有中文环境),yum groupi

Openstack 实战讲解之-----05-控制节点Nova服务安装配置

一.Nova介绍 Nova是openstack最早的两块模块之一,另一个是对象存储swift.在openstack体系中一个叫做计算节点,一个叫做控制节点.这个主要和nova相关,我们把安装为计算节点nova-compute,把除了nova-compute叫做控制节点.nova-compute是创建虚拟机的,只是创建虚拟机,所有的控制都在另一台上. 1.1 功能和特点: 实例生命周期的管理 管理计算资源 网络和认证管理 REST风格的API 异步的一致性通信 Hypervisor透明:支持Xen

CENTOS7+LNMP+zabbix3.2.6安装配置

1.安装MySQL 1.1.安装MySQL rpm -ivh http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm yum -y install mysql-server 1.2.修改MySQL的配置文件 vim /etc/my.cnf [mysqld] default-storage-engine = innodb innodb_file_per_table collation-server = utf8_gener