hadoop-3.0.0-alpha4安装部署过程

关闭防火墙
#systemctl stop firewalld.service #停止firewall
#systemctl disable firewalld.service #禁止firewall开机启动

关闭selinux
#vi /etc/selinux/config

SELINUX=disabled
SELINUXTYPE=targeted

安装jdk1.8:
#cd /usr
#tar zxvf jdk-8u131-linux-x64.tar.gz

解压出来的目录改名为java

vi /etc/profile
export JAVA_HOME=/usr/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/dt.jar:$HIVE_HOME/lib:$JAVA_HOME/lib/tools.jar
export PATH=${JAVA_HOME}/bin:$PATH

设置服务器主从无密码登录:
[[email protected] ~]$ ssh-keygen -t rsa #产生公钥私钥
Generating public/private rsa key pair.
Enter file in which to save the key (/home/study/.ssh/id_rsa):
Created directory ‘/home/study/.ssh‘.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/study/.ssh/id_rsa.
Your public key has been saved in /home/study/.ssh/id_rsa.pub.
The key fingerprint is:
0e:66:68:14:31:d3:3b:92:d0:ce:c3:40:03:15:b7:87 [email protected]
The key‘s randomart image is:
+--[ RSA 2048]----+
|.+=o*o |
| oo.*. |
| *E... |
| .Boo |
| oo+.S |
| . o o |
| . |
| |
| |
+-----------------+
[[email protected] ~]$ cd .ssh
[[email protected] .ssh]$ pwd
/home/study/.ssh
[[email protected] .ssh]$ ls
id_rsa id_rsa.pub #前者私钥 ,后者公钥, 私钥存放本地.ssh目录, 公钥发送给申请无密码登录的机器并保存到.ssh/authorized_keys
[[email protected] .ssh]$ cp id_rsa.pub authorized_keys #这里发送给自己的目录相当于可以无密码登录自己,便于以后克隆时直接实现与其他机器的无密码登录

[[email protected] etc]# cat hostname #这里修改主机名
master
[[email protected] etc]# cat hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.144.241 master #为了便于克隆时不需要修改,不在127.0.0.1处进行设置
192.168.144.242 slave1
192.168.144.243 slave2

[[email protected] hadoop]$ pwd
/home/study/hadoop-3.0.0-alpha4/etc/hadoop
vi hadoop-env.sh
export JAVA_HOME=/usr/java
vi core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/study/hadoop-3.0.0-alpha4/hadoopdata</value>
</property>
</configuration>
vi hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/study/hadoop-3.0.0-alpha4/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/study/hadoop-3.0.0-alpha4/hdfs/data</value>
</property>

</configuration>

vi mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>http://master:9001</value>
</property>

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>mapreduce.application.classpath</name>
<value>
/home/study/hadoop-3.0.0-alpha4/etc/hadoop,
/home/study/hadoop-3.0.0-alpha4/share/hadoop/common/*,
/home/study/hadoop-3.0.0-alpha4/share/hadoop/common/lib/*,
/home/study/hadoop-3.0.0-alpha4/share/hadoop/hdfs/*,
/home/study/hadoop-3.0.0-alpha4/share/hadoop/hdfs/lib/*,
/home/study/hadoop-3.0.0-alpha4/share/hadoop/mapreduce/*,
/home/study/hadoop-3.0.0-alpha4/share/hadoop/mapreduce/lib/*,
/home/study/hadoop-3.0.0-alpha4/share/hadoop/yarn/*,
/home/study/hadoop-3.0.0-alpha4/share/hadoop/yarn/lib/*
</value>
</property>

vi yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
vi workers #hadoop3以下版本在slaves文件里
slave1
slave2
vi .bash_profile
export HADOOP_HOME=/home/study/hadoop-3.0.0-alpha4
PATH=$PATH:$HOME/.local/bin:$HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
关机
调小虚拟机内存为1G或以下,链接克隆2个节点
修改2台克隆机器主机名分别为slave1 slave2
[[email protected] etc]# cat hostname
slave1
修改ip :
[[email protected] network-scripts]# pwd
/etc/sysconfig/network-scripts
[[email protected] network-scripts]# cat ifcfg-ens33
TYPE=Ethernet
IPADDR="192.168.144.242" #修改ip
NETMASK="255.255.255.0"
GATEWAY="192.168.144.2"
BROADCAST="192.168.144.255"
#BOOTPROTO=dhcp
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=6ab5ebe0-5379-4903-bd1c-dd820fab14d9
DEVICE=ens33
ONBOOT=yes

重启机器reboot
[[email protected] bin]$ pwd
/home/study/hadoop-3.0.0-alpha4/bin

./hdfs namenode -format #格式化 不然9000端口起不来

[[email protected] ~]$ start-all.sh
WARNING: Attempting to start all Apache Hadoop daemons as study in 10 seconds.
WARNING: This is not a recommended production deployment configuration.
WARNING: Use CTRL-C to abort.
Starting namenodes on [master]
Starting datanodes
Starting secondary namenodes [master]
Starting resourcemanager
Starting nodemanagers
[[email protected] ~]$ jps
8544 SecondaryNameNode
8326 NameNode
8758 ResourceManager
9071 Jps
[[email protected] ~]$ jps
3432 DataNode
3673 Jps
3549 NodeManager
[[email protected] ~]$ jps
3610 DataNode
3854 Jps
3727 NodeManager
完毕

时间: 2024-10-11 07:56:01

hadoop-3.0.0-alpha4安装部署过程的相关文章

redhat下oracle11g的安装部署过程

一.检查Linux够不够1个G: 方法: #grep MemTotal /proc/meminfo 二.检查交换分区的大小: 方法: #grep SwapTotal  /proc/meminfo 参考例图如下: 屏幕剪辑的捕获时间: 2013/9/24 星期二 7:45 这一步很重要:Package Requirements 1.Oracle Database Package Requirements for Linux x86 Operating System Requirement Orac

淘宝分布式 key/value 存储引擎Tair安装部署过程及Java客户端测试一例

目录 1. 简介 2. 安装步骤及问题小记 3. 部署配置 4. Java客户端测试 5. 参考资料 声明 1. 下面的安装部署基于Linux系统环境:centos 6(64位),其它Linux版本可能有所差异. 2. 网上有人说tair安装失败可能是因为gcc版本问题,高版本的gcc可能不支持某些特性导致安装失败,经过实验证明,该说法是错误的,tair安装失败有各种可能的原因但绝对与gcc版本无关,比如我的gcc开始版本为4.4.7,后来tair安装失败,我重新编译低版本的gcc(gcc4.1

SCCM 2012 R2安装部署过程和问题(一)

在进行Windows Server 2012 R2虚拟化测试前,由于需要安装,部署和管理很多的服务器,自然会想到该如何提高效率和有效的管理.在Windows Server 2008的时代微软已经提供称作Windows部署服务(Windows Deloyment Services, WDS)的服务器角色,使用该服务器角色可以完成PXE和多播安装和部署服务器的任务.但是微软还有一个更强大的工具称为System Center Configuration Manager(SCCM).SCCM其实是Sys

ubuntu16.4安装部署过程

以下是ubuntu16.4安装部署过程,之前每次安装都要去找半天过程,所以自己整理了一下. 有的人可能没有这一步,无妨,继续向下 这是在给你自动配置一些东西,如果你想手动自己配置,可以选择中断,下面的进度条同样. 也可以选择系统配置同时设置LVN,即第二项 配置完成,可以重新启动.因为我的网络是系统自动配置,也可以自己手动添加.

SCCM 2012 R2安装部署过程和问题(二)

上篇:SCCM 2012 R2安装部署过程和问题(一) 在上篇我们已经完成了SCCM 2012 R2安装前的准备,其中有许多细节,关于数据库的准备和权限的设置是需要特别注意的.那么接下来我们开始安装SCCM 2012 R2. SCCM采用以站点和站点角色为核心的部署架构.在不同的物理位置可以部署站点,形成一个树形的层次结构,在这个结构中站点有主辅之分,也有父子之分:在同一个站点内可以部署不同的服务器,为各个服务器部署不同的站点角色,例如管理点,分发点,软件升级点等站点角色.其架构与域有相似之处,

SCCM 2012 R2安装部署过程和问题(三)

上篇 SCCM 2012 R2安装部署过程和问题(二) 个人认为对于使用SCCM 2012的最重要的经验是耐心. SCCM采用分布式部署的架构,不同的站点角色可以部署在不同的服务器上,站点角色之间的通信通常是异步的且需要消耗较多时间,加之SCCM的通知机制不如SCVMM那样强大,因而通过GUI界面我们很难实时了解诸如内容分发(Distribute Content),部署任务序列(Deploy)这些工作的执行状态,这不得不说是SCCM的重大缺陷,而这点在操作系统分发上将体现的更加明显. 虽然缺少实

hadoop入门(3)&mdash;&mdash;hadoop2.0理论基础:安装部署方法

一.hadoop2.0安装部署流程         1.自动安装部署:Ambari.Minos(小米).Cloudera Manager(收费)         2.使用RPM包安装部署:Apache hadoop不支持.HDP与CDH提供         3.使用jar包安装部署:各版本均提供.(初期为了理解hadoop,建议使用这种方式)         部署流程:                 准备硬件(Linux操作系统)                 准备软件安装包,并安装基础软件

centos7.0系统lvs安装部署

系统:CentOS Linux release 7.0.1406 (Core) 首先,设置系统语言格式,用系统自带的yum命令安装.升级所需的程序库 #LANG=C yuminstall gcc gcc-c++ libtool libtool-libs kernel kernel-devel libjpeglibjpeg-devel libpng libpng-devel libtiff libtiff-devel gettext gettext-devellibxml2 libxml2-dev

redis3.0集群安装部署

wget http://download.redis.io/releases/redis-3.0.0.tar.gz && tar zxvf redis-3.0.0.tar.gz && cd redis-3.0.0 && make PREFIX=/usr/local/redis install mkdir -p /usr/local/redis/run mkdir -p /usr/local/redis/logs mkdir -p /usr/local/red