Hadoop的伪分布式安装和部署的流程

1、准备工作

下载一些用到的命令

yum install -y vim
yum install -y lrzsz
yum install net-tools

目录约定

/opt            #工作目录
/opt/install    #安装包
/opt/softwar    #软件包
/opt/other      #其它
/opt/test       #测试
cd /opt
mkdir install software other test       #新建目录

JDK安装

cd /opt/install     #进入安装包目录
?
rz jdk-8u221-linux-x64.tar.gz   #上传JDK
?
tar -zxvf jdk-8u221-linux-x64.tar.gz  #解压JDK
?
mv jdk1.8.0_221 jdk1.8      #改名为JDK1.8
?
mv jdk1.8 ../software   #移动到/opt/software目录
?

配置jdk环境变量

vim /etc/profile      #编辑环境变量
?
JAVA_HOME=/opt/software/jdk1.8           #添加JAVA_HOME变量
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
?
source /etc/profile   #生效配置

修改主机名

vim /etc/hostname   #编辑主机名
?
hdp01  #主机名以hdp01为例

修改主机映射

vim /etc/hosts    #编辑主机映射
?
192.168.0.32  hdp01     #主机的ip对应主机名 

配置免密登录

ssh-keygen      #生成公钥
?
ssh-copy-id hdp01  #设置自己为免密登录

2、下载安装伪分布式

hadoop安装

cd /opt/install        #进入安装包目录

rz hadoop-2.7.7.tar.gz    #上传hadoop

tar -zxvf hadoop-2.7.7.tar.gz  #解压hadoop

mv hadoop-2.7.7 ../software    #移动到/opt/software目录

修改hadoop的6个配置文件

cd /opt/software/hadoop-2.7.7/etc/hadoop    #进入配置文件目录

hadoop-env.sh

vim hadoop-env.sh        #编辑配置文件hadoop-env.sh

export JAVA_HOME=/opt/software/jdk1.8  #修改25行

export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop  #修改33行

core-site.xml

vim    core-site.xml         #编辑配置文件core-site.xml

<configuration>
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hdp01:9000</value>  #hdp01为 主机名
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/software/hadoop-2.7.7/tmp</value>
    </property>

</configuration>

hdfs-site.xml

vim    hdfs-site.xml         #编辑配置文件hdfs-site.xml

<configuration>
       <property>
         <name>dfs.replication</name>
         <value>1</value>
        </property>
</configuration>        

mapred-site.xml

cp mapred-site.xml.template  mapred-site.xml    #拷贝例子
vim mapred-site.xml         #编辑配置文件mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

vim yarn-site.xml         #编辑配置文件yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hdp01</value>                            #hdp01为主机名
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

slaves

vim slaves         #编辑配置文件slaves

hdp01        #主机名

配置hadoop的环境变量

vim /etc/profile        #编辑环境变量

JAVA_HOME=/opt/software/jdk1.8
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
HADOOP_HOME=/opt/software/hadoop-2.7.7
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 

source /etc/profile        #生效配置

格式化文件系统

hadoop namenode -format

运行服务器

start-all.sh  #开启
stop-all.sh  #关闭

查看系统端口

netstat -nltup

原文地址:https://www.cnblogs.com/yangy1/p/12336987.html

时间: 2024-11-06 13:27:45

Hadoop的伪分布式安装和部署的流程的相关文章

【Hadoop】在Ubuntu系统下安装Hadoop单机/伪分布式安装

Ubuntu 14.10 前方有坑: 由于之前的分布式系统电脑带不动,所以想换一个伪分布式试一试.用的是Virtualbox + Ubuntu 14.10 .结果遇到了 apt-get 源无法更新的情况,以及安装包安装不全的情况.只好咬一咬牙,又重新把系统给更新一边. apt-get 源无法更新解决方案:传送门 首先先备份源列表: sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup 用编辑器打开: sudo gedit /etc/

Hadoop之伪分布式安装

一.Hadoop的安装模式有3种 ①单机模式:不能使用HDFS,只能使用MapReduce,所以单击模式主要用于测试MR程序. ②伪分布式模式:用多个线程模拟真实多台服务器,即模拟真实的完全分布式环境. ③完全分布式模式:用多台机器(或启动多个虚拟机)来完成部署集群. 二.安装主要涉及以下内容: ①JDK ②配置主机名.hosts文件以及免密登录 ③修改hadoop的配置文件,主要涉及以下几个配置文件(hadoop-2.7.7/etc/hadoop) 1)hadoop-env.sh:这里主要修改

hadoop的伪分布式安装(详细)

安装环境 vmvare 11 centos 6.5 安装开始: 一   安装jdk 将下载的  .bin格式的JDK传输到Linux  家目录下的  Hadoop 文件夹,将hadoop安装包也放到这个文件夹 进入JDK安装目录建立一个软连接 [[email protected] java]# ln -s jdk1.6.0_27 java [[email protected] java]# cd 进入家目录 编辑  .bashrc 将hadoop目录解压到/usr/目录 让环境变量生效 二  设

【hadoop】 hadoop 单机伪分布式安装

准备: 虚拟机(CentOS 6.9) JDK1.8 hadoop2.8.0 一.JDK安装及配置 rpm -ivh jdkxxxx 安装 配置环境变量 vim /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_121 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar source /etc/profi

Hadoop日记Day3---Hadoop的伪分布式安装

导录 比较仔细的读者可能发现,注意本章的图片又不太对劲的地方,那就是linux中的主机名有的是hadoop,有的是localhost,是由于使用的不同的电脑编辑的本文章,有的电脑上并没有修改主机名,一直使用默认的localhost主机名,不影响大家的学习,只是主机名不一样,其他的都一样,大家注意一下就可以了,自己是什么主机名,就把他看成自己的主机名就可以了,文章中的localhost和hadoop只是不同的主机名,他们的目录结构都是一样的.还有就是一下的软件下载地址:http://pan.bai

伪分布式安装core-site.xml和hdfs-site.xml配置文件

hadoop的伪分布式安装流程如下所示: 其中core-site.xml和hdfs-site.xml是两个很重要的配置文件. core-site.xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary

一、Hadoop 2.x 分布式安装部署

一.Hadoop 2.x 分布式安装部署 1.分布式部署hadoop 2.x 1.1克隆虚拟机并完成相关配置 1.1.1克隆虚拟机 点击原有虚拟机–>管理–>克隆–>下一步–>创建完成克隆–>写入名称hadoop-senior02–>选择目录 1.1.2配置修改 1)启动克隆虚拟机(内存配置:01:2G;02:1.5G;03:1.5G) 2)修改主机名:改两处 3)修改网卡名称 编辑 /etc/udev/rules.d/70-persistent-net.rules -

Hadoop伪分布式安装

本文介绍的主要是Hadoop的伪分布式的搭建以及遇到的相关问题的解决,做一下记录,jdk的安装这里就不做太多的介绍了,相信大家根据网上的安装介绍很快就能安装成功. 环境 操作系统 Oracle VM VirtualBox-rhel-6.4_64   本机名称 yanduanduan   本机IP 192.168.1.102   JDK 1.7.0_79   hadoop 2.7.3 点此下载 Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列,比较老的教材

Hadoop:Hadoop单机伪分布式的安装和配置

http://blog.csdn.net/pipisorry/article/details/51623195 因为lz的linux系统已经安装好了很多开发环境,可能下面的步骤有遗漏. 之前是在docker中配置的hadoop单机伪分布式[Hadoop:Hadoop单机伪分布式的安装和配置 ],并且在docker只有root用户,所有没有权限问题存在. 这里直接在linux下配置,主要是为了能用netbeans ide调试hadoop程序,并且使用的用户就是开机时登录的用户pika. 本教程配置