hadoop的安装和配置——第二章:伪分布模式

这篇为大家带来hadoop的伪分布模式:

从最简单的方面来说,伪分布模式就是在本地模式上修改配置文件:

core-site.xml;hdfs-site.xml;mapred-site.xml;yarn-site.xml4

备注:本地模式见hadoop的安装与配置——第一章:本地模式

思路:

|——————————|

|  ①:ssh免密登陆   |

|  ②:修改配置文件   |

|  ③:格式化hadoop  |

|  ④:启动hadoop     |

|——————————|

一:ssh的免密登陆

生成id_rsa和id_rsa.pub

[[email protected] hadoop]# ssh-keygen -t rsa

进入/root/.ssh下:将id_rsa.pub的信息发在authorized_keys下:

1 [[email protected] hadoop]# cd /root/.ssh/
2 [[email protected] .ssh]# cat id_rsa.pub >> authorized_keys
3 [[email protected] .ssh]# ls
4 authorized_keys  id_rsa  id_rsa.pub  known_hosts

SSH免密登陆详细文档链接地址


二:关于配置文件的主要内容

core-site.xml:指定hadoop的主节点master

hdfs-site.xml:指定hadoop中的文件副本数

mapred-site.xml:指定mapreduce的资源管理

yarn-site.xml:——————————————

配置文件可以从hadoop的官方文档中下载,有详细解释,这里为了减少对大家的干扰,就直接选取了部分:

core-site.xml配置修改:

1 <configuration>
2         <property>
3                 <name>fs.default.name</name>
4                 <value>hdfs://localhost</value>(主节点为本机localhost)
5         </property>
6 </configuration>

hdfs-site.xml配置修改:

1 <configuration>
2         <property>
3                 <name>dfs.replication</name>
4                 <value>1</value>(伪分布模式)
5         </property>
6 </configuration>

mapred-site.xml配置修改:

备注:

1 若没有mapred-site.xml,选择以下方法复制
2 [[email protected] hadoop]# cp mapred-site.xml.template mapred-site.xml
1 <configuration>
2         <property>
3                 <name>mapreduce.framework.name</name>
4                 <value>yarn</value>(选择yarn来mapreduce)
5         </property>
6 </configuration>

yarn-site.xml配置修改:

 1 <configuration>
 2         <property>
 3                 <name>yarn.resourcemanager.hostname</name>
 4                 <value>localhost</value>
 5         </property>
 6
 7         <property>
 8                 <name>yarn.nodemanager.aux-services</name>
 9                 <value>mapreduce_shuffle</value>
10         </property>
11 </configuration>


三:格式化hadoop

hadoop namenode -format

格式化一次就好了


四:启动hadoop

start-all.sh

备注:关闭hadoop:stop-all.sh

想要知道hadoop是否配置成功,那么就使用jps来查询一下进程吧!

我们知道hadoop主要分为存储和计算,所以我们主要查询一下存储和计算的进程是否启动:

1 [[email protected] hadoop]# jps
2 31105 NodeManager(从)(计算)
3 30675 SecondaryNameNode(主-副本)(计算)
4 31139 Jps
5 30822 ResourceManager(主)(计算)
6 30510 DataNode(从)(存储)
7 30382 NameNode(主)(存储)

有不清楚的地方欢迎大家提问,有问题欢迎大家给出方法!

2017-12-26 15:32:06

原文地址:https://www.cnblogs.com/dxxblog/p/8118254.html

时间: 2024-10-10 15:24:44

hadoop的安装和配置——第二章:伪分布模式的相关文章

Hadoop 离线安装 CDH5.1 第二章:cloudera manager与agent 安装

新建cloudera-scm用户 (做了分行,这个是一条linux命令,) [[email protected] cloudera-manager-5.1.0]$ sudo useradd --system  --home=/opt/cloudera-manager-5.1.0/run/cloudera-scm-server  --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm 改

二、Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)

在Ubuntu14.04下安装Hadoop2.4.0 (单机模式)基础上配置 一.配置core-site.xml /usr/local/hadoop/etc/hadoop/core-site.xml 包含了hadoop启动时的配置信息. 编辑器中打开此文件 sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml 在该文件的<configuration></configuration>之间增加如下内容: <property&g

Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境)

注:本文有参考 这篇文章 ,但因其中有部分错误,所以在实际操作中遇到了很大的困扰,于是写成了这篇文章供大家使用 一.准备 1.1创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell $ sudo passwd hadoop #为hadoop用户设置密码,之后需要连续输入两次密码 $ sudo adduser hadoop sudo #为hadoop用户增加管理员权限 $ su - hado

Hadoop Hive安装,配置mysql元数据库

由于Hive依赖于Hadoop,安装Hive之前必须确认Hadoop可用,关于Hadoop的安装可以参考集群分布式 Hadoop安装详细步骤,这里不再叙述. 1.下载Hive安装包 下载地址为:http://www.apache.org/dyn/closer.cgi/hive(或点击下面链接),选择一个稳定版本,假设下载的版本为:apache-hive-1.0.1-bin.tar.gz,解压: tar -zxvf apache-hive-1.0.1-bin.tar.gz 在apache的下载列表

ubuntu14.04安装hadoop2.6.0(伪分布模式)

版本:虚拟机下安装的ubuntu14.04(x64),hadoop-2.6.0 下面是hadoop2.6.0的官方教程(英文): http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation hadoop下载地址: http://mirror.bit.edu.cn/apache/hadoop/common/ 选择hadoo

Hadoop运行模式:本地模式、伪分布模式、完全分布模式

1.本地模式:默认模式 - 不对配置文件进行修改. - 使用本地文件系统,而不是分布式文件系统. - Hadoop不会启动NameNode.DataNode.ResourceManager.NodeManager等守护进程,Map()和Reduce()任务作为同一个进程的不同部分来执行的. - 用于对MapReduce程序的逻辑进行调试,确保程序的正确. 2.伪分布模式:等同于完全分布式,只有一个节点 - 分为在HDFS上执行和在YARN上执行 - Hadoop启动NameNode.DataNo

hadoop的安装与配置

Hadoop版本 Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列.1.x.y大数公司已经更新Hadoop 2.x 版本,本教程均可适用. 基本环境:Centos 6.5   jdk1.7.0_67   hadoop2.5.1 一.配置jdk 1)下载jdk 版本 本教程试用jdk-7u67-linux-x64.war.gz 2)创建解压目录 mkdir /usr/local/java 3)移动jdk到/usr/local/java mv jdk-7u6

【Hadoop】安装与配置

其实就是作业来的而已 1.解压jdk 2.配置jdk环境 普通用户权限输入gedit ~/.bashrc 在第一行回车输入jdk目录,因为到后面hadoop安装配置时出现找不到jdk 超级管理员权限输入gedit ~/.bashrc 在文档最下方配置路径 最后保存退出,终端输入source ~/.bashrc 执行 sudoupdate-alternatives --install /usr jdk1.8.0_60/bin/java java/usr/jdk/jdk1.8.0_60/bin/ja

《Hadoop权威指南》笔记 第二章 Hadoop Streaming

什么是Hadoop Streaming ? ? Hadoop提供的一个编程工具,允许用户使用任何可执行文件或脚本作为mapper和Reducer ? ? 一个例子(shell简洁版本) ? ? $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-*-streaming.jar -input myInputDirs -output myOutputDir -mapper cat -reducer wc ? ? 解析: