CentOS 7下Hadoop2.6伪分布模式安装

1.Hadoop核心配置文件:

# gedit core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

# gedit hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

(注解:dfs.replication指定HDFS文件的备份方式默认3,由于是伪分布式,因此需要修改为1。)

# gedit mapred-site.xml.template

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>yarn.app.mapreduce.am.staging-dir</name>

<value>/data/hadoop/staging</value>

</property>

</configuration>

(注解:mapreduce.framework.name配置mapreduce框架。)

#gedit yarn-site.xml

<configuration>

<!-- Site specific YARN configurationproperties -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>Hadoop</value>

</property>

</configuration>

(注解:配置YARN信息)

2.格式HDFS文件系统
在启动Hadoop前,需要格式化Hadoop的HDFS文件系统,如果配置Hadoop环境变量,可以直接执行hadoop命令。否则,进入Hadoop的bin目录执行文件格式命令:

$ hadoop namenode -format

此时,Hadoop整个安装与配置过程完成了。

3.启动Hadoop
进入Hadoop的sbin目录,启动Hadoop,验证是否安装成功!

# ./start-all.sh

使用java的jps命令查看是否有hadoop的进程

# jps

10197 NameNode
10769 ResourceManager
10579 SecondaryNameNode
11156 Jps
10898 NodeManager
10344 DataNode

出现以上进程,说明Hadoop安装成功。

(注意:Hadoop2.0使用YARN管理代替了JobTracke和TaskTracker,因此这里只有ResourceManager进程,没有JobTracke和TaskTracker两个进程了)

打开浏览器,输入:

http://localhost:50070/

如果能够查看信息说明Hadoop安装成功了

4.运行WordCount实例

创建测试两侧文件file1.txt,file2.txt

$ vi file1.txt

welcome to hadoop

hello world!

$ vi file2.txt

hadoop hello

在HDFS上创建输入input输入目录:

$ hdfs dfs -mkdir /input

将file1.txt与file2.txt文件上传到HDFS的input目录

$ hdfs dfs -put file1.txt /input
$ hdfs dfs -put file2.txt /input

查看刚才上传的两个文件

$ hdfs dfs -put file2.txt /input
14/10/25 14:43:33 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
$ hdfs dfs -ls /input
14/10/25 14:43:43 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 2 items
-rw-r--r--  1 hadoop supergroup        31 2014-10-25 14:43 /input/file1.txt
-rw-r--r--  1 hadoop supergroup        13 2014-10-25 14:43 /input/file2.txt

执行hadoop自带的WordCount程序,统计单词数

进入/opt/hadoop-2.6.0/share/hadoop/mapreduce执行命令:

$ hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount  /input /output

执行没报错,查看运行结果:

$ hdfs dfs -ls /output/part-r-00000
14/10/25 14:54:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
ls: `/outputpart-r-00000‘: No such file or directory
$ hdfs dfs -cat /output/part-r-00000
14/10/25 14:54:30 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
hadoop 2
hello 2
to 1
welcome 1
world! 1

统计结果正确!

时间: 2024-10-27 02:19:44

CentOS 7下Hadoop2.6伪分布模式安装的相关文章

伪分布模式安装hadoop

准备工具: 虚拟机:VMware Linux系统:CentOS hadoop-1.1.2.tar.gz jdk-7u75-linux-x64.gz CentOS的网络配置 1.设置主机中VMware Network Adapter VMnet1的IPv4协议如下: 2.修改虚拟机虚拟网络的VMnet1的ip 3.CentOS中网络配置: 3.重启网卡: net service restart 伪分布模式安装步骤 1.1 设置ip地址 执行命令 service network restart 验证

HBase的伪分布模式安装

HBase是依赖Hadoop的数据存储系统,可以实现大数据(过亿条记录)的存储,进行并行化处理.在特定的场景下HBase有自己的用武之地. 下面讲述如何进行伪分布模式安装 1.设置环境变量 我使用的HBase版本是hbase-0.94.7-security.tar.gz,安装在机器hadoop0的/usr/local目录下.首先解压缩.重命名.设置环境变量HBASE_HOME. tar -xzvf hbase-0.94.7-security.tar.gz mv hbase-0.94.7-secu

hbase学习系列1——伪分布模式安装

1 在hadoop上解压缩.重命名.设置环境变量HBASE_HOME,参考hadoop学习系列2 2 修改文件$HBASE_HOME/conf/hbase-env.sh,修改内容如下 export JAVA_HOME=/usr/local/jdk export HBASE_MANAGES_ZK=true #export HBASE_CLASSPATH=/usr/local/hadoop/conf(不知是否有效,HadoopInAction中看到的) 3 修改文件hbase-site.xml,修改

Hadoop学习笔记(3)hadoop伪分布模式安装

为了学习这部分的功能,我们这里的linux都是使用root用户登录的.所以每个命令的前面都有一个#符号. 伪分布模式安装步骤: 关闭防火墙 修改ip地址 修改hostname 设置ssh自动登录 安装JDK 安装hadoop 1. 关闭防火墙 具体的操作过程参见博文:我用过的Linux命令--关闭防火墙 2. 修改ip地址 具体的操作过程参见博文: 3. 修改hostname 具体的操作过程参见博文:我用过的Linux命令--修改主机名

Hadoop2伪分布模式安装

参照Apache的官方文档,Hadoop2还是蛮好搭建的,但是搭建好后,MapReduce的JobHistory页面却没法进去,这是因为JobHistory没有配置正确或者服务没有启动起来.本文将梳理伪分布模式的搭建过程,并给出配置文档,让你不再为搭建这些过程烦恼. 准备 安装程序获取:从官网上下载,从Apache Download Mirrors选择一个镜像位置,然后选择一个Hadoop版本,下载hadoop-2.*.*.tar.gz 安装jdk: sudo apt-get autoremov

【hadoop 2.6】hadoop2.6伪分布模式环境的搭建测试使用

首先下载安装,这个就不说了,去apache官网下载安装,貌似186M,很大 解压后,我们看下目录结构如下: [[email protected] hadoop-2.6.0]# ll total 64 drwxr-xr-x 2 20000 20000 4096 Nov 14 05:20 bin drwxr-xr-x 3 20000 20000 4096 Nov 14 05:20 etc drwxr-xr-x 2 20000 20000 4096 Nov 14 05:20 include drwxr

2018-08-13期 Hbase伪分布模式安装部署

说明: Hbase部署模式有以下三种 (1)本地模式:本地模式不依赖于HDFS存储,将文件存储到操作系统本地目录,好处是我们不需要搭建HDFS集群,即可学些HBase相关命令及客户端操作. (2)伪分布模式:一台机器完成Hbase所有组件的配置,需要依赖HDFS分布式存储 (3)全分布模式:多机部署,一般情况下Hmaster和HregionServer分布在不同的服务器,需要依赖底层HDFS分布式存储. 一.安装介质 hbase-0.96.2-hadoop2-bin.tar.gz 二.安装JDK

centos7搭建hadoop2.10伪分布模式

1.准备一台Vmware虚拟机,添加hdfs用户及用户组,配置网络见 https://www.cnblogs.com/qixing/p/11396835.html 在root用户下 添加hdfs用户,并设置密码: adduser hdfs passwd hdfs 将hdfs用户添加到hdfs用户组中 usermod -a -G hdfs hdfs 前面一个hdfs是组名,后面一个hdfs是用户名 验证用户和用户组: cat /etc/group 会看到   hdfs:x:1001:hdfs 将h

CDH版本hadoop2.6伪分布式安装

CDH版本hadoop的一个重要分支,使用hadoop-2.6.0-cdh5.9.0在单台CentOS配置hadoop伪分布式环境: 1.基础环境配置 主机名 IP地址 角色 Hadoop用户 localhost 192.168.30.139 NameNode.ResourceManager.SecondaryNameNode.DataNode.NodeManager hadoop 1.1.关闭防火墙和SELinux 1.1.1.关闭防火墙 $ systemctl stop firewalld