hadoop 2.6伪分布安装

hadoop 2.6的“伪”分式安装与“全”分式安装相比,99%的操作是相同的,唯一的区别是不用配置slaves文件,下面是几个关键的配置:

(安装JDK、创建用户、设置SSH免密码、设置环境变量这些准备工作,大家可参考hadoop 2.6全分布安装 一文,以下所有配置文件,均在$HADOOP_HOME/etc/hadoop目录下)

一、修改hadoop-env.sh、yarn-env.sh

主要是设置JAVA_HOME的路径

二、修改core-site.xml

 1 <configuration>
 2   <property>
 3     <name>fs.default.name</name>
 4     <value>hdfs://localhost:9000</value>
 5   </property>
 6   <property>
 7     <name>hadoop.tmp.dir</name>
 8     <value>/opt/app/hadoop-2.6.0/tmp</value>
 9   </property>
10 </configuration>

三、修改hdfs-site.xml

 1 <configuration>
 2   <property>
 3     <name>dfs.name.dir</name>
 4     <value>/opt/app/hadoop-2.6.0/hdfs/name</value>
 5     <description>namenode storage path</description>
 6   </property>
 7   <property>
 8     <name>dfs.data.dir</name>
 9     <value>/opt/app/hadoop-2.6.0/hdfs/data</value>
10     <description>datanode storage path</description>
11   </property>
12   <property>
13     <name>dfs.replication</name>
14     <value>1</value>
15   </property>
16 </configuration>

四、修改mapred-site.xml

 1 <configuration>
 2   <property>
 3     <name>mapred.job.tracker</name>
 4     <value>hdfs://localhost:9001</value>
 5   </property>
 6   <property>
 7     <name>mapred.local.dir</name>
 8     <value>/opt/app/hadoop-2.6.0/mapred/local</value>
 9     <description>mapreduce storage path</description>
10   </property>
11   <property>
12     <name>mapred.system.dir</name>
13     <value>/opt/app/hadoop-2.6.0/mapred/system</value>
14     <description>mapreduce system level storage path</description>
15   </property>
16 </configuration>

五、修改yarn-site.xml

1 <configuration>
2   <property>
3     <name>yarn.nodemanager.aux-services</name>
4     <value>mapreduce_shuffle</value>
5   </property>
6 </configuration>

注:以上这些配置里的目录,要确实存在,如果没有,请先手动创建,参考命令 mkdir -p mapred/system

可以开始测试了:

1.先格式化

bin/hdfs namenode –format

2、启动dfs、yarn

sbin/start-dfs.sh

sbin/start-yarn.sh

然后用jps查看java进程,应该能看到以下几个进程:

25361 NodeManager
24931 DataNode
25258 ResourceManager
24797 NameNode
25098 SecondaryNameNode

还可以用以下命令查看hdfs的报告:

bin/hdfs dfsadmin -report 正常情况下可以看到以下内容

Configured Capacity: 48228589568 (44.92 GB)
Present Capacity: 36589916160 (34.08 GB)
DFS Remaining: 36589867008 (34.08 GB)
DFS Used: 49152 (48 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Live datanodes (1):

Name: 127.0.0.1:50010 (localhost)
Hostname: dc191
Decommission Status : Normal
Configured Capacity: 48228589568 (44.92 GB)
DFS Used: 49152 (48 KB)
Non DFS Used: 11638673408 (10.84 GB)
DFS Remaining: 36589867008 (34.08 GB)
DFS Used%: 0.00%
DFS Remaining%: 75.87%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue May 05 17:42:54 CST 2015

3、web管理界面查看

http://localhost:50070/

http://localhost:8088/

4、在hdfs中创建目录

bin/hdfs dfs -mkdir /x

这样就在hdfs中创建了一个目录x

5、向hdfs中放入文件

bin/hdfs dfs -put README.txt /x

上面的命令会把当前目录下的README.TXT放入hdfs的/x目录中,在web管理界面里也可以看到该文件

时间: 2024-10-12 11:56:03

hadoop 2.6伪分布安装的相关文章

Hadoop 单节点 & 伪分布 安装手记

实验环境CentOS 6.XHadoop 2.6.0JDK       1.8.0_65 目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等. 先决条件支持平台    GNU/Linux是产品开发和运行的平台. Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证.    Win32平台是作为开发平台支持的.由于分布式操作尚未在Win

hadoop 2.5 伪分布安装

最新的hadoop2.5 安装目录做了一定修改,安装变得稍微简单一点 首先安装准备工具 $ sudo apt-get install ssh $ sudo apt-get install rsync 配置ssh $ ssh localhost If you cannot ssh to localhost without a passphrase, execute the following commands: $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

#hadoop#单机(伪分布)安装及测试

tips:这个部署完全在以root用户操作,系统为ubuntu14.04,使用了Oracle JDK7_u55替换原来的OpenJDK 安装过程: 安装Java: 从自己的宿主机ftp服务器下载包: cd /usr/lib/jvm wget ftp://192.168.42.110/jdk-7u55-linux-x64.tar.gz  tar xvf jdk-7u55-linux-x64.tar.gz mv jdk1.7.0_55/ java-7-sun 编辑bashrc: vi ~/.bash

Hadoop伪分布安装

1.hadoop的伪分布安装 1.1 设置ip地址 执行命令 service network restart 验证: ifconfig 1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status 1.3 关闭防火墙的自动运行(在上面的那一步即使我们关闭了防火墙,还是在有些情况下,防火墙会自动起来,那些情况就是下面的命令的结果为on的时候) 执行命令 chkconfig iptables off 验证: chkconfig --

Hadoop伪分布安装详解+MapReduce运行原理+基于MapReduce的KNN算法实现

本篇博客将围绕Hadoop伪分布安装+MapReduce运行原理+基于MapReduce的KNN算法实现这三个方面进行叙述. (一)Hadoop伪分布安装 1.简述Hadoop的安装模式中–伪分布模式与集群模式的区别与联系. Hadoop的安装方式有三种:本地模式,伪分布模式,集群(分布)模式,其中后两种模式为重点,有意义 伪分布:如果Hadoop对应的Java进程都运行在一个物理机器上,称为伪分布 分布:如果Hadoop对应的Java进程运行在多台物理机器上,称为分布.[集群就是有主有从] 伪

Hadoop-2.6.0伪分布--安装配置hbase

Hadoop-2.6.0伪分布--安装配置hbase 1.用到的hadoop与hbase: 2.安装hadoop: 具体安装看这篇博文: http://blog.csdn.net/baolibin528/article/details/42939477 hbase所有版本下载 http://archive.apache.org/dist/hbase/ 3.解压hbase: 结果: 4.修改hbase 文件权限为一般用户权限: 5.设置环境变量: 配置内容: 保存配置: 6.进入配置文件目录: 7

CentOS 6.5 伪分布安装

CentOS 6.5 伪分布安装 软件准备  jdk-6u24-linux-i586.bin .hadoop-1.2.1.tar.gz.hadoop-eclipse-plugin-1.2.1.jar . Eclipse-jee-indigo-SR2-linux-gtk.tar.gz 假设:  所有软件压缩包都放在  /home/hadoop 文件夹下. 1.JDK安装 1.1           root用户登录,使用命令 mkdir  /usr/local/program 新建目录progra

hadoop1学习系列2-hadoop伪分布安装

1.hadoop的伪分布安装(采用Host-only模式) 1.1 设置ip地址    1.1.1设置宿主机的VirtualBox Host-only Network网路设置         IP地址:192.168.56.1   子网掩码:255.255.255.0   默认网关:不填  1.1.2设置VirtualBox虚拟机的网路连接   网卡1:启用网路连接   连接方式:仅主机(Host-Only)适配器   高级:保持默认   1.1.3启动linux系统,(使用centos6.4)

2015.07.12hadoop伪分布安装

hadoop伪分布安装 ? Hadoop2的伪分布安装步骤[使用root用户用户登陆]other进去超级用户拥有最高的权限 1.1(桥接模式)设置静态IP ,,修改配置文件,虚拟机IP192.168.1.99重启网卡,网关192.168.1.1是物理机下面的默认网关, 执行命令 vi /etc/sysconfig/network-scripts/ifcfg-eh0 ? 修改内容: TYPE="Ethernet" BOOTPROTO="static" ONBOOT=&