Hadoop伪分布式模式安装

《Hadoop权威指南(第2版)》来讲,伪分布式(pseude-distributed model)是指Hadoop守护进程运行在本地机器上,模拟一个小规模的集群。

这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)

Hadoop安装

参考: http://www.cnblogs.com/xs104/p/4484268.html

配置Hadoop

1、/opt/hadoop2.6/etc/hadoop/core-site.xml(这里是hadoop2.6是因为我之前把hadoop解压到这里)

<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/tmp</value> (这里是hadoop,是因为我使用hadoop账户)
</property>

    

    2、/opt/hadoop2.6/etc/hadoop/mapred-site.xml

目录下有一个mapred-site.xml.template文件,重命名为mapred-site.xml即可

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>        

格式化hadoop文件系统

 bin/hadoop  namenode -format

启动hadoop

sbin/start-all.sh

  

 查看Hadoop

  1、使用jps查看

  

  2、WEB页面查看

  http://192.168.1.114:50070  (192.168.1.114为我安装hadoop的机器)

更多:http://xiaoluobo6666.iteye.com/blog/1338676       

时间: 2024-08-28 09:45:12

Hadoop伪分布式模式安装的相关文章

Hadoop 伪分布式模式安装

Hadoop简介 Hadoop由Apache基金会开发的分布式系统基础架构,是利用集群对大量数据进行分布式处理和存储的软件框架.用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序.Hadoop有高可靠,高扩展,高效性,高容错等优点.Hadoop 框架最核心的设计就是HDFS和MapReduce.HDFS为海量的数据提供了存储,MapReduce为海量的数据提供了计算.此外,Hadoop还包括了Hive,Hbase,ZooKeeper,Pig,Avro,Sqoop,Flume,Ma

【HBase基础教程】1、HBase之单机模式与伪分布式模式安装

在这篇blog中,我们将介绍Hbase的单机模式安装与伪分布式的安装方式,以及通过浏览器查看Hbase的用户界面.搭建hbase伪分布式环境的前提是我们已经搭建好了hadoop完全分布式环境,搭建hadoop环境请参考:[Hadoop基础教程]4.Hadoop之完全分布式环境搭建 开发环境 硬件环境:Centos 6.5 服务器4台(一台为Master节点,三台为Slave节点) 软件环境:Java 1.7.0_45.Eclipse Juno Service Release 2.hadoop-1

HBase入门基础教程 HBase之单机模式与伪分布式模式安装

在本篇文章中,我们将介绍Hbase的单机模式安装与伪分布式的安装方式,以及通过浏览器查看Hbase的用户界面.搭建HBase伪分布式环境的前提是我们已经搭建好了Hadoop完全分布式环境,搭建Hadoop环境请参考:[Hadoop入门基础教程]4.Hadoop之完全分布式环境搭建 开发环境 硬件环境:CentOS 6.5 服务器4台(一台为Master节点,三台为Slave节点) 软件环境:Java 1.7.0_45.Eclipse Juno Service Release 2.hadoop-1

hadoop伪分布式模式下安装及运行

一 . 安装JDK 查询目前系统的JDK: rpm -qa|grep jdk. 卸载JDK yum -y remove xx tar -xzvf jdk-7u80-linux-x64.tar.gz 配置环境变量: vim /etc/profile export JAVA_HOME=/opt/softwares/jdk1.7.0_80 export PATH=$PATH:$JAVA_HOME/bin source /etc/profile 验证安装 java -version 二 . 配置伪分布式

Hadoop 伪分布式上安装 HBase

hbase下载:点此链接  (P.S.下载带bin的) 下载文件放入虚拟机文件夹,打开,放在自己指定的文件夹 tar -zxf /home/tools/hbase-1.2.6-src.tar.gz -C /home/software/ 修改环境配置 gedit /etc/profile //修改环境配置 //文件中添加 export HBASE_HOME=/home/software/hbase-1.2.6 export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME

Hadoop伪分布式模式部署(接单机模式)

一.相关配置文件修改 ①修改core-site.xml: $ su -l hadoop $ cd /usr/local/hadoop/ $ sudo vi etc/hadoop/core-site.xml <configuration>     <property>         <name>fs.defaultFS</name>         <value>hdfs://localhost:9000</value>     &l

伪分布式模式的Hadoop环境搭建

一.本文说明:     本次测试在一台虚拟机系统上进行伪分布式搭建.Hadoop伪分布式模式是在单机上模拟Hadoop分布式,单机上的分布式并不是真正的伪分布式,而是使 用线程模拟分布式.Hadoop本身是无法区分伪分布式和分布式的,两种配置也很相似.唯一不同的地方是伪分布式是在单机器上配置,数据节点和名字节点均 是一个机器. 二.环境说明:      操作系统:Cent Os 6.7      hadoop版本:hadoop-2.7.2      JDK版本:jdk1.8_77     备注:

【HBase基础教程】2、HBase之完全分布式模式安装

上一篇blog我们介绍了Hbase的单机模式安装与伪分布式的安装方式,本篇blog我们将详细介绍如何搭建hbase完全分布式环境,搭建hbase完全分布式环境的前提是我们已经搭建好了hadoop完全分布式环境,搭建hadoop完全分布式环境请参考:[Hadoop基础教程]4.Hadoop之完全分布式环境搭建 开发环境 硬件环境:Centos 6.5 服务器4台(一台为Master节点,三台为Slave节点) 软件环境:Java 1.7.0_45.Eclipse Juno Service Rele

在RHEL 6.5上部署Hadoop 2.6伪分布式模式(单机)

第一步:安装JAVA 1.7               此步骤略过,太简单了,可参考这个: http://blog.sina.com.cn/s/blog_6a7cdcd40101b1j6.html   第二步:创建Haddop专用用户             虽然使用root用户也可以部署hadoop,但从系统安全及规范的角度考虑,还是建议大家创建专用的用户(本例中为hadoop,实际中可以是任意用户名),创建用户的命令: # useradd hadoop # passwd hadoop