hadoop 2.5 安装部署

hadoop 下载地址:http://mirrors.cnnic.cn/apache/hadoop/common/

单机伪分布

配置文件:

/hadoop-2.5.1/etc/hadoop/

hadoop-env.sh

修改export JAVA_HOME=${JAVA_HOME}//jdk安装目录

core-site.xml

<configuration>
 <property>
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value>
 </property>
</configuration>

hdfs-site.xml

<configuration>
 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
</configuration>

mapred-site.xml

<configuration>
 <property>
  <name>mapred.job.tracher</name>
 <value>localhost:9001</value>
</property>
</configuration>

格式化文件系统

hadoop-2.5.1/bin

./hadoop namenode -format

启动:

hadoop-2.5.1/sbin

./start-all.sh

访问地址:

http://192.168.1.100:8088/管理页面

http://192.168.1.100:50070/   (hdfs的web页面)

http://192.168.1.100:50030   (MapReduce 的web页面)

时间: 2024-10-21 00:58:06

hadoop 2.5 安装部署的相关文章

Hadoop集群安装部署步骤详解

虚拟机安装 不要用Cgywin 系统都为32位的Centos 5 Linux安装ssh协议,安装的时候选中ssh安装包. 一.硬件环境 2机器,通过hostname进行设置: master(192.168.1.102) slave1(192.168.1.101) 该环境目前只有2个节点,有资源的话可以增加slave2.slave3- 虚拟机上安装linux的话,用使用桥接的方式,在虚拟机系统名称上点右键--设置: 如果桥接不行可以选NAT 给每个linux设置固定的ip,因为不设置的话虚拟机每次

Hadoop分布式系统的安装部署

1.关于虚拟机的复制 新建一台虚拟机,系统为CentOS7,再克隆两台,组成一个三台机器的小集群.正常情况下一般需要五台机器(一个Name节点,一个SecondName节点,三个Data节点.) 此外,为了使网络生效,需要注意以下几点: 1>  编辑网络配置文件 /etc/sysconfig/network-scripts/ifcfg-eno16777736 先前的版本需要删除mac地址行,注意不是uuid,而是hwaddr,这一点新的CentOS不再需要 2> 删除网卡和mac地址绑定文件

hadoop的简单安装部署过程

为了做些实验,所以在自己笔记本电脑上装了个虚拟机,系统为CentOS6.2,JDK1.7,hadoop-1.0.1 为了简单起见,部署伪分布式,即仅有一个节点,这个节点既是Master,也是Slave,既是NameNode,也是DataNode,既是JobTracker,也是TaskTracker. 部署总体说明: 伪分布式部署比较简单,只需要搞定4个配置文件即可,分别是: 1.hadoop-env.sh       //用以指定JDK的位置 2.core-site.xml    //核心配置,

Hadoop-Yarn安装部署

Hadoop Yarn的安装部署于Hadoop类似,以下以CDH4.5为例说明安装步骤. 三台机器,修改/etc/hosts及/etc/sysconfig/network中的HOSTNAME: 172.20.4.142 yarn-namenode 172.20.4.143 yarn-datanode1 172.20.4.147 yarn-datanode2 1.实现无密码namenode ssh to datanode namenode上执行 ssh-keygen -t rsa -P ''产生i

hbase单节点安装部署

本次配置延续上次的hadoop伪分布式安装部署 资源下载 http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz http://mirror.bit.edu.cn/apache/hbase/stable/hbase-1.2.6-bin.tar.gz 1.为hadoop管理用户配置suduers权限并做主机名解析 [[email protected] hadoop]# vi /etc/

hadoop入门(3)&mdash;&mdash;hadoop2.0理论基础:安装部署方法

一.hadoop2.0安装部署流程         1.自动安装部署:Ambari.Minos(小米).Cloudera Manager(收费)         2.使用RPM包安装部署:Apache hadoop不支持.HDP与CDH提供         3.使用jar包安装部署:各版本均提供.(初期为了理解hadoop,建议使用这种方式)         部署流程:                 准备硬件(Linux操作系统)                 准备软件安装包,并安装基础软件

Apache Hadoop集群离线安装部署(三)——Hbase安装

Apache Hadoop集群离线安装部署(一)--Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apache Hadoop集群离线安装部署(二)--Spark-2.1.0 on Yarn安装:http://www.cnblogs.com/pojishou/p/6366570.html Apache Hadoop集群离线安装部署(三)--Hbase安装:http://www.cnblogs.com/po

hadoop 2.x HA(QJM)安装部署规划

一.主机服务规划: db01                                             db02                                        db03                                      db04                                             db05 namenode                                namenode jo

安装部署Hadoop

安装Hadoop教程 目录 第一步. 配置Vmware NAT网络... 2 一. Vmware网络模式介绍... 2 二. NAT模式配置... 2 第二步. 安装Linux操作系统... 3 三. Vmware上安装Linux系统... 3 四. 设置网络... 5 五. 修改Hostname. 6 六. 配置Host. 7 第三步. 安装JDK. 7 七. 安装Java JDK. 7 八. 添加环境变量... 7 第四步. 单机Hadoop部署过程... 7 九. Hadoop所用的用户设