伪分布式Hadoop2.x集群的搭建

1. 安装JDK

a.查出当前已经安装的JDK  # rpm -qa | grep java 
 b.卸载原先自带的JDK  # rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 tzdata-java-2012j-1.el6.noarch java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
 c.解压安装 # tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/

d.配置JDK的环境变量  

2. 创建hadoop普通用户

给hadoop用户设置sudo权限,更改/etc/sudoers ,如果该文件不可写设置权限 # chmod 640 /etc/sudoers

切换到hadoop用户 # su - hadoop

3. 创建规范的软件安装文件

/opt/modules # 大型软件的安装路径
  /opt/softwares # 软件源程序安装包上传路径
  /opt/tools # 工具安装路径
  /opt/datas #数据文件存放路径

4. 配置handoop 

a. 在/opt/modules 目录下,创建子目录。更改hadoop所属者和所属组为hadoop

b. 用ftp将hadoop2.5.0.tar.gz 上传到/opt/softwares, 将hadoop2.5.0.tar.gz解压缩到 /opt/hadoop/modules/hadoop

c. 在/opt/modules/hadoop/hadoop-2.5.0/etc/hadoop 修改hadoop-env.sh

d. 修改core-site.xml

e. 修改hdfs-site.xml

因为是伪分布式,所以这边备份数量为1

f. 格式化nameNode

g.验证

1. 启动namenode, 用jps命令查看是否启动成功

2. 启动datanode, 用jps命令查看是否启动成功

3. 启动secondaryNameNode,用jps命令查看进程是否启动成功

4. 通过web页面验证HDFS

时间: 2024-10-24 22:44:06

伪分布式Hadoop2.x集群的搭建的相关文章

Hadoop2.6集群环境搭建

Hadoop2.6集群环境搭建(HDFS HA+YARN)原来4G内存也能任性一次. 准备工作: 1.笔记本4G内存 ,操作系统WIN7 (屌丝的配置) 2.工具VMware Workstation 3.虚拟机:CentOS6.4共四台 虚拟机设置: 每台机器:内存512M,硬盘40G,网络适配器:NAT模式 选择高级,新生成虚机Mac地址(克隆虚拟机,Mac地址不会改变,每次最后手动重新生成) 编辑虚拟机网络: 点击NAT设置,查看虚机网关IP,并记住它,该IP在虚机的网络设置中非常重要. N

Hadoop2.6集群环境搭建(HDFS HA+YARN)

Hadoop2.6集群环境搭建(HDFS HA+YARN)原来4G内存也能任性一次. 准备工作: 1.笔记本4G内存 ,操作系统WIN7 (屌丝的配置) 2.工具VMware Workstation 3.虚拟机:CentOS6.4共四台 虚拟机设置: 每台机器:内存512M,硬盘40G,网络适配器:NAT模式 选择高级,新生成虚机Mac地址(克隆虚拟机,Mac地址不会改变,每次最后手动重新生成) 编辑虚拟机网络: 点击NAT设置,查看虚机网关IP,并记住它,该IP在虚机的网络设置中非常重要. N

ZooKeeper一二事 - 搭建ZooKeeper伪分布式及正式集群 提供集群服务

集群真是好好玩,最近一段时间天天搞集群,redis缓存服务集群啦,solr搜索服务集群啦,,,巴拉巴拉 今天说说zookeeper,之前搭建了一个redis集群,用了6台机子,有些朋友电脑跑步起来,有点卡,那这里主要说说伪分布式的集群,正式版的集群需要3台机子,我就一带而过说一说,搭建起来也是非常简单的 先来说说Zookeeper 什么是Zookeeper呢,顾名思义,动物园管理员嘛,什么hadoop大象啦,hive蜜蜂啦,pig小猪啦,都是用这货来管的,就是大数据Hadoop里面的嘛~ (题外

Hadoop2.6集群环境搭建(伪分布式)

本文地址:http://www.cnblogs.com/myresearch/p/hadoop-fully-distributed-operation.html,转载请注明源地址. 以前安装过hadoop几个版本的单机版,主要是为了研究hadoop源代码,现在想更加深入hadoop整个生态系统,选择安装hadoop完全分布式,由于目前hadoop最新版本为2.6,于是选择这个版本安装使用 准备工作: 1.笔记本4G内存 ,操作系统WIN7(纯屌丝配置) 2.工具:VMware Workstati

Hadoop2.6集群环境搭建(HDFS HA+YARN)原来4G内存也能任性一次.

准备工作: 1.笔记本4G内存 ,操作系统WIN7 (屌丝的配置) 2.工具VMware Workstation 3.虚拟机:CentOS6.4共四台 虚拟机设置: 每台机器:内存512M,硬盘40G,网络适配器:NAT模式 选择高级,新生成虚机Mac地址(克隆虚拟机,Mac地址不会改变,每次最后手动重新生成) 编辑虚拟机网络: 点击NAT设置,查看虚机网关IP,并记住它,该IP在虚机的网络设置中非常重要. NAT设置默认IP会自动生成,但是我们的集群中IP需要手动设置. 本机Win7 :VMn

Solr集群的搭建以及使用(内涵zookeeper集群的搭建指南)

1   什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud.当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使 用SolrCloud来满足这些需求. SolrCloud是基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zookeeper作为集群的配置信息中心. 它有几个特色功能: 1)集中式的配置信息 2)自动容

Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的

准备工作: 1.笔记本4G内存 ,操作系统WIN7 2.工具VMware Workstation 3.虚拟机:CentOS6.4共五台 4.搭建好Hadoop集群( 方便Spark可从HDSF上读取文件,进行实验测试) 实验环境: Hadoop HA集群: Ip hostname role 192.168.249.130 SY-0130 ActiveNameNode 192.168.249.131 SY-0131 StandByNameNode 192.168.249.132 SY-0132 D

Hadoop2.6.0 + Spark1.4.0 在Ubuntu14.10环境下的伪分布式集群的搭建(实践可用)

前言,之前曾多次搭建集群,由于疏于记录,每次搭建的时候到处翻阅博客,很是费劲,在此特别记录集群的搭建过程. 0.环境:Ubuntu14.10.Hadoop2.6.0.spark-1.4.0 1.安装jdk1.7 (1)下载jdk-7u25-linux-i586.tar.gz: (2)解压jdk-7u25-linux-i586.tar.gz,并将其移动到 /opt/java/jdk/路径下面 (3)配置java环境变量: 在 /etc/profile文件中追加 #set java env expo

Hadoop 2.2.0的伪分布集群环境搭建

Hadoop伪分布环境搭建的“三步”总流程 第一 .Jdk安装和环境变量配置 1.先检测一下,jdk是否安装 java - version 2.查看下CentOS的位数 file /bin/ls 3.切换到usr/,创建java/目录 cd / ls cd usr/ mkdir java cd java/ ls 4.上传本地下载好的 ,显示上传命令没有安装 rz 5 .下载rz .sz命令 yum -y install lrzsz 6 .上传本地下载好的 jdk-7u79-linux-x64.t