Hadoop的学习前奏(二)——Hadoop集群的配置

前言:

Hadoop集群的配置即全然分布式Hadoop配置。

笔者的环境:

Linux:  CentOS 6.6(Final) x64

JDK:    java version "1.7.0_75"

OpenJDK Runtime Environment (rhel-2.5.4.0.el6_6-x86_64 u75-b13)

OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)

SSH:    OpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013

Hadoop: hadoop-1.2.1

步骤:

注:本文的实验是基于伪分布式Hadoop环境的。这里默认你的系统已经能够安装伪分布式的Hadoop了。假设你的系统还不能安装伪分布式Hadoop,请參考《Hadoop的学习前奏——在Linux上安装与配置Hadoop》一文完毕配置。

1.首先在三台主机上创建同样的用户

2.在三台主机上分别设置/etc/hosts和/etc/hostname

$ vim /etc/hosts

$ vim /etc/hostname

3.在这三台主机上安装OpenSSH,并配置SSH能够免password登录。

关于在单机上进行免password登录的部分,我在上一篇博客中有具体说明。假设你的配置出了问题以致无法免password登录。上一篇博客中有具体的做法,这里不再赘述。

将master中的authorized_keys复制给两台slave,做法例如以下:

$ scp authorized_keys slave1:~/.ssh/

$ scp authorized_keys slave2:~/.ssh/

4.配置三台主机的Hadoop文件。

$ vim core-site.xml

$ vim hdfs-site.xml

$ vim mapred-site.xml

$ vim masters

$ vim slaves

至此,Hadoop的配置已基本完毕,你能够通过

5.启动Hadoop

bin/hadoop namenode -format

bin/start-all.sh

6.验证

你能够通过下面命令或是通过訪问http://master:50030和http://master:50070查看集群状态

hadoop dfsadmin -report

时间: 2024-10-05 04:58:14

Hadoop的学习前奏(二)——Hadoop集群的配置的相关文章

Etcd学习(二)集群搭建Clustering

1.单个etcd节点(测试开发用) 之前我一直开发测试一直是用的一个Etcd节点,然后启动命令一直都是直接打一个etcd(我已经将etcd安装目录的bin目录加入到PATH环境变量中),然后启动信息显示etcd server监听在默认的4001端口,peer server监听在默认的7001端口. 2.三个Etcd节点组成Clustering 然后今天想测试一下集群功能,就按照gutHub上面的教程: 参考:https://github.com/coreos/etcd/blob/master/D

Hadoop的学习前奏——在Linux上安装与配置Hadoop

前言: 笔者目前是在做Android开发,又是在一个信息安全的公司.公司的主要是做在虚拟机上运行的产品,又涉猎云计算,心想是要去搞一下云计算.自我感觉移动互联网 + 云计算 + 信息安全会是一个很好的方向,于是投身其中.因为是Java出身,所以自然而然选择了Hadoop. 笔者系统环境: Linux:  CentOS release 6.5 (Final) JDK:    java version "1.7.0_75" OpenJDK Runtime Environment (rhel

elk集群安装配置详解

#  一:简介 ``` Elasticsearch作为日志的存储和索引平台: Kibana 用来从 Elasticsearch获取数据,进行数据可视化,定制数据报表: Logstash 依靠强大繁多的插件作为日志加工平台: Filebeat 用来放到各个主机中收集指定位置的日志,将收集到日志发送到 Logstash: Log4j 直接与 Logstash 连接,将日志直接 Logstash(当然此处也可以用 Filebeat 收集 tomcat 的日志). ``` ####  port ```

hbase 学习(十二)集群间备份原理

集群建备份,它是master/slaves结构式的备份,由master推送,这样更容易跟踪现在备份到哪里了,况且region server是都有自己的WAL 和HLog日志,它就像mysql的主从备份结构一样,只有一个日志来跟踪.一个master集群可以向多个slave集群推送,收到推送的集群会覆盖它本地的edits日志. 这个备份操作是异步的,这意味着,有时候他们的连接可能是断开的,master的变化不会马上反应到slave当中.备份个格式在设计上是和mysql的statement-based

基于Hadoop集群的HBase集群的配置

一  Hadoop集群部署 点这里 二 Zookeeper集群部署 zookeeper配置

集群安装配置Hadoop详细图解

集群安装配置Hadoop 集群节点:node4.node5.node6.node7.node8.具体架构: node4 Namenode,secondnamenode,jobtracker node5 Datanode,tasktracker node6 Datanode,tasktracker node7 Datanode,tasktracker node8 Datanode,tasktracker 操作系统为:CentOS release 5.5 (Final) 安装步骤 一.创建Hadoo

Hadoop全分布式集群环境配置

Hadoop是一个由Apache基金会所开发的分布式系统基础架构. 用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力进行高速运算和存储. Hadoop实现了一个分布式系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错的特点,并且设计用来部署在低廉的(low-cost)硬件上:而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序.HDFS

Hadoop及Zookeeper+HBase完全分布式集群部署

Hadoop及HBase集群部署 一. 集群环境 系统版本 虚拟机:内存 16G CPU 双核心 系统: CentOS-7 64位 系统下载地址: http://124.202.164.6/files/417500000AB646E7/mirrors.163.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso 软件版本 hadoop-2.8.1.tar.gz hbase-1.3.1-bin.tar.gz zookeeper-3.4.10.t

Hadoop 分布式集群搭建 & 配置

一. 安装Java Java下载 官网下载合适的jdk,本人使用的是jdk-7u79-linux-x64.tar.gz,接下来就以该版本的jdk为例,进行Java环境变量配置 创建Java目录 在/usr/local目录下创建java目录,用于存放解压的jdk cd /usr/local mkdir java 解压jdk 进入java目录 cd java tar zxvf jdk-7u79-linux-x64.tar.gz 配置环境变量 编辑profile文件 cd /etc vim profi