搭建federation

----------------------------------------------------------------------------------------------
3.搭建federation(多了federation配置)
----------------------------------------------------------------------------------------------
ns1的namenode:haoop0
ns2的namenode:haoop1
datanode:hadoop2、hadoop3、hadoop4

3.1 配置文件(hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、slaves)
3.1.1 hadoop-env.sh
export JAVA_HOME=/usr/local/jdk
3.1.2 core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>

<property>
<name>fs.viewfs.mounttable.default.link./ns0</name>
<value>hdfs://hadoop0:9000/</value>
</property>
<property>
<name>fs.viewfs.mounttable.default.link./ns1</name>
<value>hdfs://hadoop1:9000</value>
</property>

3.1.3 hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<property>
<name>dfs.nameservices</name>
<value>ns1,ns2</value>
</property>

<property>
<name>dfs.ha.namenodes.ns1</name>
<value>hadoop101</value>
</property>

<property>
<name>dfs.namenode.rpc-address.ns1.hadoop101</name>
<value>hadoop0:9000</value>
</property>

<property>
<name>dfs.namenode.http-address.ns1.hadoop101</name>
<value>hadoop0:50070</value>
</property>

<property>
<name>dfs.ha.namenodes.ns2</name>
<value>hadoop102</value>
</property>

<property>
<name>dfs.namenode.rpc-address.ns2.hadoop102</name>
<value>hadoop1:9000</value>
</property>

<property>
<name>dfs.namenode.http-address.ns2.hadoop102</name>
<value>hadoop1:50070</value>
</property>

3.1.6 slaves
hadoop2
hadoop3
hadoop4

3.1.7 删除其他节点的hadoop文件夹,然后把hadoop0上的hadoop文件夹复制到hadoop1、hadoop2、hadoop3、hadoop4节点
3.5 格式化namenode、启动namenode
在hadoop0上执行hadoop/bin/hdfs namenode -format -clusterId clusterid1
在hadoop0上分别执行hadoop/sbin/hadoop-daemon.sh start namenode

在hadoop1上执行hadoop/bin/hdfs namenode -format -clusterId clusterid1
【clusterId的值与hadoop0上执行的clusterId的值完全相同。如果不同,就不属于同一个federation】
在hadoop1上分别执行hadoop/sbin/hadoop-daemon.sh start namenode
3.6 启动datanode
在hadoop0上分别执行hadoop/sbin/hadoop-daemons.sh start datanode
3.8 启动resourcemanager和nodemanager
在hadoop0上执行 hadoop/sbin/start-yarn.sh start resourcemanager

4.验证:

viewFS是跨隶属于同一个federation的多个hdfs的文件管理系统。

使用hadoop0:50070/dfsclusterhealth.jsp查看集群情况
使用hadoop/bin/hdfs dfs -ls viewfs:///统一查看联邦中的数据内容

时间: 2024-10-24 08:11:36

搭建federation的相关文章

HDFS联盟的搭建

  ---------------------------------------------------------------------------------------------- 3.搭建federation(多了federation配置) ---------------------------------------------------------------------------------------------- nameservice ns1的namenode:ha

Hadoop2.2 federnation联盟的搭建

联盟实际上是一个单独的集群,集群里面包含很多的NameService共享同样的DataNode,同一份数据只上传一份,block块相同,一个集群中删除,另一个集群中还是存在的.同一份数据只是在namespace中注册了一下.联盟是共享同一个datanode,相同的数据还是一份viewfs跨隶属于同一个hdfs联盟的hdfs联盟的好处是扩展了Namenode 搭建federation(多了federation配置) ns1的namenode:hadoop4 ns2的namenode:hadoop5

HDFS Federation和NameNode HA的搭建

1. HDFS Federation产生背景 在Hadoop 1.0中,HDFS的单NameNode设计带来诸多问题,包括单点故障.内存受限制约集群扩展性和缺乏隔离机制(不同业务使用同一个NameNode导致业务相互影响)等,为了解决这些问题,Hadoop 2.0引入了基于共享存储的HA解决方案和HDFS Federation,这里重点介绍HDFS Federation. HDFS Federation是指HDFS集群可同时存在多个NameNode,这些NameNode分别管理一部分数据,且共享

Hadoop生产环境搭建(含HA、Federation)

Hadoop生产环境搭建 1. 将安装包hadoop-2.x.x.tar.gz存放到某一目录下,并解压. 2. 修改解压后的目录中的文件夹etc/hadoop下的配置文件(若文件不存在,自己创建.) 包括hadoop-env.sh,mapred-site.xml,core-site.xml,hdfs-site.xml,yarn-site.xml 3. 格式化并启动HDFS 4. 启动YARN 以上整个过程与Hadoop单机Hadoop测试环境搭建基本一致,不同的是步骤2中配置文件设置内容以及步骤

hadoop Federation搭建

组网说明: hadoop1.localdomain    192.168.11.81(namenode) hadoop2.localdomain    192.168.11.82(namenode) hadoop3.localdomain    192.168.11.83(datanode) hadoop4.localdomain    192.168.11.84(datanode) hadoop5.localdomain    192.168.11.85(datanode) 第一步:卸载ope

RabbitMQ 高可用集群搭建及电商平台使用经验总结

面向EDA(事件驱动架构)的方式来设计你的消息 AMQP routing key的设计 RabbitMQ cluster搭建 Mirror queue policy设置 两个不错的RabbitMQ plugin 大型应用插件(Sharding.Rederation) Queue镜像失败手动同步 各集群配置同步方式(RabbitMQ export\import) 客户端连接方式(尽量采用AMQP组来动态链接) RabbitMQ 产线二次产品化封装(消息补偿.发送消息持久化.异常处理.监控页面.重复

hadoop2 环境的搭建(手动HA)

1.手工切换ha的环境的搭建(比hadoop1多出来journalnode的配置) namenode:hadoop110和hadoop111 datanode:hadoop112.hadoop113.hadoop114 journalnode:hadoop110.hadoop111.hadoop112 resourcemanager:hadoop110 nodemanager:hadoop112.hadoop113.hadoop114 1.1.配置文件(hadoop-env.sh.core-si

集群搭建

RabbitMQ 高可用集群搭建及电商平台使用经验总结 面向EDA(事件驱动架构)的方式来设计你的消息 AMQP routing key的设计 RabbitMQ cluster搭建 Mirror queue policy设置 两个不错的RabbitMQ plugin 大型应用插件(Sharding.Rederation) Queue镜像失败手动同步 各集群配置同步方式(RabbitMQ export\import) 客户端连接方式(尽量采用AMQP组来动态链接) RabbitMQ 产线二次产品化

Hadoop、Hbase完全分布式搭建

一.Hadoop1.0到2.0的架构变化 1.Hadoop 2.0由HDFS.MapReduce和YARN三个分支构成 2.HDFSNN Federation.HA 3.MapReduce运行在YARN上的MR 4.YARN资源管理系统 二.HDFS 2.0 1.解决HDFS 1.0中单点故障和内存受限问题. 2.解决单点故障 HDFS HA通过主备NameNode解决 如果主NameNode发生故障则切换到备NameNode上 3.解决内存受限问题 HDFS Federation(联邦) 水平