hadoop2.2 新增数据节点


Hostname

IP Hadoop版本 Hadoop 功能 系统
hadoop2 192.168.119.131 2.2.0 namenode jdk1.6+hadoop centos5.9
           
h2slave1 192.168.119.132 2.2.0 datanode jdk1.6+hadoop+hive+sqoop+mysql centos5.9
           
h2slave2 192.168.119.133 2.2.0 datanode jdk1.6+hadoop centos5.9

新增

h2slave3 192.168.119.134 2.2.0 datanode jdk1.6+hadoop centos5.9

1  安装lunix  和以前一样的版本

2 初始化系统环境

2.1  设置静态ip

vi   /etc/sysconfig/network-scripts/ifcfg-eth0

增加

# Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE]

DEVICE=eth0

#BOOTPROTO=dhcp

# add

BOOTPROTO=static

ONBOOT=yes

# add

IPADDR=192.168.119.134

HWADDR=00:0c:29:59:df:84

重启  网络文件     service network restart

2.2  安装jdk  配置Java 环境变量

2.3   关闭防火墙

service iptables stop

chkconfig iptables off

3  配置ssh 登陆

在134机(新增节点)  : cd  root

mkdir  .ssh  (新建.ssh目录)

在131机   (master机)

cd ~/.ssh  进入目录

scp authorized_keys 192.168.119.134:/root/.ssh/authorized_keys   复制免密码登陆到134机

此次要输入密码复制,以后就可以直接免密码ssh 过去

4 修改hosts文件

在131机    vi  /etc/hosts

增加

192.168.119.134  h2slave3

复制 到从机

scp /etc/hosts h2slave1:/etc/hosts

scp /etc/hosts h2slave2:/etc/hosts

scp /etc/hosts h2slave3:/etc/hosts

5   复制hadoop2.2 到新增节点

在131 机操作

scp  -r /home/bigdata/hadoop2.2 h2slave3:/home/bigdata/

然后切换到134机  配置hadoop的环境变量

在131机 修改  修改 /home/bigdata/hadoop2.2/etc/hadoop/slaves  文件

新增    192.168.119.134                                  #(新节点)

然后复制到从机

scp  /home/bigdata/hadoop2.2/etc/hadoop/slaves h2slave1:/home/bigdata/hadoop2.2/etc/hadoop/slaves ;

scp  /home/bigdata/hadoop2.2/etc/hadoop/slaves h2slave2:/home/bigdata/hadoop2.2/etc/hadoop/slaves

scp  /home/bigdata/hadoop2.2/etc/hadoop/slaves h2slave3:/home/bigdata/hadoop2.2/etc/hadoop/slaves

6   平衡节点  在131机的  cd  /home/bigdata/hadoop2.2/sbin

sh   start-balancer.sh -threshold 5

hadoop2.2 新增数据节点

时间: 2024-08-29 05:19:34

hadoop2.2 新增数据节点的相关文章

CentOS上安装Hadoop2.7,添加数据节点,运行wordcount

安装hadoop的步骤比较繁琐,但是并不难. 在CentOS上安装Hadoop2.7 1. 安装 CentOS,注:图形界面并无必要 2. 在CentOS里设置静态IP,手工编辑如下4个文件 /etc/hosts /etc/sysconfig/netwok /etc/hostname /etc/sysconfig/network-scripts/ifcfg-eno1677773 3. 关闭防火墙 Close firewalld systemctl stop firewalld.service #

Hadoop 新增删除节点

1 新增Data节点 1.1 修改/etc/hosts,增加datanode的ip 1.2 在新增加的节点启动服务 hadoop-daemon.sh start datanode yarn-daemon.sh start nodemanager 1.3 均衡block start-balancer.sh 1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率 2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长 start

在Ubuntu下配置运行Hadoop2.4.0单节点配置

还没有修改hosts,请先按前文修改. 还没安装java的,请按照前文配置. (1)增加用户并设立公钥: sudo addgroup hadoop sudo adduser --ingroup hadoop hduser su - hduser cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys ssh localhost exit   (2)把编译完的hadoop复制到/usr/local目录,并修改目录权限 cp –r /root

继上文搭建hadoop-2.6.0三台节点部署

Ssh互信建立完成以后,接下来咱们开始搭建hadoop 从ApacheDownload Mirrors下载haoop-2.6.0. 从JavaSE - Downloads | Oracle Technology Network | Oracle下载jdk,我下载的是1.8.0_25x86和1.8.0_25x64因为我的三台主机两台ubuntu是32位的,另一台是64位的,所以下载了两个.如果要看自己ubuntu是多少位的:file /sbin/init 下载完成后,在home下面建目录cloud

Hadoop 数据节点DataNode异常

转载自 :http://blog.csdn.net/gis_101/article/details/52679914 1.问题背景 操作系统:CentOS7 64位 Hadoop版本:Hadoop2.7.3 JDK:1.8.0_65 2.问题描述 使用start-all.sh脚本或者先后执行start-dfs.sh.start-yarn.sh脚本启动Hadoop后,通过jps命令检测DataNode节点进程发现有DataNode进程,数秒后DataNode进程莫名其妙"消失"了,只有J

Windows Server 2008R2配置MySQL Cluster并将管理节点和数据节点配置成windows服务

说明:将mysql的管理节点和数据节点配置成windows服务是为了防止有人手误关闭管理节点或数据节点的dos命令窗口,管理节点或数据节点的命令窗口误关闭可能会造成mysql某台或某几台mysql不能被访问,注册成windows服务自动启动更安全可靠. 目录 操作系统:Windows Server 2008 R2 Enterprise VM1:192.168.220.103 管理节点(MGM), VM2:192.168.220.104数据节点(NDBD1),SQL节点(SQL1) VM3:192

Hadoop2.2.0多节点分布式安装及测试

众所周知,hadoop在10月底release了最新版2.2.很多国内的技术同仁都马上在网络上推出了自己对新版hadoop的配置心得.这其中主要分为两类: 1.单节点配置 这个太简单了,简单到只要懂点英语,照着网上说的做就ok了.我这里不谈这个,有兴趣的童鞋可以自己去问度娘和谷哥- 2.多节点配置 这个就是我要重点说明的,老实说网络上说的的确是多节点,但不是真正的分布式部署- 我们为什么要用hadoop?因为hadoop是一个分布式系统基础架构,我们可以在不了解分布式底层细节的情况下,开发分布式

SQL查询某表是否存在及返回新增数据的ID

下面简单介绍了SQL查询某表是否存在以及返回新增数据的ID值. 1.查询表是否存在: 表名:"t_Demo", type = 'u'  查看是不是用户表 select * from sysobjects where id = object_id('t_Demo') and type = 'u' select * from sys.tables where name='t_Demo' and type = 'u' 2.查询字段是否存在: 表名:"t_Demo", 字段

Oracle 新增数据 insert into整理

一.普遍的方法:insert into 表名(id,name,age,status,字段N) values('id','name','age','status','字段N');   --建议用这个        insert into 表名  values(列值): 实例:insert into user(id,name,age,status,role) values('1','小明',23,1,'群主');     或insert into user   values('1','小明',23,