linux分布式安装hadoop1.2

配置环境

准备: 三台虚拟机

配置主节点:

1. 查看当前使用网卡

[[email protected] ~]# dmesg | grep -i eth
Bluetooth: BNEP (Ethernet Emulation) ver 1.3
eth0: no IPv6 routers present

dmesg是显示开机启动信息, grep -i是忽略大小写查找

2. 查看当前ip、网关

[[email protected] ~]# ifconfig
eth0      Link encap:Ethernet  HWaddr 00:0C:29:E0:C3:61
          inet addr:192.168.182.138  Bcast:192.168.182.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fee0:c361/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:24092 errors:0 dropped:0 overruns:0 frame:0
          TX packets:12373 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:35176927 (33.5 MiB)  TX bytes:672502 (656.7 KiB)
          Interrupt:19 Base address:0x2024 

lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:8 errors:0 dropped:0 overruns:0 frame:0
          TX packets:8 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:480 (480.0 b)  TX bytes:480 (480.0 b)

配置静态IP:

[[email protected] ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"
#BOOTPROTO="dhcp"
BOOTPROTO="static"
HWADDR="00:0C:29:E0:C3:61"
#IPV6INIT="yes"
IPV6INIT="no"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="7039ffae-3334-4445-b571-a805eecd4a77"
IPADDR=192.168.182.101
NETMASK=255.255.255.0
GATEWAY=192.168.182.255

修改主机名:

[[email protected] ~]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
[[email protected] ~]# hostname master
[[email protected] ~]# hostname
master

修改hosts文件:

[[email protected] ~]# vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.182.101 master

关闭防火墙(生产环境不能关闭, 需要添加允许列表)

[[email protected] ~]# service iptables stop
iptables: Setting chains to policy ACCEPT: filter          [  OK  ]
iptables: Flushing firewall rules:                         [  OK  ]
iptables: Unloading modules:                               [  OK  ]
[[email protected] ~]# chkconfig iptables off

关闭
selinux

[[email protected] ~]# vi /etc/selinux/config

将SELINUX的值对应修改为: SELINUX=disabled

将两台从属节点按照上面的配置配好, ip分别设置为192.168.182.102和192.168.182.103, 主机名分别为slave1、slave2。

时间: 2024-10-07 05:51:39

linux分布式安装hadoop1.2的相关文章

Hadoop1.2.1分布式安装-2-安装篇

1.在打算做namenode的机器上,wget或其他方式下载hadoop的压缩包,并解压到本地指定目录 下载解压命令参考Linux常用命令. 2.配置namenode,修改site文件 修改core-site.xml <configuration>   <property>     <name>fs.default.name</name>     <value>hdfs://bd01:9000</value>   </prope

分布式-ubuntu12.04上安装hadoop1.2.1

在hadoop1.2.1的安装说明中有说明要预先安装java,我安装了好多版本的java以及好多版本的hadoop,然后发现oracle-java7与hadoop1.2.1是可以匹配的. 一,安装具体步骤如下: 1. 安装java: sudo apt-get install oracle-java7-installer 2. 安装hadoop1.2.1: http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html#Download 二,

hadoop伪分布式安装【翻译自hadoop1.1.2官方文档】

1.hadoop支持的平台: GNU/Linux平台是一个开发和生产的平台. hadoop已经被证明可以在GNU/Linux平台不是2000多个节点. win32是一个开发平台,分布式操作还没有在win32系统上很好的测试, 所以它不被作为生产环境. 2.安装hdoop需要的软件: linux和windows下安装hadoop需要的软件: 2.1从sun官网下载的1.6的jdk必须被安装. 2.2ssh 必须被安装 and ssh协议必须使用hadoop脚本用来管理远程的hadoop进程. 2.

Hadoop2.2.0多节点分布式安装及测试

众所周知,hadoop在10月底release了最新版2.2.很多国内的技术同仁都马上在网络上推出了自己对新版hadoop的配置心得.这其中主要分为两类: 1.单节点配置 这个太简单了,简单到只要懂点英语,照着网上说的做就ok了.我这里不谈这个,有兴趣的童鞋可以自己去问度娘和谷哥- 2.多节点配置 这个就是我要重点说明的,老实说网络上说的的确是多节点,但不是真正的分布式部署- 我们为什么要用hadoop?因为hadoop是一个分布式系统基础架构,我们可以在不了解分布式底层细节的情况下,开发分布式

Hadoop2.4.1分布式安装

1.做好下文中的所有配置:Hadoop1.2.1分布式安装-1-准备篇. 2.Hadoop2.x的发行版中有个小问题:libhadoop.so.1.0.0在64位OS中存在问题,因为它是32位的,在64位OS中hadoop启动时会报一个WARN的日志.这个包的作用是调用native的api,可以提高hadoop的性能,如果这个包失效,那就是使用jvm做压缩等工作,效率就会很低.处理方法就是重新编译Hadoop,见xxx(link  article). 3.在打算做namenode的机器上,wge

eclipse安装Hadoop1.1.2版本开发插件

Hadoop1.1.2版本没有直接适合Eclipse的安装插件,需要手动打包jar文件. 我的系统配置: VMware Workstation10 CentOS-6.5-i386 hadoop-1.1.2 eclipse_SDK_3.7.2_win32 系统配置说明: 我的电脑是Win7 32位的,安装了VMware虚拟机. 在虚拟机中安装的是CentOS系统(Linux系统). 在Linux系统中配置的是Hadoop1.1.2的伪分布式集群环境. Eclipse安装在Window系统下. 实现

Hadoop日记Day3---Hadoop的伪分布式安装

导录 比较仔细的读者可能发现,注意本章的图片又不太对劲的地方,那就是linux中的主机名有的是hadoop,有的是localhost,是由于使用的不同的电脑编辑的本文章,有的电脑上并没有修改主机名,一直使用默认的localhost主机名,不影响大家的学习,只是主机名不一样,其他的都一样,大家注意一下就可以了,自己是什么主机名,就把他看成自己的主机名就可以了,文章中的localhost和hadoop只是不同的主机名,他们的目录结构都是一样的.还有就是一下的软件下载地址:http://pan.bai

hadoop完全分布式安装

1.安装环境是vmware workstation10.0模拟出三个虚拟节点,每一个节点安装Ubuntu12.04 LTS操作系统,主机名分别是hadoop1.hadoop2以及hadoop3.同时在每一个节点安装好java.安装方法同之前介绍的伪分布式安装方法一样. 2.接着是对三个节点的hosts文件进行配置,先用ifconfig命令查看三个节点的ip地址,然后用sudo vim /etc/hosts命令打开hosts文件,统一编辑如下: 3.配置完hosts文件之后,设置ssh无密码互联.

吴超老师课程---hadoop的分布式安装过程

1.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是hadoop0):NameNode.JobTracker.SecondaryNameNode            从节点(2个,是hadoop1.hadoop2):DataNode.TaskTracker    1.2 各节点重新产生ssh加密文件    1.3 编辑各个节点的/etc/hosts,在该文件中含有所有节点的ip与hostname的映射信息    1.4 两两节点之间的SSH免密码登陆            ss