Hadoop之服务器基础环境搭建

本文以K-Master服务器基础环境配置为例分别演示用户配置、sudo权限配置、网路配置、关闭防火墙、安装JDK工具等。用户需参照以下步骤完成KVMSlave1~KVMSlave3服务器的基础环境配置。

开发环境

硬件环境：CentOS 6.5 服务器4台（一台为Master节点，三台为Slave节点）软件环境：Java 1.7.0_45、Hadoop-1.2.1

1、安装环境

硬件环境：CentOS 6.5 服务器4台（一台为Master节点，三台为Slave节点）

软件环境：Java 1.7.0_45、hadoop-1.2.1

2、用户配置

1）添加一个用户

[[email protected] hadoop]$ adduser hadoop                       #新建hadoop用户
[[email protected] hadoop]$ passwd hadoop                            #hadoop用户设置密码

2）建工作组

[[email protected] hadoop]$ groupadd hadoop                      #新建hadoop工作组

3）给已有的用户增加工作组

[[email protected] hadoop]$ usermod -G hadoop hadoop

2、 sudo权限配置

1）新建个用户组admin

[[email protected] hadoop]# groupadd admin

2）将已有用户添加到admin用户组

[[email protected] hadoop]# usermod -G admin,hadoop hadoop

3）赋予修改/etc/sudoers文件写权限

[[email protected] hadoop]# chmod u+w /etc/sudoers

4）编辑/etc/sudoers文件

[[email protected] hadoop]# vi /etc/sudoers
缺省只有一条配置：
root    ALL=(ALL) ALL
在下边再加一条配置：
%admin    ALL=(ALL) ALL

这样admin用户组就拥有了sudo权限，属于admin用户组的hadoop用户同样拥有了sudo权限。

5）编辑完成后降低权限

[[email protected] hadoop]$ chmod u-w /etc/sudoers

3、网络配置

1）配置IP地址

详细配置信息如下所示：

[[email protected] hadoop]$ su hadoop                #切换为hadoop用户
[[email protected] hadoop]$ sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0
HWADDR=06:8D:30:00:00:27
TYPE=Ethernet
BOOTPROTO=static
IPADDR=192.168.100.147
PREFIX=24
GATEWAY=192.168.100.1
DNS1=192.168.100.1
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME=eth0
UUID=660a57a1-5edf-4cdd-b456-e7e1059aef11
ONBOOT=yes
LAST_CONNECT=1411901185

2）重启网络服务使网络设置生效

[[email protected] hadoop]$ sudo service network restart
Shutting down interface eth0:  Device state: 3 (disconnected)
                                                    [  OK  ]
Shutting down loopback interface:                   [  OK  ]
Bringing up loopback interface:                     [  OK  ]
Bringing up interface eth0:  Active connection state: activated
Active connection path: /org/freedesktop/NetworkManager/ActiveConnection/1
                                                    [  OK  ]

3）测试IP网络配置

通过ifconfig命令查看网络的ip地址，如下信息显示eth0无线网卡的IP地址为192.168.100.147，与上述我们配置的IP地址吻合，表明IP地址配置成功。

[[email protected] ~]$ ifconfig
eth0  Link encap:Ethernet  HWaddr 06:8D:30:00:00:27
  inet addr:192.168.100.147  Bcast:192.168.100.255  Mask:255.255.255.0
  inet6 addr: fe80::48d:30ff:fe00:27/64 Scope:Link
  UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
  RX packets:59099169 errors:0 dropped:0 overruns:0 frame:0
  TX packets:30049168 errors:0 dropped:0 overruns:0 carrier:0
  collisions:0 txqueuelen:1000
  RX bytes:12477388443 (11.6 GiB)  TX bytes:8811418526 (8.2 GiB)

loLink encap:Local Loopback
  inet addr:127.0.0.1  Mask:255.0.0.0
  inet6 addr: ::1/128 Scope:Host
  UP LOOPBACK RUNNING  MTU:16436  Metric:1
  RX packets:2266013 errors:0 dropped:0 overruns:0 frame:0
  TX packets:2266013 errors:0 dropped:0 overruns:0 carrier:0
  collisions:0 txqueuelen:0
  RX bytes:666482169 (635.6 MiB)  TX bytes:666482169 (635.6 MiB)

4）修改Host主机名

[[email protected] hadoop]$ sudo vi /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=Master
[[email protected] hadoop]$ sudo vi /etc/hosts
127.0.0.1               localhost.localdomain
::1                     hdirect30 hdirect30
192.168.100.201         K-Master

5）重启主机使得主机名生效

[[email protected] hadoop]$ sudo reboot

4、关闭防火墙

在启动前关闭集群中所有机器的防火墙，不然会出现datanode开后又自动关闭。

1）查看防火墙状态

[[email protected] ~]$ sudo service iptables status
iptables: Firewall is not running.

2）关闭防火墙

[[email protected] hadoop]$ sudo service iptables stop
iptables: Setting chains to policy ACCEPT: filter   [  OK  ]
iptables: Flushing firewall rules:                  [  OK  ]
iptables: Unloading modules:                        [  OK  ]

3）永久关闭防火墙

[[email protected] hadoop]$ sudo chkconfig iptables off

4）关闭SELINUX

[[email protected] hadoop]$ sudo vi /etc/selinux/config
SELINUX=disabled

5、安装JDK工具

1）解压

[[email protected] ~]$ scp [email protected]:/home/hadoop/jdk-7u65-linux-x64.rpm .
[[email protected] ~]$ sudo rpm -ivh jdk-7u65-linux-x64.rpm

2）编辑”/etc/profile”文件，在后面添加Java的”JAVA_HOME”、”CLASSPATH”以及”PATH”内容。

[[email protected] ~]$ sudo vim /etc/profile
#JAVA
export JAVA_HOME=/usr/java/jdk1.7.0_65
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
#HADOOP
export HADOOP_HOME=/usr/hadoop-1.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME_WARN_SUPPRESS=1

3）使配置文件生效

[[email protected] ~]$ source /etc/profile

更多详情见请继续阅读下一页的精彩内容： http://www.linuxidc.com/Linux/2015-03/114669p2.htm

--------------------------------------分割线 --------------------------------------

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程 http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS安装和配置Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境（单机模式+伪分布模式） http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建Hadoop环境（在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建） http://www.linuxidc.com/Linux/2011-12/48894.htm

原文链接：http://www.linuxidc.com/Linux/2015-03/114669.htm

时间： 2024-11-05 15:56:33

Hadoop之服务器基础环境搭建的相关文章

【Hadoop基础教程】1、Hadoop之服务器基础环境搭建

本blog以K-Master服务器基础环境配置为例分别演示用户配置.sudo权限配置.网路配置.关闭防火墙.安装JDK工具等.用户需参照以下步骤完成KVMSlave1~KVMSlave3服务器的基础环境配置. 开发环境硬件环境:Centos 6.5 服务器4台(一台为Master节点,三台为Slave节点) 软件环境:Java 1.7.0_45.hadoop-1.2.1 1.安装环境硬件环境:Centos 6.5 服务器4台(一台为Master节点,三台为Slave节点) 软件环境:Java

【Hadoop基础教程】1、Hadoop之服务器基础环境搭建（转）

本blog以K-Master服务器基础环境配置为例分别演示用户配置.sudo权限配置.网路配置.关闭防火墙.安装JDK工具等.用户需参照以下步骤完成KVMSlave1~KVMSlave3服务器的基础环境配置. 开发环境硬件环境:Centos 6.5 服务器4台(一台为Master节点,三台为Slave节点) 软件环境:Java 1.7.0_45.hadoop-1.2.1 hadoop1.X和hadoop2.X的文件结构已经完全不一样了,网上很少看到hadoop1.X以上的安装示例教程,我选择的

【Hadoop基础教程】4、Hadoop之完全分布式环境搭建

上一篇blog我们完成了Hadoop伪分布式环境的搭建,伪分布式模式也叫单节点集群模式, NameNode.SecondaryNameNode.DataNode.JobTracker.TaskTracker所有的守护进程全部运行在K-Master节点之上.在本篇blog我们将搭建完全分布式环境,运行NameNode.SecondaryNameNode.JobTracker守护进程在主节点上,运行DataNode.TaskTracker在从节点上. 开发环境硬件环境:Centos 6.5 服务器

Linux虚拟机上Hadoop基础环境搭建

1 主要步骤配置网络修改主机名关闭防火墙关闭SELinux 安装jdk 增加hadoop用户配置ssh信任配置hadoop 集群部署规划 5台服务器, 一个主节点:nn1.hadoop, master (HA) 一个从节点:nn2.hadoop,slave 三个工作节点: s1.hadoop.s2.hadoop.s3.hadoop (work1 work2 work3) nn1.hadoop 机器作为操作机. whoami ifconfig 在实际生产里还应有操作机(跳

Spark入门实战系列--2.Spark编译与部署（上）--基础环境搭建

[注] 1.该系列文章以及使用到安装包/测试数据可以在<倾情大奉送--Spark入门实战系列>获取: 2.Spark编译与部署将以CentOS 64位操作系统为基础,主要是考虑到实际应用一般使用64位操作系统,内容分为三部分:基础环境搭建.Hadoop编译安装和Spark编译安装,该环境作为后续实验基础: 3.文章演示了Hadoop.Spark的编译过程,同时附属资源提供了编译好的安装包,觉得编译费时间可以直接使用这些编译好的安装包进行部署. 1.运行环境说明 1.1 硬软件环境 l 主机

Grails 基础环境搭建及HelloWorld

Grails 基础环境搭建及HelloWorld Grails的介绍: Grails 为您提供 Rails 风格的开发体验,同时以可靠的 Java 技术作为坚强后盾. 但是 Grails 不仅仅是 Rails 通往 Java 平台的简单入口.Grails 吸取了 Rails 的经验,并将它们与现代 Java 开发的意识相结合. 可以认为 Grails 是受 Rails 启发,而不是由 Rails 转化而来. Groovy 的威力就像 Rails 与 Ruby 编程语言联系非常紧密一样,Grai

Hadoop源码阅读环境搭建

Hadoop源码阅读环境搭建一.说明作为一个学习hadoop的同学,必须在本机上搭建hadoop源码阅读环境,这样,在方便阅读源码的同时也方便进行调试和源码修改.好了,下面开始搭建环境. 1.环境说明:hadoop 版本:1.2.1. IDE:eclipse.操作系统:centos 2.网上有人是通过eclipse的新建项目指定目录的方式将hadoop目录转换成Eclipse工程同时导入eclipse,具体做法如下: File-->new-->Java Project-->勾掉Use

hadoop3.1.0 window win7 基础环境搭建

https://blog.csdn.net/wsh596823919/article/details/80774805 hadoop3.1.0 window win7 基础环境搭建前言:在windows上部署hadoop默认都是安装了java环境的哈. 1.下载hadoop3.1.0 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common 2.下载之后解压到某个目录 3.配置hadoop_home 新建HADOOP_HOME,指向ha

阿里云（ECS）Centos服务器LNMP环境搭建

阿里云( ECS ) Centos7 服务器 LNMP 环境搭建前言第一次接触阿里云是大四的时候,当时在校外公司做兼职,关于智能家居项目的,话说当时俺就只有一个月左右的 php 后台开发经验(还是因为无意中选修了一门电子商务的课程,要做课程设计逼迫出来的),因为公司没人接触过后台开发,所以我这个菜鸟就硬着头皮上了.刚开始入门我把精力放在公司业务功能实现上,所用的服务器环境是别人已经配置好的,就是把代码在本地写好,通过 ftp 上传到服务器目录,是用 postman 插件测试一下接口就行了,开

Hadoop之服务器基础环境搭建

开发环境

1、安装环境

2、 用户配置

2、 sudo权限配置

3、 网络配置

4、 关闭防火墙

5、 安装JDK工具

Hadoop之服务器基础环境搭建的相关文章

2、用户配置

3、网络配置

4、关闭防火墙

5、安装JDK工具