【Hadoop基础教程】1、Hadoop之服务器基础环境搭建（转）

本blog以K-Master服务器基础环境配置为例分别演示用户配置、sudo权限配置、网路配置、关闭防火墙、安装JDK工具等。用户需参照以下步骤完成KVMSlave1~KVMSlave3服务器的基础环境配置。

开发环境

硬件环境：Centos 6.5 服务器4台（一台为Master节点，三台为Slave节点）
软件环境：Java 1.7.0_45、hadoop-1.2.1

hadoop1.X和hadoop2.X的文件结构已经完全不一样了，网上很少看到hadoop1.X以上的安装示例教程，我选择的是hadoop-1.1.2.tar.gz，另外我选的jdk8，centos7

1、安装环境

硬件环境：Centos 6.5 服务器4台（一台为Master节点，三台为Slave节点）

软件环境：Java 1.7.0_45、hadoop-1.2.1

2、用户配置

1）添加一个用户

[[email protected]Master hadoop]$ adduser hadoop                       #新建hadoop用户
[[email protected]-Master hadoop]$ passwd hadoop                            #hadoop用户设置密码

2）建工作组

[[email protected] hadoop]$ groupadd hadoop                      #新建hadoop工作组

3）给已有的用户增加工作组

[[email protected] hadoop]$ usermod -G hadoop hadoop

2、 sudo权限配置

1）新建个用户组admin

[[email protected] hadoop]# groupadd admin

2）将已有用户添加到admin用户组

[[email protected] hadoop]# usermod -G admin,hadoop hadoop

3）赋予修改/etc/sudoers文件写权限

[[email protected] hadoop]# chmod u+w /etc/sudoers

4）编辑/etc/sudoers文件

[[email protected] hadoop]# vi /etc/sudoers
缺省只有一条配置：
root    ALL=(ALL) ALL
在下边再加一条配置：
%admin    ALL=(ALL) ALL

这样admin用户组就拥有了sudo权限，属于admin用户组的hadoop用户同样拥有了sudo权限。

5）编辑完成后降低权限

[[email protected] hadoop]$ chmod u-w /etc/sudoers

3、网络配置

1）配置IP地址

其实也可以不配置，就用默认的就可以，比方说我百度云的默认内网ip是192.168.0.4

详细配置信息如下所示：

[[email protected]Master hadoop]$ su hadoop                #切换为hadoop用户
[[email protected]-Master hadoop]$ sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0
HWADDR=06:8D:30:00:00:27
TYPE=Ethernet
BOOTPROTO=static
IPADDR=192.168.100.147
PREFIX=24
GATEWAY=192.168.100.1
DNS1=192.168.100.1
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME=eth0
UUID=660a57a1-5edf-4cdd-b456-e7e1059aef11
ONBOOT=yes
LAST_CONNECT=1411901185

2）重启网络服务使网络设置生效

[[email protected]Master hadoop]$ sudo service network restart
Shutting down interface eth0:  Device state: 3 (disconnected)
                                                    [  OK  ]
Shutting down loopback interface:                   [  OK  ]
Bringing up loopback interface:                     [  OK  ]
Bringing up interface eth0:  Active connection state: activated
Active connection path: /org/freedesktop/NetworkManager/ActiveConnection/1
                                                    [  OK  ]

3）测试IP网络配置

通过ifconfig命令查看网络的ip地址，如下信息显示eth0无线网卡的IP地址为192.168.100.147，与上述我们配置的IP地址吻合，表明IP地址配置成功。

[[email protected] ~]$ ifconfig
eth0  Link encap:Ethernet  HWaddr 06:8D:30:00:00:27
  inet addr:192.168.100.147  Bcast:192.168.100.255  Mask:255.255.255.0
  inet6 addr: fe80::48d:30ff:fe00:27/64 Scope:Link
  UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
  RX packets:59099169 errors:0 dropped:0 overruns:0 frame:0
  TX packets:30049168 errors:0 dropped:0 overruns:0 carrier:0
  collisions:0 txqueuelen:1000
  RX bytes:12477388443 (11.6 GiB)  TX bytes:8811418526 (8.2 GiB)

loLink encap:Local Loopback
  inet addr:127.0.0.1  Mask:255.0.0.0
  inet6 addr: ::1/128 Scope:Host
  UP LOOPBACK RUNNING  MTU:16436  Metric:1
  RX packets:2266013 errors:0 dropped:0 overruns:0 frame:0
  TX packets:2266013 errors:0 dropped:0 overruns:0 carrier:0
  collisions:0 txqueuelen:0
  RX bytes:666482169 (635.6 MiB)  TX bytes:666482169 (635.6 MiB)

4）修改Host主机名

我的机子是192.168.0.4 instance-3lm099to instance-3lm099to.novalocal

[[email protected]-Master hadoop]$ sudo vi /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=Master
[[email protected]-Master hadoop]$ sudo vi /etc/hosts
127.0.0.1               localhost.localdomain
::1                     hdirect30 hdirect30
192.168.100.201         K-Master

5）重启主机使得主机名生效

[[email protected] hadoop]$ sudo reboot

4、关闭防火墙

在启动前关闭集群中所有机器的防火墙，不然会出现datanode开后又自动关闭。

1）查看防火墙状态

[[email protected] ~]$ sudo service iptables status
iptables: Firewall is not running.

2）关闭防火墙

[[email protected]Master hadoop]$ sudo service iptables stop
iptables: Setting chains to policy ACCEPT: filter   [  OK  ]
iptables: Flushing firewall rules:                  [  OK  ]
iptables: Unloading modules:                        [  OK  ]

3）永久关闭防火墙

[[email protected] hadoop]$ sudo chkconfig iptables off

4）关闭SELINUX

[[email protected] hadoop]$ sudo vi /etc/selinux/config
SELINUX=disabled

5、安装JDK工具

1）解压

[[email protected] ~]$ scp [email protected]192.168.0.201:/home/hadoop/jdk-7u65-linux-x64.rpm .
[[email protected]-Master ~]$ sudo rpm -ivh jdk-7u65-linux-x64.rpm

2）编辑”/etc/profile”文件，在后面添加Java的”JAVA_HOME”、”CLASSPATH”以及”PATH”内容。

[[email protected] ~]$ sudo vim /etc/profile
#JAVA
export JAVA_HOME=/usr/java/jdk1.7.0_65
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
#HADOOP
export HADOOP_HOME=/usr/hadoop-1.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME_WARN_SUPPRESS=1

3）使配置文件生效

[[email protected] ~]$ source /etc/profile

原文地址：https://www.cnblogs.com/shamo89/p/9276872.html

时间： 2024-10-05 15:19:56

【Hadoop基础教程】1、Hadoop之服务器基础环境搭建（转）的相关文章

Java Web基础教程（二）开发基础

Java Web基础教程(二)开发基础转载:Future魏来前言 Java web是一种基于B\S(浏览器\服务器)架构的网络应用程序的技术实现.这种结构的Web应用程序被大量的企业级应用所采用.随着Web应用程序的规模不断扩大,传统的Web开发模式无法满足日渐复杂的业务需要,所以出现了更加合理更加先进的MVC开发模式.随之而来的也出现了一系列的基于MVC模式的开发框架,Struts框架.Spring MVC 等. 1. Web 技术的发展 1. 第一阶段静态网站 Web技术出现伊始,由于

Python基础（1）python+Eclipse+pydev环境搭建

编辑器:Python 自带的 IDLEPython基础(1)python+Eclipse+pydev环境搭建

阿里云（ECS）Centos服务器LNMP环境搭建

阿里云( ECS ) Centos7 服务器 LNMP 环境搭建前言第一次接触阿里云是大四的时候,当时在校外公司做兼职,关于智能家居项目的,话说当时俺就只有一个月左右的 php 后台开发经验(还是因为无意中选修了一门电子商务的课程,要做课程设计逼迫出来的),因为公司没人接触过后台开发,所以我这个菜鸟就硬着头皮上了.刚开始入门我把精力放在公司业务功能实现上,所用的服务器环境是别人已经配置好的,就是把代码在本地写好,通过 ftp 上传到服务器目录,是用 postman 插件测试一下接口就行了,开

Daydream从入门到精通——快速入门开发基础教程二：Android端开发环境配置二

开始部署上篇介绍了开发Daydream Android VR需要的基本环境,这篇我们来看看如何部署和运用官方示例. -------------------------------------------------------------------------------------------------------------------- Daydream快速入门开发基础教程一:Android端开发环境配置一 http://blog.csdn.net/jaikydota163/arti

Hadoop系列教程<一>---Hadoop是什么呢？

Hadoop适合应用于大数据存储和大数据分析的应用,适合于服务器几千台到几万台的集群运行,支持PB级的存储容量.Hadoop典型应用有:搜索.日志处理.推荐系统.数据分析.视频图像分析.数据保存等.但是Hadoop的使用范围远小于SQL或Python之类的脚本语言,所以不要盲目使用Hadoop.不过作为一名钻研Java的物联网工程师,我觉得值得去学习了解,而且想和大数据打交道还没有那个没听过Hadoop的. Hadoop是使用Java编写,允许分布在集群,使用简单的编程模型的计算机大型数据集处理

Python 3基础教程1-环境安装和运行环境

本系列开始介绍Python3的基础教程,为什么要选中Python 3呢?之前呢,学Python 2,看过笨方法学Python,学了不到一个礼拜,就开始用Python写Selenium脚本.最近看到一些资料和课程,都是Python 3授课的,例如,大数据,机器学习,数据挖掘:还有一个目的,我想彻底地,系统地学习下Python 3的基础部分,然后再考虑其他的.有兴趣的,可以也跟着学习,把基本功学好. 1.下载 1)打开https://www.python.org/downloads/ 2. 安装下

Hadoop伪分布配置与基于Eclipse开发环境搭建

原文地址: http://my.oschina.net/lanzp/blog/309078 目录[-] 1.开发配置环境: 2.Hadoop服务端配置(Master节点) 3.基于Eclipse的Hadoop2.x开发环境配置 4.运行Hadoop程序及查看运行日志 1.开发配置环境: 开发环境:Win7(64bit)+Eclipse(kepler service release 2) 配置环境:Ubuntu Server 14.04.1 LTS(64-bit only) 辅助工具:WinSCP

Hadoop那些事儿（二）---MapReduce开发环境搭建

上一篇文章介绍了在ubuntu系统中安装Hadoop的伪分布式环境,这篇文章主要为MapReduce开发环境的搭建流程. 1.HDFS伪分布式配置使用MapReduce时,如果需要与HDFS建立连接,及使用HDFS中的文件,还需要做一些配置. 首先进入Hadoop的安装目录 cd /usr/local/hadoop/hadoop2 在HDFS中创建用户目录 ./bin/hdfs dfs -mkdir -p /user/hadoop 创建input目录,并将./etc/hadoop中的xml文件

Linux服务器 Jenkins环境搭建

一.持续集成的概念 1.1:总体的概括持续集成Continuous Integration 持续交付Continuous Delivery 持续部署Continuous Deployment 1.2:什么是持续集成: 持续集成是指开发者在代码的开发过程中,可以频繁的将代码部署集成到主干,并进程自动化测试 1.3:什么是持续交付: 持续交付指的是在持续集成的环境基础之上,将代码部署到预生产环境 1.4:持续部署: 在持续交付的基础上,把部署到生产环境的过程自动化,持续部署和持续交付的区别就是最终

《SQL 基础教程》第二章:查询基础

这一章的结构如下: SELECT 语句基础算术运算符和比较运算符逻辑运算符 SELECT 语句可用于查询数据,并且可以设定条件来查询具有特定值的记录.条件的设定就需要算数运算符.比较运算符和逻辑运算符发挥作用. SELECT 语句基础格式 SELECT <column1>, <column2>, <column3>...FROM <table>; 注意:SELECT 语句后面的对象既可以是列名,也可以是相关的算术表达式. AS 关键字功能:利用 AS

【Hadoop基础教程】1、Hadoop之服务器基础环境搭建（转）

开发环境

1、安装环境

2、 用户配置

2、 sudo权限配置

3、 网络配置

4、 关闭防火墙

5、 安装JDK工具

【Hadoop基础教程】1、Hadoop之服务器基础环境搭建（转）的相关文章

2、用户配置

3、网络配置

4、关闭防火墙

5、安装JDK工具