hadoop集群搭建前的准备

1. 修改主机名:

[[email protected] home]# sudo vi /etc/sysconfig/network
修改主机名:

2. 设置系统默认启动级别:

[[email protected] home]#vi /etc/inittab
改默认启动级别,3 是多用户模式,并且不启动图形界面

3. 配置 hadoop 用户 sudoer 权限:

这里使用普通用户hadoop,对Linux进行操作:
创建hadoop用户
[[email protected] home]# useradd hadoop
[[email protected] home]# passwd hadoop
对hadoop用户权限设置
[[email protected] home]# vi /etc/sudoers

加入:hadoop ALL=(ALL) ALL

4. 配置 IP:

[[email protected] home]# system-config-network #使用这个命令,之后傻瓜式配置

5. 关闭防火墙/关闭 Selinux

注意:这里是测试环境,所以直接关闭,如果是生产环境,请票配置防火墙策略
查看防火墙状态:service iptables status
关闭防火墙:service iptables stop
开启防火墙:service iptables start
重启防火墙:service iptables restart
关闭防火墙开机启动:chkconfig iptables off
开启防火墙开机启动:chkconfig iptables on
永久关闭selinux
[[email protected] home]# vim /etc/selinux/config

6. 添加内网域名映射

这里是根据自己的集群,以及IP去设置主机名和ip地址的映射关系:
[[email protected] home]#vi /etc/hosts

7. 安装 JDK

由于hadoop是用java编写的,所以在搭建hadoop平台前,一定要保证有java的环境

  • 上传 jdk-8u73-linux-x64.tar.gz
  • tar -zxvf jdk-8u73-linux-x64.tar.gz -C /usr/local #解压到/usr/local 目录下
  • 配置环境变量 vi /etc/profile:
    加入export JAVA_HOME=/usr/local/jdk1.8.0_73
    export PATH=$PATH:$JAVA_HOME/bin
  • source /etc/profile
  • 检测是否安装成功,输入命:java -version

    8. 同步服务器时间

    由于是hadoop分布式的,每台集群之间需要通信,所以时间的同步时非常重要的步骤:
    这里使用的是定时任务的方式,进行定期的同步时间:
    [[email protected] home]#crontab -e
    加入:
    /5 /usr/sbin/ntpdate cn.pool.ntp.org >/dev/null 2>&1 #每5分钟同步一次

    9. 配置免秘钥登录:

    在集群规划之后的所有的节点下都需要配置,相互之间进行免秘钥登录:
    这里一定要切换到hadoop用户下,因为免秘钥登录是针对用户的:
    [[email protected] home] ssh-keygen -t rsa
    [[email protected] home]ssh-copy-id hostname
    使用上面两个命令实现免秘钥登录,一定注意,配置完成之后,需要测试。登录到其他的主机看看是否需要密码:


这里提示一下:小编后续文章中的集群是3台测试机,主机名分别是:hadoop01、hadoop02、hadoop03,IP地址根据自己的网络配置,能ping通外网即可。

注意以上的9步完成之后,在看小编下面的文章,hadoop分布式和HA的集群搭建,不然会出现问题!!!

原文地址:http://blog.51cto.com/14048416/2341450

时间: 2024-10-28 17:58:34

hadoop集群搭建前的准备的相关文章

三节点Hadoop集群搭建

1. 基础环境搭建 新建3个CentOS6.5操作系统的虚拟机,命名(可自定)为masternode.slavenode1和slavenode2.该过程参考上一篇博文CentOS6.5安装配置详解 2.Hadoop集群搭建(以下操作中三个节点相同的地方就只给出主节点的截图,不同的才给出所有节点的截图)   2.1 系统时间同步 使用date命令查看当前系统时间 系统时间同步 [[email protected] ~]# cd /usr/share/zoneinfo/ [[email protec

hadoop 集群搭建-suse linux 11

好久都没写了啊.感觉自己都不像是一个搞技术都了.来个存货吧! hadoop 集群搭建 3台机器 suse 系统 规划 IP 主机名 hostname hadoop角色10.96.91.93 namenode93 NameNode.SecondaryNameNode .ResourceManage. DataNode .NodeManager10.96.91.129 datanode129 DataNode NodeManager10.96.91.130 datanode130 DataNode

大数据-Hadoop生态(4)-Hadoop集群搭建

准备工作 开启全部三台虚拟机,确保hadoop100的机器已经配置完成 脚本 操作hadoop100 新建一个xsync的脚本文件,将下面的脚本复制进去 vim xsync #这个脚本使用的是rsync命令而不是scp命令,是同步而非覆盖文件,所以仅仅会同步过去修改的文件.但是rsync并不是一个原生的Linux命令,需要手动安装.如果没有,请自行安装 #!/bin/bash #1 获取输入参数个数,如果没有参数,直接退出 pcount=$# if ((pcount==0)); then ech

Hadoop集群搭建步骤

实验性操作是在虚拟机里进行的,除了搭建hadoop本身的操作之外,遇到的其它问题总结如下: 1. 虚拟机挂载windows磁盘: 添加硬件,要保证该硬件此时没有被读写访问等,因为挂载后,该磁盘在宿主机上就不能用了.启动虚拟机linux,执行 fdisk –l 查看windows磁盘的分区,如/dev/sdb2,然后执行挂载命令: mount /dev/sdb2 /mnt/win/ 然后就可以到/mnt/win目录下访问磁盘上的内容了 2. hadoop启动时如果报错,提示JAVA_HOME is

Hadoop集群搭建文档

  环境: Win7系统装虚拟机虚拟机VMware-workstation-full-9.0.0-812388.exe Linux系统Ubuntu12.0.4 JDK                jdk-7u17-linux-i586.tar.gz 搭建步骤: 首先在win系统装虚拟机,执行VMware-workstation-full-9.0.0-812388.exe: 其次需要在虚拟机上装Ubuntu12.0.4: 安装完成Ubuntu12.0.4之后,需要安装JDK,(注意:安装JDK需

Hadoop集群搭建配置文件汇总

核心内容: 1.Hadoop1.1.2伪分布(或集群)搭建核心配置文件 2.Hadoop2.4.1伪分布(或集群无HA)搭建核心配置文件 3.Hadoop2.4.1 + HA 集群搭建核心配置文件 1.Hadoop1.1.2伪分布(或集群)搭建核心配置文件 hadoop1.1.2伪分布(集群)搭建 前期准备(略) 安装hadoop1.1.2 1.解压缩 2.修改配置文件 ----------------------core-site.xml--------------------- <prope

Hadoop集群搭建详细步骤(2.6.0)

本文记录在3台物理机上搭建Hadoop 2.6.0的详细步骤及碰到的问题解决.默认使用root账号操作,实际中建议使用专用的hadoop用户账号. 1. 环境 机器: 物理机3台,ip分别为192.168.1.130.192.168.1.132.192.168.1.134 操作系统: CentOS 6.6 Java: 1.7 Hadoop: 2.6.0 请确保JDK已安装,使用java -version确认. hosts配置 配置主机hosts文件: vim /etc/hosts 192.168

Hadoop学习之路(四)Hadoop集群搭建和简单应用

概念了解 主从结构:在一个集群中,会有部分节点充当主服务器的角色,其他服务器都是从服务器的角色,当前这种架构模式叫做主从结构. 主从结构分类: 1.一主多从 2.多主多从 Hadoop中的HDFS和YARN都是主从结构,主从结构中的主节点和从节点有多重概念方式: 1.主节点 从节点 2.master slave 3.管理者 工作者 4.leader follower Hadoop集群中各个角色的名称: 服务 主节点 从节点 HDFS NameNode DataNode YARN Resource

Hadoop学习之路(五)Hadoop集群搭建模式和各模式问题

分布式集群的通用问题 当前的HDFS和YARN都是一主多从的分布式架构,主从节点---管理者和工作者 问题:如果主节点或是管理者宕机了.会出现什么问题? 群龙无首,整个集群不可用.所以在一主多从的架构中都会有一个通用的问题: 当集群中的主节点宕机之后,整个集群不可用.这个现象叫做:单点故障.SPOF 单点故障讲述的概念有两点 1.如果说宕机的那个节点是从节点,那么整个集群能够继续运行,并且对外提供正常的服务. 2.如果说宕机的那个节点是主节点,那么整个集群就处于宕机状态. 通用的解决方案:高可用