hadoop环境安装配置介绍与步骤

在上一篇的分享文章中我是给大家分享了运行部署hadoop的一些安装准备工作,这篇接上一篇继续为大家分享一些个人的学习经验总结。我学习用的是大快发行版DKHadoop,所以所有的经验分享都是以DKHadoop为基础,这里要先说明一下。个人觉得DKHadoop对新手还是算是很友好的了,新手朋友们可以大快搜索网站下载一个三节点的dkhadoop玩一下看看。
闲话到此结束,本篇重点整理的是服务器操作系统的配置问题,写的可能会有点长,需要一点点耐心看的哦!
1.修改权限
步骤:在准备工作中拷贝安装包DKHPlantform.zip到主节点/root/目录后,解压并修改文件权限(文件所有者可读可写可执行,与文件所有者属于一个用户组的其他用户可读可执行,其他用户组可读可执行)。
命令:
cd /root/
unzip DKHPlantform.zip
chmod -R 755 DKHPlantform
2. 搭建hadoop集群设置SSH免密登录
步骤:
修改主机名 vi /etc/sysconfig/network reboot
(1)修改本机hosts文件,写入对应关系
命令:
vi /etc/hosts
通过按键盘上的insert或是I键进入编辑模式,编辑完成后按一下Esc键然后按一下按Shift+:键,输入wq 后回车就可以保存。输入q!后回车则是放弃保存并退出.
进入编辑模式后,按照规则写入主机与ip的对应关系(主机名称dk41是自己命名的,如下图)例:
192.168.1.41 dk41
192.168.1.42 dk42
192.168.1.43 dk43

编辑完后,保存退出。把对应关系拷到其他两台机器上。
命令:
scp??-r??/etc/hosts??192.168.1.42:/etc
scp??-r??/etc/hosts??192.168.1.43:/etc
(2)执行集群之间免密前的准备工作
a)执行sshpass.sh的脚本的时候会去读sshhosts和sshslaves这两个文件,替换sshpass.sh中的master和slave文件。
修改文件sshhosts,输入全部机器的主机名,每行一个主机名(如下图)
命令:
vi /root/DKHPlantform/autossh/sshhosts
通过按键盘上的insert或是I键进入编辑模式,编辑完成后按一下Esc键然后按一下按Shift+:键,输入wq,后回车就可以保存。输入q!后回车则是放弃保存并退出.

修改文件sshslaves,写入除主机名之外的所有机器名(如下图)
命令:
vi /root/DKHPlantform/autossh/sshslaves
通过按键盘上的insert或是I键进入编辑模式,编辑完成后按一下Esc键然后按一下按Shift+:键,输入wq,后回车就可以保存。输入q!后回车则是放弃保存并退出.


b)执行insExpect.sh,系统会装两个rpm包,在执行sshpass.sh的过程中无需再输密码和yes,脚本自动继续执行。
命令:
cd /root/DKHPlantform/autossh
./insExpect.sh
按照提示多次输入yes和密码(如下图)

c)执行changeMaster.sh脚本为了清空/root/.ssh目录下的所有文件(在/root/DKHPlantform/autossh目录下),避免在执行sshpass.sh脚本时产生的新密钥时与旧的密钥发生冲突。
命令:
./changeMaster.sh
按照提示输入(如下图)

(3)执行集群免密(SSH)
a)执行SSH:
命令:
cd /root/
./sshpass.sh 密码
123456为集群密码,根据自己实际情况输入。

b)防止访问服务器时某些服务被拦截,需关闭防火墙。
命令:
cd /root/DKHPlantform/autossh
./offIptables.sh

3.安装双机热备份的MySQL
目的:存放Hive的元数据
步骤:
(1)从主节点分发mysql安装目录到第二节点
命令:
scp?-r?/root/DKHPlantform/mysqlInst/?192.168.1.42:/root/
(2)主节点执行:
命令:
cd /root/DKHPlantform/mysqlInst/
./mysql.sh 1
ssh前往第二台机器(从节点)并执行:
命令:
cd /root/mysqlInst/
./mysql.sh 2
(3)执行成功之后执行热备份(两台机器上都要执行,两个ip互换,41上写42,42上写41,密码是Mysql的密码为:123456。平台内已经设定好,请勿修改):
命令:
source /etc/profile
./sync.sh 192.168.1.xxx(另一台mysql地址) root 123456

4.创建数据库
步骤:
(1)导入MySQL数据表,只在主节点执行:
命令:
mysql -uroot -p123456 < { 此处为sql文件,主目录下文件: dkh.sql}
如:mysql -uroot -p123456 </root/DKHPlantform/dkh.sql
(2)执行完后查看一下两台mysql的数据表是否存在,从节点查看执行:
命令:
mysql??-uroot??-p123456
show?databases;

原文地址:http://blog.51cto.com/13636660/2136681

时间: 2024-10-08 01:46:30

hadoop环境安装配置介绍与步骤的相关文章

[转载]SharePoint 2013测试环境安装配置指南

软件版本 Windows Server 2012 标准版 SQL Server 2012 标准版 SharePoint Server 2013 企业版 Office Web Apps 2013 备注:安装之前,需要各个服务器的IP地址,机器名称设置好,并且已经加入到域中. 一 安装AD域控制器 1. 添加AD服务 a) 打开服务器管理器,选择[添加角色和功能] b) 在[开始之前]页面直接点击[下一步] c) 选择[基于角色或基于功能的安装]后,点击[下一步] d) 选择[从服务器池中选择服务器

【Mac + Appium + Java1.8学习(三)】之IOS自动化环境安装配置以及简单测试用例编写(模拟器、真机)

前提条件: =========================================== 1.Xcode版本为Xcode10及以上2.Appium版本必须为1.9及以上,因为Xcode为10.0 3.appium-desktop4.安装所需依赖库,包括: a.Homebrew b.Git c.node (brew install node) d.npm (brew install npm)e.carthage (brew install carthage)f.libimobiledev

Hadoop单机版安装配置

[toc] Hadoop单机版安装配置 前言 Hadoop单机版本的环境搭建比较简单,这里总结一下. Centos基本配置 网络配置 IPADDR=192.168.43.101 NETMASK=255.255.255.0 GATEWAY=192.168.43.2 DNS1=202.96.128.166 DNS2=202.96.128.86 配置完成后重启网络: service network restart 修改主机名和IP地址映射文件 vim /etc/sysconfig/network 将H

SVN Server环境安装配置手册

SVN Server环境安装配置手册_百度文库 http://wenku.baidu.com/link?url=923bv1olSkznh1gWd7Gqoxxwj18IHIlTXcEbNiPSLM5H32k93UtQ22rAVppNIlVv89ru4E1cPFe1yESSEkSsR4NfDMMRgpA2d3GI_KcV37m

第四篇(1):企业常用Linux web环境安装配置(apache、php、mysql)

上篇我们讲了基本的软件包管理和文件操作什么的,现在也要动手安装点有用的东西了吧! 本篇我会写出一个用yum安装apache.php.mysql的方法,最后再运行phpMyAdmin来管理数据库. 1.如何在Linux主机上安装apache 由于之前我们安装了完成的centos系统,所以可能系统有可能已经安装好了apache,所以我们先检查下是不是真的安装过了 先敲命令吧,yum list installed httpd* ,如果看到httpd已经安装,那么就yum -y remove httpd

Redis 的安装配置介绍

redis 是一个高性能的key-value数据库. redis的出现,很大程度补偿了memcached这类keyvalue存储的不足,在部 分场合可以对关系数据库起到很好的补充作用.它提供了Python,Ruby,Erlang,PHP客户端,使用很方便.问题是这个项目还很新,可能还不足够稳定,而且没有在实际的一些大型系统应用的实例.此外,缺乏mc中批量get也是比较大的问题,始终批量获取跟多次获取的网络开销是不一样的. 性能测试结果: SET操作每秒钟 110000 次,GET操作每秒钟 81

XMPP-04环境安装(配置客户端)

四.配置客户端 1.来到XMPP官网,寻找所需客户端软件 2.选用电脑自带的信息,Adium和Spark这三个客户端软件,我共享的资源里有 3.首先来配置信息 打开信息 ->添加账户 ->其他邮件账户 ->继续 ->账户类型:Jabber ->用户名:zhangsan ->密码:123456 ->创建 XMPP-04环境安装(配置客户端),布布扣,bubuko.com

storm0.9.1 集群环境安装配置

Storm安装配置 三台机器  131,132,133 需要安装 jdk,python,autoconf-2.64,zeromq-3.2.2,jzmq 安装jdk和python不详细说. 1  安装 autoconf-2.64, 1.1 下载 http://download.chinaunix.net/download.php?id=29328&ResourceID=648 上传到lunix上的工作目录 比如  /home/bigdata/ 解压  tar -xvf   autoconf-2.6

J2EE环境安装配置

在下载,安装前先说下下面几个概念JDK,SDK,JRE,JVM ◆JDK Java Develop Kit (Java 开发包) ◆SDK Software Develop kit, 以前JDK叫做Java software develop kit,后来出了1.2版本后就改名叫JDK了,省时省力, 节约成本. ◆JRE Java runtime environment 我们的最简单的HelloWorld程序必须在JRE(Java运行环境,Java运行环境又叫Java平台)才能跑起来.显然JRE其