Hadoop-1.2.1集群虚拟机搭建(上)--环境准备

VM虚拟机配置:

NAT网络配置参考:

http://www.cnblogs.com/gongice/p/4337379.html

安装Hadoop前的装备(在每一台主机上):

配置sudo(可选):

[[email protected] hadoop]# chmod u+w /etc/sudoers
[[email protected] hadoop]# vi /etc/sudoers

添加一行数据:hadoop      ALL=(ALL)              NOPASSWD: ALLhadoop为sudo免密码用户

主机名设置:

[[email protected] hadoop]# vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.153.101 hadoop01
192.168.153.102 hadoop02
192.168.153.103 hadoop03

关闭iptable:

[[email protected] hadoop]# sudo chkconfig iptables off
[[email protected] hadoop]# sudo /etc/init.d/iptables stop
iptables: Flushing firewall rules:                         [  OK  ]
iptables: Setting chains to policy ACCEPT: filter          [  OK  ]
iptables: Unloading modules:                               [  OK  ]

关闭SELinux:

[[email protected] install]# sudo vi /etc/selinux/config

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
#     targeted - Targeted processes are protected,
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

NTP服务配置:

参考:

http://www.cnblogs.com/gongice/p/4338204.html

配置免登录:

在每一台主机生成公钥和私钥:

[[email protected] ~]$ mkdir ~/.ssh
[hadoop@hadoop01 ~]$ chmod 700 ~/.ssh
[hadoop@hadoop01 ~]$ ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa

[hadoop@hadoop02 ~]$ mkdir ~/.ssh
[hadoop@hadoop02 ~]$ chmod 700 ~/.ssh
[hadoop@hadoop02~]$ ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa

[hadoop@hadoop03 ~]$ mkdir ~/.ssh
[hadoop@hadoop03 ~]$ chmod 700 ~/.ssh
[hadoop@hadoop03 ~]$ ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa

将slave主机的 id_dsa.pub复制到master主机上:

[[email protected] .ssh]$ scp id_dsa.pub [email protected]:/home/hadoop/.ssh/id_dsa.pub.hadoop02
[hadoop@hadoop03 .ssh]$ scp id_dsa.pub [email protected]:/home/hadoop/.ssh/id_dsa.pub.hadoop03

Masters上将所有id_dsa.pub集中:

[[email protected] .ssh]$  cat id_dsa.pub >> authorized_keys
[hadoop@hadoop01 .ssh]$  cat id_dsa.pub.hadoop02 >> authorized_keys
[hadoop@hadoop01 .ssh]$  cat id_dsa.pub.hadoop03 >> authorized_keys

将Master主机上的authorized_keys分发到各slave主机上:

[[email protected] .ssh]$ scp authorized_keys [email protected]:/home/hadoop/.ssh/authorized_keys
[hadoop@hadoop01 .ssh]$ scp authorized_keys [email protected]:/home/hadoop/.ssh/authorized_keys

安装JDK:

sudo tar -xvf jdk-7u55-linux-x64.gz
sudo chown -R root:root jdk1.7.0_55

安装成功后会生成jdk1.7.0_55,确认该目录权限为drwxr-xr-x (755)

vi /etc/profile
export JAVA_HOME=/usr/lib/java/jdk1.7.0_55
export PATH=$JAVA_HOME/bin:$PATH

[[email protected] java]$ source /etc/profile
[hadoop@hadoop01 java]$ java -version
java version "1.7.0_55"
Java(TM) SE Runtime Environment (build 1.7.0_55-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.55-b03, mixed mode)
时间: 2024-10-07 14:37:49

Hadoop-1.2.1集群虚拟机搭建(上)--环境准备的相关文章

mesos+marathon+zookeeper的docker管理集群亲手搭建实例(环境Centos6.8)

资源:3台centos6.8虚拟机 4cpu 8G内存 ip 10.19.54.111-113 1.System Requirements及安装环境配置并关闭防火墙与SELinux For full support of process isolation under Linux a recent kernel >=3.10 is required. 由于我使用的centos6.8,所以要升级内核(http://www.cnblogs.com/zhangmingcheng/p/6046274.h

Hadoop 2.2.0 集群搭建

概述 在前面我有写过关于 Hadoop 集群的搭建,不过之前的 Hadoop 是 1.x 版本的.目前是基于 2.x 版本的 Hadoop,与之前的 1.x 版本的差别还是挺大的.以及更为详细的 SSH 免密码互连登录的配置过程.所以,这里也把我搭建的过程记录下来了.希望于你有益. 版权说明 著作权归作者所有. 商业转载请联系作者获得授权,非商业转载请注明出处. 本文作者:Coding-Naga 发表日期: 2016年5月4日 本文链接:http://blog.csdn.net/lemon_tr

Hadoop集群初步搭建:

自己整理了一下Hadoop集群简易搭建的过程,感谢尚观科技贾老师的授课和指导! 基本环境要求:能联网电脑一台:装有Centos系统的VMware虚拟机:Xmanager Enterprise 5软件. •规划集群的ip地址:(计划) 10.10.10.31-->uplooking01 10.10.10.32-->uplooking02 10.10.10.33-->uplooking03 •克隆2个虚拟机:(在VMware里操作) 右击将uplooking重命名为uplooking01:

Spark集群框架搭建【VM15+CentOS7+Hadoop+Scala+Spark+Zookeeper+HBase+Hive】

目录 1 目的 2 准备工作 3 安装过程 3.1 在虚拟机中安装CentOS7 3.1.1 虚拟机设置 3.1.2 安装Linux系统 3.2 JAVA环境 3.2.1 卸载Linux自带的jdk 3.2.2 下载并安装最新版本的jdk 3.2.3 环境变量设置 3.3 SSH免密登陆 3.3.1 准备工作 3.3.2 设置免密登陆 3.4 Hadoop2.7.2安装及集群配置 3.4.1 Hadoop安装 3.4.2 伪分布式集群配置 3.4.3 启动hadoop 3.5 Spark安装及环

Ubuntu 12.04下Hadoop 2.2.0 集群搭建(原创)

现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0 集群搭建,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机,增加更多的slave只需重复slave部分的内容即可. 系统版本: master:Ubuntu 12.04 slave:Ubuntu 12.04 hadoop:hadoop 2.2.0 安装ssh服务:sudo apt-get install ssh 有时也要更新一下vim:sudo apt-ge

CentOS 6.5 搭建Hadoop 1.2.1集群

记录在64位CentOS 6.5环境下搭建Hadoop 2.5.2集群的步骤,同时遇到问题的解决办法,这些记录都仅供参考! 1.操作系统环境配置 1.1.操作系统环境 主机名 IP地址 角色 Hadoop用户 hadoop-master 192.168.30.50 Hadoop主节点 hadoop hadoop-slave01 192.168.30.51 Hadoop从节点 hadoop hadoop-slave02 192.168.30.52 Hadoop从节点 hadoop 1.2.关闭防火

Solr集群的搭建以及使用(内涵zookeeper集群的搭建指南)

1   什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud.当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使 用SolrCloud来满足这些需求. SolrCloud是基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zookeeper作为集群的配置信息中心. 它有几个特色功能: 1)集中式的配置信息 2)自动容

高可用(HA)集群的搭建 --图形化搭建(针对rhel6.5)

高可用(HA)集群的搭建 --图形化搭建(针对rhel6.5) 实验环境:iptables selinux关闭,三台主机做好解析 实验主机IP: 172.25.0.251 172.25.0.2 172.25.0.3 高可用集群包括RHCS,pacemaker+lvs,heartbeat,keepalievd. 在做实验前,先了解RHCS套件,6以下才有,7就取消了. 一些服务进程的含义如下: Luci/ricci>>web方式的集群管理(配置)工具: Ccs>>集群配置服务,(例如

Storm集群的搭建

集群结构 Storm集群表面类似Hadoop集群.但在Hadoop上你运行的是”MapReduce jobs”,在Storm上你运行的是”topologies”.”Jobs”和”topologies”是大不同的,一个关键不同是一个MapReduce的Job最终会结束,而一个topology永远处理消息(或直到你kill它). Storm集群有两种节点:控制(master)节点和工作者(worker)节点. 控制节点运行一个称之为”Nimbus”的后台程序,它类似于Haddop的”JobTrack