CentOS 6.5 下 CDH 5.2.1 集群安装(一)

集群节点数量3 个

192.168.1.170 cdh-master

192.168.1.171 cdh-slave-1

192.168.1.171 cdh-slave-2

一、安装CentOS6.5 (64位)并搭建基本环境,包括:

(1)添加sudo 权限

(2)修改主机名、网关、静态IP地址、DNS

(3)关闭SELINUX、防火墙

可参考文章

(4)修改系统时区、配置ntp服务(首先可选宿主机器配置ntp server,参考文章

二、克隆为三台机器,分别修改静态IP 地址、MAC、主机名、hosts文件:

主机名、网关修改 /etc/sysconfig/network文件

MAC 修改 /etc/udev/rules.d/70-persistent-net.rules

IP地址是修改 /etc/sysconfig/network-scripts/ifcfg-eth0

host 文件修改 /etc/hosts 需要添加集群内所有的主机名和ip的对应关系,而且主机名的名称要和真实的主机名(/etc/sysconfig/network)完全一致

三、下载clouder-manger的安装包及parcel文件:

cm 文件下载地址

cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

cloudera-manager-server-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

cloudera-manager-agent-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

jdk-6u31-linux-amd64.rpm

oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

parcel 下载地址

CDH-5.2.1-1.cdh5.2.1.p0.12-el6.parcel

四、在master 节点安装daemons、server、agent(先装daemons)

yum --nogpgcheck localinstall cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

yum --nogpgcheck localinstall cloudera-manager-server-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

yum --nogpgcheck localinstall cloudera-manager-agent-5.2.1-1.cm521.p0.109.el6.x86_64.rpm:agent安装需要联网)

五、在slave-1、slave-2节点安装daemons、agent(先装daemons)

yum --nogpgcheck localinstall cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

yum --nogpgcheck localinstall cloudera-manager-agent-5.2.1-1.cm521.p0.109.el6.x86_64.rpm(注:agent安装需要联网)

六、在master、slave-1、slave-2 节点安装JDK、oraclejdk

rpm -ivh jdk-6u31-linux-amd64.rpm

七、在master节点安装mysql 数据库,并配置cdh需要的数据库选项

yum install mysql-server mysql mysql-deve (注:需要联网)

chkconfig mysqld on

service mysqld start

mysql –u root

use mysql

update user set password=password(‘1234‘) where user=‘root‘

update user set password=password(‘1234‘) where host=‘localhost‘

update user set password=password(‘1234‘) where host=‘cdh-mater‘

service mysqld restart

mysql -u root -p1234

create database cloudera

八、在master节点配置cloudera manager 数据库并启动cm的server及agent程序

1.拷贝mysql-connector-java-5.1.7-bin.jar 到 /usr/share/java 下并重命名mysql-connector-java.jar

2.运行 /usr/share/cmf/schema/scm_prepare_database.sh -h cdh-master mysql cloudera root 1234

3.启动cm server :service cloudera-scm-server start

4.添加cm server服务 :chkconfig cloudera-scm-server on

5.启动cm agent :chkconfig cloudera-scm-agent on

6.添加cm agent服务 :service cloudera-scm-server start

、修改所有节点的agent 配置文件

/etc/cloudera-scm-agent/config.ini 将配置文件中的host 改成 cdh-master

十、在slave节点配置cloudera manager  agent程序

1.启动cm agent :chkconfig cloudera-scm-agent on

2.添加cm agent服务 :service cloudera-scm-server start

十一、测试agent和server是否通信成功

service cloudera-scm-server status

service cloudera-scm-agent status

netstat –anp | grep 7182

# server 端开启的是7182端口,用于和agent进行通讯

启动失败时可以查看日志

server 日志 /var/log/cloudera-scm-server

agent 日志 /var/log/cloudera-scm-agent

十二、将下载的parcel文件及官方网站上获取对应版本的 sha 文件和 manifest.json文件上传至/opt/cloudera/parcel-repo目录下。

十三、启动浏览器,开始集群web安装配置

时间: 2024-11-02 23:25:39

CentOS 6.5 下 CDH 5.2.1 集群安装(一)的相关文章

CentOS下Storm 1.0.0集群安装具体解释

本文环境例如以下: 操作系统:CentOS 6 32位 ZooKeeper版本号:3.4.8 Storm版本号:1.0.0 JDK版本号:1.8.0_77 32位 python版本号:2.6.6 集群情况:一个主控节点(Master)和两个工作节点(Slave1,Slave2) 1. 搭建Zookeeper集群 安装參考:CentOS下ZooKeeper单机模式.集群模式安装 2. 在Nimbus和worker机器上安装依赖包 Java 6 Python 2.6.6 以上的版本号是官方说已经有測

CentOS下Storm 1.0.0集群安装详解

本文环境如下: 操作系统:CentOS 6 32位 ZooKeeper版本:3.4.8 Storm版本:1.0.0 JDK版本:1.8.0_77 32位 python版本:2.6.6 集群情况:一个主控节点(Master)和两个工作节点(Slave1,Slave2) 1. 搭建Zookeeper集群 安装参考:CentOS下ZooKeeper单机模式.集群模式安装 2. 在Nimbus和worker机器上安装依赖包 Java 6 Python 2.6.6 以上的版本是官方说已经有测试可以和Str

Centos 6.4下 MySQL配置主从服务(集群)

我们前面两篇文章都分别介绍了Mysql的安装及配置.备份及还原,今天我们继续前面的环境介绍一下Centos 6.4下MySQL配置主从实现数据同步,也可以理解为双机热备,来提高服务器的高可用性.对于Mysql的服务器配置就不多介绍了,如果有不明白的可以参阅前面的MySQL文章介绍: 配置MySQL主服务器的my.cnf文件 我们首先打开MySQL主服务器的配置文件 vim /etc/my.cnf 默认配置 我们需要添加以下内容到MySQL服务主配置文件内: #设置服务器ID,为1的表示为主服务器

CentOS系统下Hadoop 2.4.1集群安装配置(简易版)

安装配置 1.软件下载 JDK下载:jdk-7u65-linux-i586.tar.gz http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html Hadoop下载:hadoop-2.4.1.tar.gz http://www.apache.org/dyn/closer.cgi/hadoop/common/ 2./etc/hosts配置 [html] view plaincopyprin

CentOS 6.6下 BCM4312 802.11b/g无线网卡驱动安装

安装基本环境: dell 1440 uname - r  2.6.32-504.el6.i686 lspci |grep Network  # BCM4312 lspci -n |grep 14e4 # 14e4:4315 ############################### hybrid-portsrc_x86_32-v5_100_82_38.tar.gz下载地址在 免费下载地址在 http://linux.linuxidc.com/ 用户名与密码都是www.linuxidc.com

Centos5.6下利用Ambari搭建Hadoop集群(Hotonworks框架)

 写在前面: 很长时间没在CSDN上写博客了,最近两个月公司计划要搞大数据,而我们的技术不够,所以这段时间主要进行Hadoop的相关技术学习及储备.废话不多说,下面进入主题,本次主要讨论在Centos5.6下通过Ambari进行Hadoop集群的安装(基于Hotonworks框架). 一.Centos安装(已装了系统的可以跳过此步) 1.    把光盘放入光驱中重新启动电脑,让光盘引导来安装CentOS 5.6系统; 上图为CentOS的安装启动界面,如果想用文本方式安装,就输入linux te

CentOS 7 学习(三)配置Tomcat集群

所谓集群,就是把多台服务器集合起来,对外提供一个接口访问,对用户来说完全透明,常用的办法就是前端放一个服务器,将用户请求分发到不同的服务器,大致有以下几种方案 1)采取DNS轮询:将用户的连接解析到不同的服务器上,这会产生一个问题,如果一个服务器宕掉,DNS无法及时更新,就会出现问题 2)反向代理服务器:将用户的连接转发到不同的服务器上,这有两种方式,一个是修改HTTP头,让用户的连接转到固定的服务器,以后不再和代理服务器交互,这会修改用户浏览器里的地址,可能会不怎么友好:如果不修改地址,用户总

Linux下Hadoop 2.2.0 集群配置攻略

Hadoop 2.2.0 集群配置攻略 用户输入标识: chmod +x jdk-7u45-linux-x64.rpm  为黑色带底纹 系统输出标识: java version "1.7.0_51" 为绿色小字 2014年3月20-日 by lilihao Q 404536204 1. 安装sun jdk (1). 到Oracle的官方网站下载jdk,目前最新版本是7u51 安装包: http://www.oracle.com/technetwork/java/javase/downl

Centos基于Apache的Tomcat负载均衡和集群

Centos基于Apache的Tomcat负载均衡和集群 一.背景原理1.tomcat 做个WEB服务器有它的局限性,处理能力低,效率低.承受并发小(1000左右).但目前有不少网站或者页面是JSP的.并采用了tomcat做为WEB,因此只能在此基础上调优.2.目前采取的办法是Apache + Mod_JK + tomcat 来解决一部分请求,用户访问的是apache,但有jsp页面的时候才会去请求tomcat.如果量一大,那么tomcat无法承受,那么只能做tomat集群,Apache + M