CDH5.2+CM5.2+impala2+Spark1.1 集群搭建基础环境准备

测试集群简介:一共有4台机器:10.10.244.136、10.10.244.137、10.10.244.138、10.10.244.139。10.10.244.136是管理节点,另外3台是存储节点。准备工作详情如下:

1 在四台机器上安装CentOS release 6.5 (Final)  64位(管理节点需要安装Mysql\Postgresql\redhat_lsb)

2 CDH5.2(包含了Spark1.1) YUM源搭建、CM5.2 YUM源搭建、impala2 YUM 源搭建

CDH5.2仓库地址:http://archive-primary.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/

CM5.2仓库地址:http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/

impala2仓库地址:http://archive-primary.cloudera.com/impala/redhat/6/x86_64/impala/2/

3 关闭4台机器的selinux

cd /etc/selinux; vi config;SELINUX=disabled(找到它,修改成这样)

4 关闭4台机器的iptables(防火墙,CentoOS7.0 中就不是它了,好像是firewalk)

chkconfig --level 35 iptables off;

5 修改四台机器的hostname分别为master01.pmsc.gov.cn、datanode01.pmsc.gov.cn、datanode02.pmsc.gov.cn、 datanode03.pmsc.gov.cn

cd /etc/sysconfig; vi network;HOSTNAME=master01.pmsc.gov.cn(类似于这样修改)

6 在4台机器分别创建cloudera用户

groupadd cloudera;useradd -g cloudera cloudera;passwd cloudera;

7 让4台机器上的cloudera用户可以无密码获得sudo权限

cd /etc;chmod u+w sudoers;vi sudoers;cloudera    ALL=(ALL)   ALL;%cloudera    ALL=(ALL)NOPASSWD : ALL(这两句话添加在root    ALL=(ALL)       ALL下方);chmod u-w sudoers

8 在4台机器间配置cloudera用户的SSH无密码通信

cd /etc;vi hosts;添加如下内容

10.10.244.136 master01.pmsc.gov.cn

10.10.244.137 datanode01.pmsc.gov.cn

10.10.244.138 datanode02.pmsc.gov.cn

10.10.244.139 datanode03.pmsc.gov.cn

10.10.244.129 archive.cloudera.com  (YUM源本地机器)

cd /home/cloudera/.ssh;rm -rf *;ssh-keygen -t rsa -P ‘‘;cat id_rsa.pub>>authorized_keys(在4台机器上执行相同的操作,合并authorized_keys文件内容,并覆盖每个机器上的authorized_keys文件);chmod 600 authorized_keys;

9 在4台机器之间做时钟同步,保证时间的一致性(136 自己同步自己,其它机器同步136的时间。)

136上的配置(/etc/ntp.conf)

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst

server 127.127.1.0

fudge 127.127.1.0 stratum 8

137\138\139上的配置(/etc/ntp.conf)

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst

server 10.10.244.136

fudge 10.10.244.136 stratum 8

136\137\138\139设置ntpd服务开机自启动

sudo chkconfig ntpd on

137\138\139上在cloudera用户下每天同步一次时间(使用crontab)

30 21 * * * sudo ntpdate 10.10.244.131

10 在4台机器上安装JDK(最小版本1.7.0_67)

sudo vi /etc/profile;添加如下配置

export JAVA_HOME=/usr/local/jdk1.7.0_71

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

11 Mysql数据的安装配置

默认字符编码设置为utf-8:

[mysqld]

character-set-server=utf8

# Disabling symbolic-links is recommended to prevent assorted security risks

symbolic-links=0

[client]

port = 3306

socket = /var/lib/mysql/mysql.sock

default-character-set=utf8

[mysql]

no-auto-rehash

default-character-set=utf8

修改root账户密码:update user set Password = Password(‘test‘) where Host = ‘%‘ and User = ‘root‘;flush
privileges;

开启远程登录:update user set host = ‘%’ where user = ‘root’;flush privileges;

修改数据文件存储位置:

[mysqld]

datadir=/home/mysql

设置开机自启动:sudo chkconfig mysqld on

时间: 2024-11-05 03:13:08

CDH5.2+CM5.2+impala2+Spark1.1 集群搭建基础环境准备的相关文章

Linux rhel7.0 pacemaker集群搭建和配置

一 集群环境介绍 一 Linux 集群发展史 高可用集群的层次结构1 消息/基础架构 corosync 2 成员关系 :监听心跳信息,并进行处理成员关系和计算成员关系的票数等信息3 资源管理 VIP 磁盘 文件系统 CRM (群集资源管理器)等,有些策略引擎(有些资源是放置在同一个节点和其依赖关系) 和资源的分配调度有关 4 资源 : 对特定资源的操作,通过一定的脚本实现pacemaker 群集资源管理器corosync 消息/基础架构 管理工具 crmsh : crm (cluster res

Redis集群搭建完整流程演示

Redis集群搭建完整流程演示 前言 ? 前面讲述了有关redis的编译安装流程以及其配置优化的部分内容,本文旨在本地模拟redis服务器集群搭建的流程演示. Redis集群的作用是什么? ? 在实验部署开始前,我们需要明白为什么需要搭建Redis集群,其解决了什么样的问题?又有哪些优势.我们可以从单一的Redis服务器来探究这个问题. 单一Redis服务器存在的问题 ? 如果部署过MySQL主从复制读写分离以及MHA高可用的话,这里就非常容易想到单一Redis服务器所存在的问题,主要有以下几点

Ubuntu 12.04下spark1.0.0 集群搭建(原创)

spark1.0.0新版本的于2014-05-30正式发布啦,新的spark版本带来了很多新的特性,提供了更好的API支持,spark1.0.0增加了Spark SQL组件,增强了标准库(ML.streaming.GraphX)以及对JAVA和Python语言的支持: 下面,我们首先进行spark1.0.0集群的安装,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机,增加更多的slave只需重复slave部分的内容即可.: 系统版本

通过tarball形式安装HBASE Cluster(CDH5.0.2)——如何配置分布式集群中的zookeeper

集群安装总览参见这里 Zookeeper的配置 1,/etc/profile中加入zk的路径设置,见上面背景说明. 2,进入~/zk/conf目录,复制zoo_sample.cfg为zoo.cfg vim zoo.conf tickTime=2000 initLimit=10 syncLimit=5 dataDir=/home/hadoop/hdfs/zk/data dataLogDir=/home/hadoop/hdfs/zk/log clientPort=2181 server.21=zk1

Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的

准备工作: 1.笔记本4G内存 ,操作系统WIN7 2.工具VMware Workstation 3.虚拟机:CentOS6.4共五台 4.搭建好Hadoop集群( 方便Spark可从HDSF上读取文件,进行实验测试) 实验环境: Hadoop HA集群: Ip hostname role 192.168.249.130 SY-0130 ActiveNameNode 192.168.249.131 SY-0131 StandByNameNode 192.168.249.132 SY-0132 D

CDH集群搭建步骤

CDH集群搭建步骤详细文档 一.关于CDH和Cloudera Manager CDH (Cloudera's Distribution,including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机.Hadoop.Hive.Spark等服务的安装

Spark修炼之道(进阶篇)——Spark入门到精通:第一节 Spark 1.5.0集群搭建

作者:周志湖 网名:摇摆少年梦 微信号:zhouzhihubeyond 本节主要内容 操作系统环境准备 Hadoop 2.4.1集群搭建 Spark 1.5.0 集群部署 注:在利用CentOS 6.5操作系统安装spark 1.5集群过程中,本人发现Hadoop 2.4.1集群可以顺利搭建,但在Spark 1.5.0集群启动时出现了问题(可能原因是64位操作系统原因,源码需要重新编译,但本人没经过测试),经本人测试在ubuntu 10.04 操作系统上可以顺利成功搭建.大家可以利用CentOS

Cloudera CDH 5集群搭建(yum 方式)

1      集群环境 主节点 master001 ~~ master006 从节点 slave001 ~~ slave064 2      安装CDH5的YUM源 rpm -Uvhhttp://archive.cloudera.com/cdh5/one-click-install/redhat/6/x86_64/cloudera-cdh-5-0.x86_64.rpm 或 wgethttp://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloud

spark学习笔记-CentOS 6.4集群搭建(2)

CentOS 6.5安装 1.使用课程提供的CentOS 6.5镜像即可,CentOS-6.5-i386-minimal.iso. 2.创建虚拟机:打开Virtual Box,点击"新建"按钮,点击"下一步",输入虚拟机名称为spark1,选择操作系统为Linux,选择版本为Red Hat,分配1024MB内存,后面的选项全部用默认,在Virtual Disk File location and size中,一定要自己选择一个目录来存放虚拟机文件,最后点击"