大数据平台cdh5.3.x 的安装配置

  • 一: CentOS6.8x64 环境初始化
  • 二: cdh5.3.x 安装使软件配置


##一: CentOS6.8x64 环境初始化

1.1 系统主机名配置

192.168.3.1     master.hadoop.com       master
192.168.3.2     slave1.hadoop.com       slave1
192.168.3.3     slave2.hadoop.com       slave2

1.2 关闭iptables 与selinux 与禁用IPv6

1. 关闭iptables 

iptables -F
service iptables save
service iptables stop
chkconfig iptables off 

2. 关闭selinux
vim /etc/selinx/config

SELINUX=disabled

3. 禁用IPv6 (从新启动系统验证)
# echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
# echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf

1.3 做无密钥认证

2. 做hadoop用户无密钥认证

 ssh-keygen ---一直敲回车到最后

 cat id_rsa.pub >> authorized_keys 

 将所有的公钥导入authorized_keys  分发到 所有的 机器的.ssh/ 下面

 然后测试

1.4 卸载openjdk 的rpm 包

 rpm -e --nodeps xxx yyy zzz (包含jdk 的rpm 包)

1.5 安装jdk

rpm -ivh jdk-7u79-linux-x64.rpm

vim /etc/profile

增加环境变量

export JAVA_HOME=/usr/java/jdk1.7.0_79

export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/opt/cloudera/parcels/CDH

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:${HADOOP_HOME}/bin

1.6 设置进程的参数:(所有节点都配置)

设置文件打开数量和用户最大进程数
        >> 文件打开数量
        $ ulimit -a
        >> 用户最大进程数
        $ ulimit -u
        >> 设置
        $ sudo vi /etc/security/limits.conf
            内容:
*               soft    nofile          32728
*               hard    nofile          1029345
*               soft    nproc           unlimited
*               hard    nproc           unlimited
*               soft    memlock         unlimited
*               hard    memlock         unlimited 

1.7 配置时间同步服务器

1. master:
vim /etc/ntp.conf 增加
restrict 192.168.3.0 mask 255.255.255.0 nomodify notrap

vim /etc/sysconfig/ntpd
echo "SYSNC_HWCLOCK=yes" >> /etc/sysconfig/ntpd

2. slave1,slave2 同步master

crontab -l 

*/5 * * * *     /usr/sbin/ntpdate 192.168.3.1

3. 同步到blos 时间
 hwclock --localtime -w

1.8 安装mysql 数据库

1. 卸载原有数据库
rpm -qa |grep mysql
rpm -e mysql-libs-* --nodeps 

2. 安装新版本的数据库:

rpm -ivh MySQL-server-5.6.31-1.el6.x86_64.rpm
rpm -ivh MySQL-client-5.6.31-1.el6.x86_64.rpm
rpm -ivh MySQL-devel-5.6.31-1.el6.x86_64.rpm
rpm -ivh MySQL-embedded-5.6.31-1.el6.x86_64.rpm
rpm -ivh MySQL-shared-5.6.31-1.el6.x86_64.rpm
rpm -ivh MySQL-shared-compat-5.6.31-1.el6.x86_64.rpm
rpm -ivh MySQL-test-5.6.31-1.el6.x86_64.rpm

---启动mysql---

service mysql start
mysql 的 初次使用密码在 : cat .mysql_secret
----更改mysql 密码:
mysql -uroot -p7OR2voJyB72iT4Px

mysql> set password = password(‘123456‘);
mysql> flush privileges;

二: cdh5.3.x 安装使软件配置

2.1 安装CM 所依赖的包:(全部节点都安装)

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

2.2. 创建安装CM 的目录 所有节点全部配置:(三台机器全部配置)

1.mkdir /opt/cloudera-manager

上传已经下载好的CM 5.3.6 软件
cloudera-manager-el6-cm5.3.6_x86_64.tar.gz
去哪里下载:
http://archive.cloudera.com/cm5/cm/5/

2. 解压到/opt/cloudera-manager (所有节点全部配置)
tar -zxvf cloudera-manager-el6-cm5.3.6_x86_64.tar.gz -C /opt/cloudera-manager
----

3. 修改agent 的配置文件config.ini (所有节点全部更改)
cd /opt/cloudera-manager/cm-5.3.6/etc/cloudera-scm-agent
vim config.ini
server_host=master.hadoop.com

4. 创建cloudera-scm 用户用作安装(节点全部配置)
#useradd --system --home=/opt/cloudera-manager/cm-5.3.6/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm


2.3 初始化cloudema-manager表的设置

mysql 授权用户处理:
mysql -uroot -p123456

---- 先在mysql创建用户名(temp)、密码(temp)
grant all privileges on *.* to ‘temp‘@‘%‘ identified by ‘temp‘ with grant option;

grant all privileges on *.* to ‘scm‘@‘%‘ identified by ‘scm‘ with grant option;

grant all privileges on *.* to ‘temp‘@‘master.hadoop.com‘ identified by ‘temp‘ with grant option;

flush privileges;

2.4 执行cloudera-manager创表脚本

  拷贝jdbc 到 java的目录
  tar -zxvf mysql-connector-java-5.1.42.tar.gz
  cd mysql-connector-java-5.1.42
  cp mysql-connector-java-5.1.42-bin.jar  /usr/share/java/
  cd /usr/share/java/
  mv mysql-connector-java-5.1.42-bin.jar mysql-connector-java.jar 

  脚本:scm_prepare_database.sh

 /opt/cloudera-manager/cm-5.3.6/share/cmf/schema/scm_prepare_database.sh mysql -h node01.yangyang.com -utemp -ptemp --scm-host node01.yangyang.com scm scm scm
 在mysql 中生成数据表scm

2.5 制作cdh 的本地源

1. cloudera-manager-server 节点:

mkdir -p /opt/cloudera/parcel-repo
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/
mkdir -p /opt/cloudera/parcels
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/

2. cloudera-manager-agent 节点:(所有节点)

mkdir -p /opt/cloudera/parcels

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/

3. 上传文件
CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.parcel 与 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 (把这个末尾的1去掉) 文件到 /opt/cloudera/parcel-repo

mv CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/

2.6 启动CM-server与agent-server

master.hadoop.com 主机

cd /opt/cloudera-manager/cm-5.3.6/etc/init.d
./cloudera-scm-server start 

查看启动日志

查看启动结果:
        需要通过查看server的启动日志文件
        /opt/cloudera-manager/cm-5.3.6/log/cloudera-scm-server
    tail -f cloudera-scm-server.log

    看到jetty 表示启动成功

查看端口号:
netstat -nultp 

看到 7180 表示启动成功


2.7 打开界面进行安装CM 组建

http://master.hadoop.com:7180

用户名: admin 密码:admin

选择免费版本

下一步

启动master.slave1与slave2 节点的agent

master:

cd /opt/cloudera-manager/cm-5.3.6/etc/init.d
./cloudera-scm-agent start

slave1:
cd /opt/cloudera-manager/cm-5.3.6/etc/init.d
./cloudera-scm-agent start

slave2:
cd /opt/cloudera-manager/cm-5.3.6/etc/init.d
./cloudera-scm-agent start

点击:管理的主机

下一步:

下一步:

下一步:

下一步:

在三台机上面执行:
echo "0" > /proc/sys/vm/swappiness
cat /proc/sys/vm/swappiness
sysctl -p
echo "never" > /sys/kernel/mm/redhat_transparent_hugepage/defrag
vim /etc/rc.d/rc.local
在最后加上:
echo "never" > /sys/kernel/mm/redhat_transparent_hugepage/defrag

---

然后从新运行处理

下一步:

下一步:选择自定义安装:
安装一个hdfs

分配角色

下一步:

点击完成即可。
配置服务器组建,根据配置增加服务

原文地址:http://blog.51cto.com/flyfish225/2096443

时间: 2024-10-10 09:54:18

大数据平台cdh5.3.x 的安装配置的相关文章

大数据平台CDH5.14.2 的安装配置

大数据平台CDH5.14.2 的安装配置 标签(空格分隔): 大数据平台构建 一:系统环境初始化 二:安装CDH5.14.2 平台 三:分配主机与分配角色 一: 系统环境初始化 1.1: 系统环境介绍 系统: CentOS7.5X64 cat /etc/hosts --- 172.17.100.11 node-01.flyfish 172.17.100.12 node-02.flyfish 172.17.100.13 node-03.flyfish 172.17.100.14 node-04.f

大数据平台一键安装OS【定制化OS镜像制作】

 定制化 大数据平台一键安装OS 大数据平台一键安装OS系列 大数据平台一键安装OS[搭建脚本篇] 定制化OS镜像制作 1.操作环境 操作环境:VMware Workstarion 9 and vSphere client 系统:CentOS -6.8-x86_64 工具:gconf-editor anaconda repodata createrepo mkisofs rsync 2.主要思路 定制化是通过kickstart脚本来实现的,linux系统安装完毕后在root目录下会生成anaco

大数据平台一键安装OS【搭建脚本篇】

定制化大数据平台一键安装OS 大数据平台一键安装OS系列 大数据平台一键安装OS[定制化OS镜像制作] 搭建脚本篇 脚本命名随便,只要能看懂就行 镜像包说明 os1.1.iso 用于安装服务端和客户端操作系统 hdp.iso 用于安装hdp服务 1.架构图: 服务端 客户端 2.原理分析 安装系统-安装本地yum源-安装http源-安装并配置ntp服务-配置秘钥-安装jdk-安装mysql-编译安装ambari平台 3.服务端脚本分析 (1)create_local_yum.sh #安装本地yu

大数据平台HDP-2.6.4安装与配置

大数据平台HDP-2.6.4 安装 与配置 标签(空格分隔): 大数据平台构建 一: 关于HDP的介绍 二: 系统环境介绍 三: 系统环境初始化 四: 安装HDP-2.6.4平台 五: 启用NameNode HA 与 YARN HA 一:关于HDP的介绍 1.1:hdp 是什么 HDP全称叫做Hortonworks Data Platform. Hortonworks数据平台是一款基于Apache Hadoop的是开源数据平台,提供大数据云存储,大数据处理和分析等服务.该平台是专门用来应对多来源

大数据平台CDH6.1.0 安装配置

大数据平台 CDH6.1.0 安装配置 标签(空格分隔): 大数据平台构建 一: 关于CDH6.1.0 的介绍 二: 系统环境初始化 三: 安装CDH6.1.0所需环境 四: 配置CDH6.1.0的cloudera-manager安装 一:关于CDH6.1.0 的介绍 Cloudera在前天12月19日,对外宣布正式发布Cloudera Enterprise 6.1包含大数据生态版本如下: 1.组件版本:Kafka 2.0, Spark 2.4, HBase 2.1.1, Accumulo 1.

Cloudera Manager大数据平台搭建

在企业里快速搭建大数据平台除了Ambria外还可以用Cloudera Manager,这两种工具相对于纯手工搭建确实便捷很多,但是有利也有弊,相对于新手来说就不便于掌握内部原理,不好排错等,而纯手工搭建,出错较多,不容易成功. 一. 规划:192.168.3.201 server/agent mysql 192.168.3.202 agent namenode 192.168.3.203 agent namenode(备) resourcemanager192.168.3.204 agent r

大数据平台CDH搭建学习(5.10.0)

又是一个周末,本来是已经打开wegame,更新一下许久未碰的lol,后来实在等不下去了,还是想想写写博客,正好最近也在学习CDH:刚刚就像女生买东西一样,毫不犹豫地买了3个云主机,好了,废话不多说,下面我们正式开始CDH搭建大数据平台. 一.Hadoop是什么? Hadoop是一个分布式系统架构,由Apache基金会开发.用户可以在不理解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力高速运算和存储. 不足之处:①版本管理混乱 ②部署过程繁琐,升级过程复杂 ③兼容性差 ④安全性低 二.

ambari 搭建hadoop大数据平台系列4-配置ambari-server

ambari 搭建hadoop大数据平台系列4-配置ambari-server,分为三部分: 官网:  https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/download_the_ambari_repo_lnx7.html 安装ambari-server  配置ambari-server  命令;ambari-server setup 启动ambari-server 命令

Spark大型项目实战:电商用户行为分析大数据平台

本项目主要讲解了一套应用于互联网电商企业中,使用Java.Spark等技术开发的大数据统计分析平台,对电商网站的各种用户行为(访问行为.页面跳转行为.购物行为.广告点击行为等)进行复杂的分析.用统计分析出来的数据,辅助公司中的PM(产品经理).数据分析师以及管理人员分析现有产品的情况,并根据用户行为分析结果持续改进产品的设计,以及调整公司的战略和业务.最终达到用大数据技术来帮助提升公司的业绩.营业额以及市场占有率的目标. 1.课程研发环境 开发工具: Eclipse Linux:CentOS 6