CDH5.13.3安装手册

Server端需要打开端口 7180 7182

选址正确的版本,cdh版本不要高于cm版本

CM下载地址

http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz

CDH下载地址

http://archive.cloudera.com/cdh5/parcels/5.13.3/CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel

http://archive.cloudera.com/cdh5/parcels/5.13.3/CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha1

http://archive.cloudera.com/cdh5/parcels/5.13.3/manifest.json

二 安装JAVA环境

三 关闭防火墙以及selinux

四 配置NTP服务

五 设置swap空间

(Cloudera建议将交换空间设置为0,过多的交换空间会引起GC耗时的激增,所以还是关闭的为好。)

执行命令 (所有节点)

echo "vm.swappiness = 0" >> /etc/sysctl.conf

六 执行命令 (所有节点)

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

七 安装mysql

安装文件下载目录:/opt/software/mysql

数据库保存位置:/opt/software/mysql/datamysql

日志保存位置:/opt/software/mysql/logmysql

Mysql 下载 https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.25-el7-x86_64.tar

解压缩到/usr/local/ 目录下

tar -xf mysql-5.7.25-el7-x86_64.tar  /usr/local/

cd /usr/local

tar -zxvf ./mysql-5.7.25-el7-x86_64.tar.gz

mv ./mysql-5.7.25-el7-x86_64 ./mysql

7.2 创建mysql用户用户组及目录

Groupadd mysql

useradd -r -s /sbin/nologin -g mysql mysql -d /usr/local/mysql

该用户禁止shell登录,同时修改用户目录权限

cd /usr/local/mysql

chown -R mysql

chgrp -R mysql .

chown -R mysql:mysql /opt/software/mysql/datamysql

chown -R mysql:mysql /opt/software/mysql/logmysql

7.3 初始化MYSQL

/usr/local/mysql/bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/opt/software/mysql/datamysql

有报错

这是因为缺少安装包libaio和libaio-devel导致的不用紧张yum来帮忙

yum install libaio*

再次报错

这是却少numactl这个时候如果是Centos就yum -y install numactl就可以解决这个问题了.

安装成功 初始 密码:r/TYl;FqW2Ll

再次执行

/usr/local/mysql/bin/mysql_ssl_rsa_setup  --datadir=/opt/software/mysql/datamysql

有报错先跳过

修改/etc/my.cnf

[client]

port = 3306

socket = /usr/local/mysql/mysql.sock

[mysql]

no-auto-rehash

default-character-set=utf8

[mysqld]

socket = /usr/local/mysql/mysql.sock

basedir = /usr/local/mysql

max_allowed_packet = 64M

datadir = /data/mysql

explicit_defaults_for_timestamp = true

skip-ssl

secure-file-priv = NULL

lower_case_table_names = 1

back_log = 300

max_connections = 3000

max_connect_errors = 100

table_open_cache = 4096

external-locking = FALSE

max_allowed_packet = 64M

sort_buffer_size = 32M

join_buffer_size = 32M

thread_cache_size = 16

query_cache_size = 128M

query_cache_limit = 4M

thread_stack = 512K

transaction_isolation = REPEATABLE-READ

tmp_table_size = 128M

max_heap_table_size = 128M

character-set-server=utf8

long_query_time = 6

slow_query_log_file=/opt/software/mysql/logmysql/slow.log

[mysqld_safe]

open-files-limit = 8192

sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

拷贝修改启动文件

cp /usr/local/mysql/support-files/mysql.server  /etc/init.d/mysql

修改

7.4 运行mysql

启动mysql /etc/init.d/mysql restart

有报错可以看

/opt/software/mysql/datamysql/presto4.err

 

/usr/local/mysql/bin/mysql --user=root -p

r/TYl;FqW2Ll

7.5

依次输入以下命令:

mysql> set password=password(‘N$nIpms1’);  --修改密码

mysql>grant all privileges on *.* to ‘root‘@‘%‘ identified by ‘N$nIpms1‘;--允许远程访问

mysql> flush privileges;--刷新授权表

创建CM用的数据库:

--hive数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci ;

--集群监控数据库

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci ;

--hue数据库

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

-- oozie数据库

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

7.5 配置文档以便启动

Vim /etc/profile

export PATH=/usr/local/mysql/bin:$PATH

Source /etc/profile

systemctl  enable  mysql

chmod 755 /etc/init.d/mysql

八  安装Cloudera Manager Server和 Agent

cd /opt/cdh

tar -zxvf cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz

这里开始我们的cm需要与mysql进行交互,所以首先需要去MySql的官网下载JDBC驱动,http://dev.mysql.com/downloads/connector/j/,解压后找到mysql-connector-java-5.1.**-bin.jar,放到/opt/cm-5.12.1/share/cmf/lib/中,不多赘述。

mv ./mysql-connector-java-5.1.40-bin.jar  /opt/cdh/cm-5.13.3/share/cmf/lib/

8.2 在主节点初始化CM5的数据库:

/opt/cdh/cm-5.13.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p’N$nIpms1’ --scm-host localhost scm scm scm

有报错 注意引号是中文得引号还是英文得

修改文件/opt/cdh/cm-5.13.3/etc/cloudera-scm-agent/config.ini

Server和server也要做免密

Cd /opt/cdh

Tar -zcvf cm-5.13.3.gz cm-5.13.3

把包文件包拷贝到其他两台机器

Scp ./cm-5.13.3.gz presto2:/opt/cdh

Scp ./cm-5.13.3.gz presto3:/opt/cdh

解压

然后新增用户

useradd --system --home=/opt/cdh/cm-5.13.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

修改文件属性

chown -R  cloudera-scm:cloudera-scm /opt/cdh/

8.3 准备Parcels,用以安装CDH5

将我们提前下载好的Parcels文件上传到主节点的/opt/cdh/cloudera/parcel-repo/目录中(如果没有parcel-repo需要手动创建,这里不需要分发到所有节点)。

注意!!最后一定要将CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1,重命名为CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha,去掉末尾的1,否则系统会重新下载CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel文件,也就不是纯离线安装了。

Cd /opt/cdh

cp ./CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel* /opt/cdh/cloudera/parcel-repo/

cp ./manifest.json  /opt/cdh/cloudera/parcel-repo/

Cd /opt/cdh/cloudera/parcel-repo/

mv CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel

8.4启动服务端客户端

通过/opt/cdh/cm-5.13.3/etc/init.d/cloudera-scm-server start启动服务端。

通过/opt/cdh/cm-5.13.3/etc/init.d/cloudera-scm-agent start启动Agent服务(所有Agent节点)。

以上我们是通过脚本来启动的,所以需要停止服务的时候,只需要把以上的start参数改为stop就可以啦。

service服务启动需要几分钟,取决于服务器的性能,此时我们可以使用

netstat -apn|grep 7180

启动成功但是又2个报错

mkdir /var/lib/cloudera-scm-server

chown -R cloudera-scm.cloudera-scm /var/lib/cloudera-scm-server

重启

正常

启动agent

/opt/cdh/cm-5.13.3/etc/init.d/cloudera-scm-agent start

有报错

打开7180 7182端口

8.5 页面配置

账号密码默认为admin

如果前面配置正确,这里应该有三台设备

对于图上的报错,是因为没有把parcels文件放在默认的目录下

点击更多选项

还是不行,直接重启server搞定(貌似必须重启)

集群安装

安装HIVE有报错

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.zip

unzip mysql-connector-java-5.1.46.zip

Cp ./mysql-connector-java-5.1.46.jar  /opt/cloudera/parcels/CDH-5.13.3-1.cdh5.13.3.p0.2/lib/hive/lib

注意一定还要拷贝到/usr/share/hive/mysql-connector-java.jar 下面,需要改名(去掉版本后缀)

Cp ./mysql-connector-java-5.1.46.jar  /usr/share/hive/mysql-connector-java.jar

Oozie也报错

Cp mysql-connector-java.jar  /var/log/oozie  这里位置不同。要注意

Hue报错

ImportError: libxslt.so.1: cannot open shared object file: No such file or directory

yum install libxslt

页面发现 报错

‘No portmap or rpcbind service is running on this host. Please start portmap or rpcbind service before attempting to start the NFS Gateway role on this host.‘

yum install rpcbind.x86_64

启动

systemctl start rpcbind

集群配置

原文地址:https://www.cnblogs.com/ZFBG/p/11056528.html

时间: 2024-07-31 15:27:47

CDH5.13.3安装手册的相关文章

Oracle 11g R2安装手册(图文教程)For Windows

1.Oracle 11g R2安装手册(图文教程)For Windows 1.下载Oracle 11g R2 for Windows版本,下载地址如下 官方网站: http://download.oracle.com/otn/nt/oracle11g/112010/win32_11gR2_database_1of2.zip http://download.oracle.com/otn/nt/oracle11g/112010/win32_11gR2_database_2of2.zip 2.解压两个

Linux系统VMware-Tools安装手册

VMware-Tools安装手册 一.安装概述: 在Linux操作系统中安装VMware-Tools是一个为后续的操作提供辅助性的帮助,通过成功挂载安装这个以后,用户就可以直接从Windows桌面拖拽到Linux系统中去,这样也比较节省时间.同时安装好以后,用户就可以直接设置好Windows与Linux操作系统的"文件共享",一个文件夹里面的内容供两个操作系统使用. 本次安装是作者本人摸索安装使用的,仅供初学者参考,如有不妥的地方可以留言.谢谢! 二.安装步骤: 1.启动好自己安装好的

nginx+php 安装手册

1: wget http://ftp.gnu.org/pub/gnu/libiconv/libiconv-1.13.1.tar.gz tar -zxvf libiconv-1.13.1.tar.gzcd libiconv-1.13.1./configure --prefix=/usr/local/libiconvmakemake install 2.获取安装文件: http://www.php.net/downloads.php php-5.4.tar.gz(版本最新)3 ./configure

Oracle 11g R2安装手册 For Win7 (图文教程)

一.Oracle 下载 注意Oracle分成两个文件,下载完后,将两个文件解压到同一目录下即可. 路径名称中,最好不要出现中文,也不要出现空格等不规则字符. 官方下地址: http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html以下两网址来源此官方下载页网. win 32位操作系统 下载地址: http://download.oracle.com/otn/nt/oracle11g/1120

Apache-openmeetings2.x-3.x的安装手册

最近在研究了一下openmeetings  结果 太悲催了 提供的google链接被封掉了,最没办法是用代理找找资料吧.看了一下结果 好家伙3.0版本之前还是有一些资料的 但是3.0版本以后的资料就太少了  官网提供的也不是很详细.下面是翻译的一篇官方的安装手册 希望能够给学习或者开发openmeetings的爱好者给予帮助 由于不是职业翻译 有些地方可能不是翻译的很准确 希望大家多多指出 让我们能共同解读一篇好的文章. Apache服务器上安装Windows OpenMeetings     

友推-为应用集成分享功能安装手册

友推SDK是一款是面向移动应用的SDK组件,提供给开发者集成使用. 通过友推,开发者几行代码就可以为应用添加分享送积分功能,并提供详尽的统计报表,除了本身具备的分享功能 外,开发者也可将积分功能单独集成在已有分享组件的app上,让您的应用更好地通过用户的主动推荐触达新用户. 下载地址:http://youtui.mobi/download/index.htm 开发文档:http://youtui.mobi/doc/index.htm 功能: 1.支持微信,QQ,新浪微博,QQ空间,短信,邮件等多

CentOS 5.8上glusterfs 3.5.3 安装手册

CentOS5.8上glusterfs 3.5.3 安装手册       版本历史 时间 版本 说明 编写者 2014-11-19 1.1 CentOS 5上glusterfs安装手册 csc 武汉*****有限公司 前提:centos 5.8 标准系统安装,必须安装开发包和开发库 如果没有bison flex 则需要安装. yum install bison flex 一.安装篇 1. 安装python2.6.5 wgethttp://www.python.org/ftp/python/2.6

1.Storm 安装手册和提交Topology

目录 (一)搭建单机storm集群 一.下载所需要的资源 二.资源解压 三.安装JDK 四.安装依赖的库文件 五.安装ZMQ 六.安装jzmq 七.启动zookeeper 八.启动storm 九.在UI端访问 十.编译storm-start jar包 十一.storm-starter源码导出 十二.提交Topology (二)搭建多机storm集群 一.基本设置 二.修改配置文件 三.启动集群 四.在UI端口访问 五.提交Topology 附一 Storm 安装手册 (一)搭建单机storm集群

OpenStack手动安装手册即错误排查(Icehouse)

OpenStack手动安装手册即错误排查(Icehouse) 1 Keystone手动安装教程 1.1 Keystone安装前的准备工作 1.1.1环境准备 本实验采用Virtualbox5.2.12版本为虚拟化平台,模拟相应的物理网络和物理服务器,如果需要部署到真实的物理环境,此步骤可以直接替换为在物理机上相应的配置,其原理相同. Virtualbox下载地址:https://www.virtualbox.org/wiki/Downloads 1.1.2虚拟网络 需要新建3个虚拟网络 Net0