cdh-5.10.0搭建安装

1.修改主机名为master, slave1, slave2

vim /etc/sysconfig/network

HOSTNAME = master

HOSTNAME = slave1

HOSTNAME = slave2

2.修改hosts文件(三个节点都要设置)

vim /etc/hosts

192.168.1.7 master

192.168.1.8 slave1

192.168.1.9 slave2

3.IP设置(三个节点都要设置)

DEVICE=eth0

HWADDR=4C:CC:6A:54:0B:D0

TYPE=Ethernet

UUID=0d5eac54-f26f-430e-8c7a-d2abea4df79e

ONBOOT=yes

NM_CONTROLLED=yes

BOOTPROTO=static

IPADDR=192.168.1.7

GATEWAY=192.168.1.1

NETMASK=255.255.255.0

DNS1=114.114.114.114

DNS2=8.8.8.8

4.Selinux(三台机器都要设置)

service iptables stop

禁用

sudo vim /etc/sysconfig/selinux

内容:

SELINUX=disabled

service iptables status

5.卸载与安装jdk(三台机器都要设置)

卸载:

sudo rpm -qa|grep java

sudo rpm -e --nodeps xxx yyy zzz

安装:

jdk-7u79-linux-x64.gz

tar zxf jdk-7u79-linux-x64.gz

修改配置

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_79

export JAVA_BIN=/usr/java/jdk1.7.0_79/bin

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME JAVA_BIN PATH CLASSPATH

初始化:

source /etc/profile

6.ssh免密码登录(三台机器都要设置)

ssh-keygen

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

去掉三行注释

vim /etc/ssh/sshd_config

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile  .ssh/authorized_keys

设置免密码

# cat ~/.ssh/id_rsa.pub | ssh master "cat - >> ~/.ssh/authorized_keys"

# cat ~/.ssh/id_rsa.pub | ssh slave1 "cat - >> ~/.ssh/authorized_keys"

# cat ~/.ssh/id_rsa.pub | ssh slave2 "cat - >> ~/.ssh/authorized_keys"

7.设置NTP服务

1)检查是否安装ntp服务器:rpm -q ntp

2)ntp安装

yum -y install ntp

service ntpd status

chkconfig ntpd on

安装完成后配置NTP服务为自启动:

chkconfig ntpd on

chkconfig ntpdate on

查看服务器自启动状态

chkconfig --list | grep ntp

ntpd   0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭

ntpdate   0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭

配置参数:

vim /etc/ntp.conf

restrict 192.168.1.7 mask 255.255.255.0 nomodify notrap

server 192.168.1.7 perfer

server  127.127.1.0     # local clock

fudge   127.127.1.0 stratum 10

注销:

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst

重启ntp

service ntpd restart

检查ntp

ntpstat

同步cmserver时间

ntpdate -u 192.168.1.7

8.搭建MySQL数据库

检查是否安装

rpm -qa | grep -i mysql

卸载

yum -y remove mysql-libs*

安装mysql

cd /usr/sg/mysql

rpm -ivh MySQL-server-5.6.29-1.el6.x86_64.rpm

rpm -ivh MySQL-devel-5.6.29-1.el6.x86_64.rpm

rpm -ivh MySQL-client-5.6.29-1.el6.x86_64.rpm

修改配置文件位置

cp /usr/share/mysql/my-default.cnf /etc/my.cnf

初始化mysql及设置密码

/usr/bin/mysql_install_db

启动

service mysql start

cat /root/.mysql_secret  #查看root账号密码

登陆

mysql -uroot –pqKTaFZnl

修改密码

SET PASSWORD = PASSWORD(‘root1234‘);

重新登陆

mysql -uroot -proot1234

创建数据库:

> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

> create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

> create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

> create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

设置远程登陆

grant all privileges on *.* to ‘root‘@‘%‘ identified by ‘root1234‘ with grant option;

生效

flush privileges;

9.下载安装包:

cm下载

https://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.10.0_x86_64.tar.gz

cdh下载

http://archive.cloudera.com/cdh5/parcels/5.10.0/CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel

http://archive.cloudera.com/cdh5/parcels/5.10.0/CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1

http://archive.cloudera.com/cdh5/parcels/5.10.0/manifest.json

10.安装cm

Master:

cp /usr/sg/cm/cloudera-manager-el6-cm5.10.0_x86_64.tar.gz /opt

tar zxf cloudera-manager-el6-cm5.10.0_x86_64.tar.gz

拷贝mysql的jdbc驱动包到/opt/cm-5.10.0/share/cmf/lib

所有节点创建Cloudera SCM User用户

useradd --system --home=/opt/cm-5.10.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

Master上初始化数据库

/opt/cm-5.10.0/share/cmf/schema/scm_prepare_database.sh mysql cm - -h192.168.1.7 -uroot -proot1234 --scm-host 192.168.1.7 scm scm scm

Master上修改Agent配置

vi /opt/cm-5.10.0/etc/cloudera-scm-agent/config.ini

修改server_host为master

同步Agent到其他节点

scp -r /opt/cm-5.10.0 [email protected]:/opt/ &

scp -r /opt/cm-5.10.0 [email protected]:/opt/ &

准备parcles(master)

mv CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel /opt/cloudera/parcel-repo/

mv CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1 /opt/cloudera/parcel-repo/

mv manifest.json /opt/cloudera/parcel-repo/

重命名sha文件(master)

mv CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1 CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha

启动master上的server

/opt/cm-5.10.0/etc/init.d/cloudera-scm-server start

设为开机启动 vi /etc/rc.local(master)

/opt/cm-5.10.0/etc/init.d/cloudera-scm-server start

Master,slave1,slave2启动agent

/opt/cm-5.10.0/etc/init.d/cloudera-scm-agent start

设为开机启动 vi /etc/rc.local(每台机)

/opt/cm-5.10.0/etc/init.d/cloudera-scm-agent start

访问web页面http://192.168.1.7:7180

默认用户名/密码: admin/admin

11.常见问题

(1)Cloudera 建议将 /proc/sys/vm/swappiness 设置为 10。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装,但可能会遇到问题,Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响:

解决:echo 10 > /proc/sys/vm/swappiness

(2)

已启用“透明大页面”,它可能会导致重大的性能问题。版本为“CentOS release 6.7 (Final)”且发行版为“2.6.32-573.el6.x86_64”的 Kernel 已将 enabled 设置为“[always] madvise never”,并将 defrag 设置为“[always] madvise never”。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”以禁用此设置,然后将同一命令添加到一个 init 脚本中,如 /etc/rc.local,这样当系统重启时就会予以设置。或者,升级到 RHEL 6.5 或更新版本,它们不存在此错误。将会影响到以下主机:

解决:

方法2:设置/etc/rc.local文件

[[email protected] ~]# vi /etc/rc.local
#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don‘t
# want to do the full Sys V style init stuff.

touch /var/lock/subsys/local

if test -f /sys/kernel/mm/redhat_transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
fi

使用上面的配置后必须重启操作系统才能生效,你也可以运行下面命令不用重启操作系统。

You must reboot your system for the setting to take effect, or run the following two echo lines to proceed with the install without rebooting:

[[email protected]~]#echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
[[email protected]~]#cat /sys/kernel/mm/redhat_transparent_hugepage/enabled
always madvise [never]
[[email protected] ~]#

Hive 缺失mysql驱动jar无法正常启动

Oozie缺失mysql驱动jar无法正常启动

将mysql-connector-java-5.1.36-bin.jar 拷贝到/var/lib/oozie

---恢复内容结束---

时间: 2024-10-07 15:05:58

cdh-5.10.0搭建安装的相关文章

centos7+cdh5.10.0搭建

一.选择环境: 1.说明 本次部署使用台机器,3台用于搭建CDH集群,1台为内部源.内部源机器是可以连接公网的,可以提前部署好内部源,本次部署涉及到的服务器的hosts配置如下: 192.168.10.114    sp-04 192.168.10.115    sp-05 192.168.10.116    sp-06 本次安装为cdh5.10.0 需要centos版本: Jdk版本:jdk-8u73-linux-x64.tar 参考地址:https://www.cloudera.com/do

Zend Studio 10.0.1安装及破解

1.安装,和普通的安装程序一样,没有什么技术含量! 2.主要是破解,需要在网上下载一个软件:"com.zend.php.core_10.1.0.201306250232.jar"的jar包,然后复制到plugins目录下即可成功破解: 3.然后再重新打开软件输入序列号,下面有四个序列号,输入任意一个即可: 3C086E8D6F2F483968B33586BDAAAA959B7E12290129D9BAD3308A2C5A03C3D34AFF2C483CFE5C059E70A5180CF

分享ArcGIS Server 10.0修复安装心得

最近,捣腾了一阵子在xp系统上安装ArcGIS Server10.0(下方均简称server),解决了一些初学者可能面临的problem,给大家贴出来, 希望能够给初学者一些有益的帮助. 我的系统环境: XP系统 已安装了VS2010(安装过了.net framework 4.0) 安装好了arcgis desktop 和engine以及AO sdk 同时,也安装了arcgis server 10.0(未正确安装,表现特征有:arcgis server菜单中没有arcgis server man

CDH5.10.0 离线安装(共3节点)

1.安装方式 CDH的离线部署安装,即Parcel包(推荐) 2.角色规划 三个节点对应的角色: 3.基本环境配置(在每个节点上都要配置) (1)关闭防火墙 #/etc/init.d/iptables stop # chkconfig --level 345 iptables off (2)关闭seliux # vim /etc/sysconfig/selinux SELINUX=disabled (3)ip和主机名对应 #vim /etc/hosts 172.16.101.54    sht-

VMware Workstation 10.0的安装和使用

1.VMware Workstation 10.0的下载和安装 注意:视频都是超清格式,请切换到超清观看 视频播放地址一:http://www.56.com/u16/v_MTMwNTA1NDEz.html/1030_wlun99_56474593.html 视频播放地址二:http://v.youku.com/v_show/id_XODMwNDUxOTE2.html 2.在VMware Workstation 10.0创建虚拟机 视频播放地址一:http://www.56.com/u38/v_M

window平台上的mysql(5.6.24)安装和navicat(10.0.11)安装

准备: 1.window电脑,我的是64位的 2.mysql的压缩包mysql-5.6.24-winx64.zip 3.navicat的压缩包,我的版本是10.0.11 mysql的安装 1.解压,把解压过后的文件夹放到你想放置的任何一个地方,我这里放在F盘,是:F:\mysql-5.6.24-winx64,注意,点击里面的mysql.exe是不能安装的: 2.配置环境变量,首先在系统变量中新建一个“MYSQL_HOME”的变量,值是我们上面的地址“F:\mysql-5.6.24-winx64”

request 10.0 模块安装

https://pypi.python.org/packages/49/6f/183063f01aae1e025cf0130772b55848750a2f3a89bfa11b385b35d7329d/requests-2.10.0.tar.gz#md5=a36f7a64600f1bfec4d55ae021d232ae解压 python setup.py install

在VMware 10.0上安装NetBSD 1.0

最近开始系统的学习计算机网络,买了被奉为经典中的经典<TCP/IP详解 卷2:实现>.不过这本书确实也有点过时了,讲解的是4.4BSD-Lite的代码,和当前BSD发布版的代码已经有很大差异了.根据在网络上搜索的结果,FreeBSD-2.0.NetBSD-1.0和BSD/OS 2.0都是基于4.4BSD-Lite的,但是BSD/OS在当时是商业版,现在也没有找到这个版本的源代码.FreeBSD的i386架构的源码,最接近的只有2.0.5版本的,2.0的不知道是没有,还是已经丢失了.比较了Fre

IIS 10.0 无法安装 URL rewrite重写模块 2.0

下载地址 https://www.iis.net/downloads/microsoft/url-rewrite 打开注册表编辑器,在HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\InetStp位置 把MajorVersion的值改为9之后,就可以安装了,安装完成之后,再把MajorVersion的值改回10,重启一下iis.