cdh5.15集群添加spark2.3服务(parcels安装)

背景:

机器系统:redhat7.3;已经配置了http服务

集群在安装的时候没有启动spark服务,因为cdh5.15自带的spark不是2.0,所以直接进行spark2.3的安装

参考文档:https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

一、下载:(注意版本对应)

1.准备csd文件

路径http://archive.cloudera.com/spark2/csd/

2.准备parcels文件

路径http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera3/

二、准备:

3.将csd文件放在 分发目录中(默认/opt/cloudera/csd目录,每个节点都要!!

注:要保证集群的本地描述符存储库路径是/opt/cloudera/csd 
查看方式:CM主界面管理–>设置–>类别(本地描述符存储库路径)

4.将parcel文件放置在/var/www/html/spark2/parcels/latest目录下,且保证http能够访问(因为我这里的/var/www/html目录存储不够了,所以我做了软连接)

5.重启cm server

三、安装parcels 
1、主机–>parcels–>配置–>填写url–>检查新的parcel 
2、下载–>分配—>激活

四、添加服务 
1、点击集群按钮旁的添加服务 
2、选择spark2 –>继续 
3、选择依赖 
4、角色分配(Gateway所有主机都要安装) 
5、启动

五、安装jdk1.8和scalar

原文地址:https://www.cnblogs.com/students/p/9948180.html

时间: 2024-11-11 06:53:30

cdh5.15集群添加spark2.3服务(parcels安装)的相关文章

0110-如何给Kerberos环境下的CDH集群添加Gateway节点

Fayson的github: https://github.com/fayson/cdhproject 推荐关注微信公众号:"Hadoop实操",ID:gh_c4c535955d0f,或者扫描文末二维码. 1.文档编写目的 Gateway节点又称为客户端节点,通常用作访问Hadoop集群的接口机.它主要会部署一些客户端的配置,脚本命令,比如HDFS的core-site.xml,hdfs-site.xml以及hadoop的操作命令. 如果你使用的是Apache Hadoop,你只需要将h

为CDH 5.7集群添加Kerberos身份验证及Sentry权限控制

4. 为CDH 5集群添加Kerberos身份验证4.1 安装sentry1.点击"操作","添加服务":2.选择sentry,并"继续": 3.选择一组依赖关系 4.确认新服务的主机分配 5.配置存储数据库:在mysql中创建对应用户和数据库: mysql>create database sentry default character set utf8 collate utf8_general_ci; mysql>grant al

Linux集群配置ntp时间同步服务

集群中时间不同步有可能会让大数据的应用程序运行混乱,造成不可预知的问题,比如Hbase,当时间差别过大时就会挂掉,所以在大数据集群中,ntp服务,应该作为一种基础的服务,以下在演示在CentOS 7.2集群上配置ntp服务的过程 首先检查系统中是否安装ntp包: rpm -q ntp 我这里是只是基础服务器操作系统,所以没有安装ntp服务 然后,执行命令在线安装ntp: yum -y install ntp 安装成功之后,再次执行 rpm -q ntp 可以看到对应的包: 这个时候可以使用命令查

Kafka:ZK+Kafka+Spark Streaming集群环境搭建(三)安装spark2.2.1

如何配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.> 如何安装hadoop2.9.0请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二)安装hadoop2.9.0> 安装spark的服务器: 192.168.0.120 master 192.168.0.121 slave1 192.168.0.122 slave

【ceph故障排查】ceph集群添加了一个osd之后,该osd的状态始终为down

背景 ceph集群添加了一个osd之后,该osd的状态始终为down. 错误提示 状态查看如下 1.查看osd tree [[email protected] Asia]# ceph osd tree ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 0.05388 root default -2 0.01469 host node1 0 0.00490 osd.0 up 1.00000 1.00000 1 0.00490 osd.

8分钟学会Consul集群搭建及微服务概念

原文:8分钟学会Consul集群搭建及微服务概念 Consul介绍: Consul 是由 HashiCorp 公司推出的开源软件,用于实现分布式系统的服务发现与配置.与其他分布式服务注册与发现的方案,Consul 的方案更“一站式”,内置了服务注册与发现框 架.分布一致性协议实现.健康检查.Key/Value 存储.多数据中心方案,不再需要依赖其他工具(比如 ZooKeeper 等),使用起来也较为简单. Consul的如何实现的? Consul 用 Golang 实现,因此具有天然可移植性(支

CDH集群添加节点服务器步骤

1.解压安装包到/opt目录下 tar -zxvf cloudera--el6-cm5.7.1_x86_64.tar.gz -C /opt/ 2.修改agent下的config.ini文件,将server_host设置为server所在服务器主机名 vim /opt/cm-5.7.1/etc/cloudera-scm-agent/config.ini 3.创建cloudera-scm用户 useradd --system --home=/opt/cm-5.7.1/run/cloudera-scm

向Kubernetes集群添加/删除Node

向Kubernetes集群添加/移除Node Minion Node操作前准备 #关闭防火墙 systemctl stop firewalld #禁止防火墙开机启动 systemctl disable firewalld #检查selinux getenforce Disabled #端口检查 Kubernetes集群中添加Node在kubeadm init初始化操作完成时,系统最后给出了将节点加入集群的命令: kubeadm join 10.0.0.39:6443 --token 4g0p8w

集群,分布式,微服务概念和区别理解

集群,分布式,微服务概念和区别理解 2018年02月04日 01:19:12 竹上 阅读数:18684 概念: 集群是个物理形态,分布式是个工作方式. 分布式:一个业务分拆多个子业务,部署在不同的服务器上 集群:同一个业务,部署在多个服务器上 1:分布式是指将不同的业务分布在不同的地方.而集群指的是将几台服务器集中在一起,实现同一业务. 分布式中的每一个节点,都可以做集群.而集群并不一定就是分布式的. 举例:就比如新浪网,访问的人多了,他可以做一个群集,前面放一个响应服务器,后面几台服务器完成同