spark thriftserver运维

spark thriftserver运维:

在root@spark_master_machine机器上

启动 thriftserver========================================================================================================================================================================

/root/cdh/spark/spark-1.4.1-bin-hadoop2.6/sbin/start-thriftserver.sh \

--hiveconf hive.server2.thrift.port=10000 \

--hiveconf hive.server2.thrift.bind.host=spark_master_machine  \

--master  spark://spark_master_machine:7077  --executor-memory 24g  --executor-cores 8  --total-executor-cores 136 --driver-memory 10g --driver-java-options -XX:MaxPermSize=2g

停止 thriftserver========================================================================================================================================================================

/root/cdh/spark/spark-1.4.1-bin-hadoop2.6/sbin/stop-thriftserver.sh

note:

1.为了spark thrift server指定比较多的core:配置了spark-defaults.conf里spark.driver.cores

通过./sbin/start-thriftserver.sh -–help 可以用来查看可以使用哪些参数,没有发现driver-cores的指定方式,为了指定thrift server可以使用多少个core,在spark-defaults.conf中指定(不要在这台机器提交spark 任务,去脚本机器提交任务)

#

spark-defaults.conf配置如下:

spark.master                    spark://spark_master_machine:7077

spark.eventLog.enabled           true

spark.eventLog.dir               hdfs:/namenodewithoutport/user/root/kk

spark.driver.cores               10

#

2.指定total-executor-cores来限制ExecutorID产生的数量。

如果--executor-cores 6 --total-executor-cores 102 --executor-memory 16g,

每个worker如果还闲置6core,以及16内存, 那么Executor产生两个,导致使用掉worker机器所分配的最大内存(这里分配了32g),也就会产生34个Executor

3.(防止beeline报错,MaxPermSize不够,增加配置--driver-java-options -XX:MaxPermSize=2g,配置了这个,也只是thriff server这个spark driver program MaxPermSize变化了,这个app的executor还是-XX:MaxPermSize=128m)

时间: 2024-08-02 22:52:44

spark thriftserver运维的相关文章

运维工程师必须掌握的基础技能和职业前景

运维工程师必须掌握的基础技能有哪些 运维工程师(Operations),负责维护并确保整个服务的高可用性,同时不断优化系统架构提升部署效率.优化资源利用率提高整体的ROI.这是百度百科对运维工程师的定义.网上有好多大佬对这个问题做了很详细的阐述,这里我简单说一下自己工作接触到的一些技能和工具. 范围:linux运维 网络方面 我感觉网络是作为IT工作人员的基础中的基础,网络的使用贯穿了我们平时工作中,只是不是特别从事网络运维的工程师,很少下精力去研究它.由于我本身就是华为HCNP和华三H3CSE

【自动化】基于Spark streaming的SQL服务实时自动化运维

设计背景 spark thriftserver目前线上有10个实例,以往通过监控端口存活的方式很不准确,当出故障时进程不退出情况很多,而手动去查看日志再重启处理服务这个过程很低效,故设计利用Spark streaming去实时获取spark thriftserver的log,通过log判断服务是否停止服务,从而进行对应的自动重启处理,该方案能达到秒级 7 * 24h不间断监控及维护服务. 设计架构 在需要检测的spark thriftserver服务节点上部署flume agent来监控日志流

运维角度浅谈:MySQL数据库优化

日志君导读: 一个成熟的数据库架构并不是一开始设计就具备高可用.高伸缩等特性的,它是随着用户量的增加,基础架构才逐渐完善. 作者:zhenliang8,本文转自51CTO博客,点击原文阅读查看网页版文章. 本博文主要谈MySQL数据库发展周期中所面临的问题及优化方案,暂且抛开前端应用不说,大致分为以下五个阶段: 1.数据库表设计 项目立项后,开发部根据产品部需求开发项目,开发工程师工作其中一部分就是对表结构设计.对于数据库来说,这点很重要,如果设计不当,会直接影响访问速度和用户体验.影响的因素很

Linux系统运维与架构设计

一 本章概览 介绍Linux系统运维与架构设计的方方面面 二 Linux基础入门 认识计算机核心硬件和服务器 Linux发展历史.系统组成.应用领域以及发行版 搭建运维环境:VMWareWorkStation.SecureCRT的使用 Linux系统的基本使用 Shell入门以及命令概述 三 Linux系统管理 文件目录管理 用户管理 权限管理 VIM编辑器的使用 文档压缩打包 程序包管理 网络管理 文件系统管理 内存管理 系统管理(监控.环境变量) 安全管理(selinux,iptables)

吉祥的运维工程师学习日记1 一名合格运维工程师的要求

运维是一个集多IT工种技能与一身的岗位,对系统->网络 ->存储->协议->需求->开发->测试->安全等各环节都需要了解一些,并且对于某些环节需熟悉甚至精通:作为一名合格的运维工程师,我认为要从这两方面说起,个人素质和个人技术. 个人素质方面: 1.沟通能力.团队协作:运维工作跨部门.跨工种工作很多,需善于沟通.并且团队协作能力要强:这是现代企业的基本素质要求. 2.工作中需胆大心细,特别对于运维这种新的工种,更需创新才能促进发展:心细,运维工程师是网站admi

高效运维11问 (有幸得与惠普HPE高级顾问一次交心)

个人介绍:屌丝男 工作里程:菊花五年运维工程师,管理过1.4W台服务器的屌丝装机工 工作心得:简单的事情简单做,莫要复杂化 座右铭:事无巨细 ,用心就好 有幸得与HP HPE高级的顾问镇祝华先生的一次交谈,下面记录一些交流心得 1.如果现在给你一个全新的用户环境,如何快速的构建运维体系,高效的运维管理? 公有云平台的核心属性是共享资源服务 1.1 快速构建运维体系1)建立运维规范 2)建立运维流程3)建立运维监控系统 (网络监控,硬件状态,业务状态,资源使用率等)4)建立CMDB系统    (纳

《系统运维全面解析》新华网副总裁作序,360、触控等多位总监经理推荐

<系 统 运 维 全 面 解 析>前言 执笔: 韩晓光 (QQ群:117174700) 本书初衷 有朋友问我系统运维是做什么的,是不是类似网管天天修电脑?对此问题,我一言难尽,其实运维工作涉及的东西很多.此时我便有一种冲动,去写一本关于系统运维的书,介绍一些事实真相. 翻 读<史记>让人感到历史的厚重,人类的历史就是不断认识自己,认识社会,认识这个世界的过程,人类在自导自演中创造了社会文明.但是,试想山间花果的荣 枯,若你看不见闻不到,则对你来说它们似乎不存在.当然,也正是历史学家

大型运维知识体系v2.0

转载请注明来自-运维社区https://www.unixhot.com/page/ops 运维知识体系-V2.0 By:2016年12月26日更新 运维架构层级/运维角度 内容描述/主要技术关键词 监控体系 安全体系 备份体系 自动化体系 云计算 客户端层 浏览器 Cookie.浏览器缓存协商(Last-Modified.Expires.Etag).组件分离.前端优化(提高浏览器并发数.避免静态资源Cookie上传).运维检测工具 舆论监控(第三方) 外部网络监控 APM 加速乐.牛盾.安全宝.

(转)运维角度浅谈MySQL数据库优化

转自:http://lizhenliang.blog.51cto.com/7876557/1657465 一个成熟的数据库架构并不是一开始设计就具备高可用.高伸缩等特性的,它是随着用户量的增加,基础架构才逐渐完善.这篇博文主要谈MySQL数据库发展周期中所面临的问题及优化方案,暂且抛开前端应用不说,大致分为以下五个阶段: 1.数据库表设计 项目立项后,开发部根据产品部需求开发项目,开发工程师工作其中一部分就是对表结构设计.对于数据库来说,这点很重要,如果设计不当,会直接影响访问速度和用户体验.影