Spark ThriftServer使用的大坑

当用beeline连接default后,通过use xxx切换到其他数据库,再退出,

再次使用beeline -u jdbc:hive2://hadoop000:10000/default -n spark连接到default,此时后台连接的其实还是xxx

测试步骤:

1、beeline -u jdbc:hive2://hadoop000:10000/default -n spark

2、create database demo;

3、use demo;

4、退出beeline

5、beeline -u jdbc:hive2://hadoop000:10000/default -n spark

控制台的日志信息显示的是:Connecting to jdbc:hive2://hadoop000:10000/default

其实真正连接的还是demo数据库,通过如下步骤测试:

select * from xxx; #xxx表是default库的

ERROR metadata.Hive: NoSuchObjectException(message:demo.xxx table not found)

该问题郭老板已经修复,不过暂时还没合并到master中去,在公司发布包已有。

时间: 2024-08-02 22:52:43

Spark ThriftServer使用的大坑的相关文章

spark thriftserver运维

spark thriftserver运维: 在root@spark_master_machine机器上 启动 thriftserver======================================================================================================================================================================== /root/cdh/spar

【自动化】基于Spark streaming的SQL服务实时自动化运维

设计背景 spark thriftserver目前线上有10个实例,以往通过监控端口存活的方式很不准确,当出故障时进程不退出情况很多,而手动去查看日志再重启处理服务这个过程很低效,故设计利用Spark streaming去实时获取spark thriftserver的log,通过log判断服务是否停止服务,从而进行对应的自动重启处理,该方案能达到秒级 7 * 24h不间断监控及维护服务. 设计架构 在需要检测的spark thriftserver服务节点上部署flume agent来监控日志流

spark sql 的metastore 对接 postgresql

本教程记录 spark 1.3.1 版本的thriftserver 的metastore 对接 postgresql postgresql 的编译,参考:http://www.cnblogs.com/chenfool/p/4530925.html 一 启动postgresql 服务 1 首先需要将postgresql 的lib 加载到 LD_LIBRARY_PATH 环境变量中 export LD_LIBRARY_PATH=/opt/sequoiadb/lib:${LD_LIBRARY_PATH

Hive On Spark hiveserver2方式使用

启动hiveserver2: hiveserver2 --hiveconf hive.execution.engine=spark spark.master=yarn 使用beeline连接hiveserver2: beeline -u jdbc:hive2://hadoop000:10000 -n spark 注意:每个beeline对应一个SparkContext,而在Spark thriftserver中,多个beeline共享一个SparkContext 可以通过YARN监控页面观察到:

spark动态资源(executor)分配

spark动态资源调整其实也就是说的executor数目支持动态增减,动态增减是根据spark应用的实际负载情况来决定. 开启动态资源调整需要(on yarn情况下) 1.将spark.dynamicAllocation.enabled设置为true.意思就是启动动态资源功能 2.将spark.shuffle.service.enabled设置为true. 在每个nodeManager上设置外部shuffle服务 2.1 将spark-<version>-yarn-shuffle.jar拷贝到

Hadoop2.6 HA + spark1.6完整搭建

一.安装环境变量: yum install gcc yum install gcc-c++ yum install make yum install autoconfautomake libtool cmake yum install ncurses-devel yum install openssl-devel yum install git git-svn git-email git-gui gitk 安装protoc(需用root用户) 1 tar -xvf protobuf-2.5.0.

Hiveserver2 OOM问题解法

数据平台做一些计算需要通过hive jdbc方式连到hiveserver2执行job,但是hiveserver 正常运行一段时间后,总是会报如下OOM: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 Hive history file=/tmp/work/hive_job_log_ce580f37-05ff-4ca6-b4c8-bb4337e0ed47_1912327686.txt Total MapReduce jobs = 1 Launching

用户画像的技术选型与架构实现

这里讲解下用户画像的技术架构和整体实现,那么就从数据整理.数据平台.面向应用三个方面来讨论一个架构的实现(个人见解). 数据整理: 1.数据指标的的梳理来源于各个系统日常积累的日志记录系统,通过sqoop导入hdfs,也可以用代码来实现,比如spark的jdbc连接传统数据库进行数据的cache.还有一种方式,可以通过将数据写入本地文件,然后通过sparksql的load或者hive的export等方式导入HDFS. 2.通过hive编写UDF 或者hiveql 根据业务逻辑拼接ETL,使用户对

大数据精英实战项目班-Hadoop-Spark-真实企业项目

2018最新最全大数据技术视频,项目视频.整套视频,非那种杂七杂八自己拼凑的,内容如下,需要的联系QQ:3164282908(加Q注明大数据) 更有海量大数据技术视频.大数据项目视频,机器学习深度学习技术视频.项目视频.Python编程视频.Oracle数据库视频.Java培训视频高级架构师视频等等等. ├----------01-大数据Java基础------------- │├java第01天 ││├java第01天-01.类型转换.avi ││├java第01天-02.归档分析与实现.av