配置并启动spark的thriftserver网关

1、保证spark-sql已经使用mysql作为metadata存储介质

2、启动thrift网关

$SPARK_HOME/sbin/start-thriftserver.sh --driver-class-path
/usr/local/spark/spark-1.3.0-bin-hadoop2.3/lib/mysql-connector-java-5.1.6-bin.jar
--master spark://hd1:7077 --executor-memory 2g --total-executor-cores 10

3、确认是否正确

beeline

>!connect jdbc:hive2://hd1:10000

user:hadoop

password:******

show databases;

show tables;

如果能够看到和本地启动的spark-sql一样的结果,就是确认成功了。

时间: 2024-11-07 15:01:19

配置并启动spark的thriftserver网关的相关文章

Spark Standalone Mode 单机启动Spark -- 分布式计算系统spark学习(一)

spark是个啥? Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发. Spark和Hadoop有什么不同呢? Spark是基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法. Spark的适用场景 Spark是基于内存的迭代计算框架,适用于需要多

Ubuntu 16.04通过网络配置工具NetworkManager设置IP、网关、DNS和查看IP、网关、DNS

说明: 1.NetworkManager工具是Ubuntu桌面版的GUI设置工具. 2.这个工具推荐直接在GUI上操作,不建议用命令行进行管理,比如Wifi这些配置等. 3.当然,这个工具能带有命令行工具:nmcli,如果使用了NetworkManager进行配置网络,那么IP.网关.DNS都可以通过这个工具进行查询. 4.如果配置了命令行的网络设置,那么NetworkManager就会失效.参考:http://www.cnblogs.com/EasonJim/p/7857671.html 常用

spark-shell启动spark报错

前言 离线安装好CDH.Coudera Manager之后,通过Coudera Manager安装所有自带的应用,包括hdfs.hive.yarn.spark.hbase等应用,过程很是波折,此处就不抱怨了,直接进入主题. 描述 在安装有spark的节点上,通过spark-shell启动spark,满怀期待的启动spark,but,来了个晴天霹雳,报错了,报错了!错误信息如下: 18/06/11 17:40:27 ERROR spark.SparkContext: Error initializ

vsftp安装、配置和启动

vsftp软件安装.配置和启动及相关问题的解决在环境使用过程中经常用到.本文以SuSE11sp1上vsftpd的安装过程进行介绍. 测试环境 SuSE11sp1 前提条件 1.rpm -qa | grep vsftp,查看环境是否已安装,如已安装,可跳过vsftp安装包获取和安装步骤 2.rpm -e vsftpd.rpm,卸载已安装的vsftp软件 vsftpd安装包获取 1.获取操作系统版本号,注意补丁版本号 #cat /etc/SuSE-release SUSE LINUX Enterpr

php配置php-fpm启动参数及配置详解

约定几个目录 /usr/local/php/sbin/php-fpm/usr/local/php/etc/php-fpm.conf/usr/local/php/etc/php.ini一,php-fpm的启动参数 #测试php-fpm配置 /usr/local/php/sbin/php-fpm -t /usr/local/php/sbin/php-fpm -c /usr/local/php/etc/php.ini -y /usr/local/php/etc/php-fpm.conf -t #启动p

Nginx使用(配置开机启动)

环境: 系统:CentOS 6.5 Final 安装目录:/usr/local/nginx Nginx开机自启: ①编写shell实现控制 vi /etc/init.d/nginx 添加内容: #!/bin/bash # nginx Startup script for the Nginx HTTP Server # it is v.0.0.2 version. # chkconfig: - 85 15 # description: Nginx is a high-performance web

Ubuntu上snmp安装、配置、启动及远程测试完整过程

0.说明 关于一个完整的教程,还是那句话,国内的要么不完整,要么就太旧了,而且思路也不清晰,所以这里写一篇完整的给大家分享一下. 虽然对于Linux主机的监控可以通过执行特定的命令来完成,但是相比之后,通过snmp的方式来获取Linux主机的信息则会更轻松简单些,只不过在使用前的配置可能需要花多一点时间,不过这绝对值得!而且如果需要开发Linux主机的监控软件,那使用snmp肯定是首选,毕竟它可以获得的信息太多太多! 后面的内容就来分享一下在Ubuntu上安装.配置.启动snmp以及进行远程测试

ZooKeeper的安装、配置、启动和使用(一)——单机模式

ZooKeeper的安装非常简单,它的工作模式分为单机模式.集群模式和伪集群模式,本博客旨在总结ZooKeeper单机模式下如何安装.配置.启动和使用: 一.安装配置ZooKeeper(在Windows操作系统下) a.下载ZooKeeper压缩安装文件,这里下载稳定版--zookeeper-3.4.5.tar.gz b.解压压缩文件,这里将其解压到C盘根目录下,打开解压后的文件夹,得到下图: c.点击上图名为"conf"的文件夹,可以看到下图: d.用记事本打开上图名为"z

在Mac上关于tomcat服务器的安装、配置、启动、部署web详细流程

之前在Mac上通过安装mamp来搭建PHP环境服务器,但是对于java来说,目前还是没有找到类似mamp这样强大的软件来构建及管理java环境服务器,所以目前也是通过命令行来进行tomcat服务器的安装和启动,简要的总结一下在Mac上进行tomcat服务器安装的步骤. 第一步,给Mac安装jdk环境.   直接百度”jdk for Mac“,找到其中一个版本进行安装就可以了,安装完成后,打开终端,输入“java”或“javac”,如果出现java命令的使用说明,那么说明你的Mac上的jdk环境已