cdh5.3中配置sparksql

在cdh5.3中的spark，已经包含了sparksql，只需要做以下几步配置，就可以在使用该功能

1）确保hive的cli和jdbc都可以正常工作

2）把hive-site.xml 复制到 SPARK_HOME/conf目录下

3）将hive的类库添加到spark classpath中：编辑 SPARK_HOME/bin/compute-classpath.sh文件

　　在文件中添加CLASSPATH="$CLASSPATH:/opt/cloudera/parcels/CDH-5.3.0-1.cdh5.3.0.p0.30/lib/hive/lib/*"

　　（根据自己hive的安装位置添加路径，这是安装时的hive类库目录）

4）重启spark让配置生效

时间： 2024-08-11 07:49:01

cdh5.3中配置sparksql的相关文章

spark1.6配置sparksql 的元数据存储到postgresql中

1:首先配置hive-site.xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:postgresql://192.168.56.103:5432/sparksql</value> </property> <property> <name>javax.jdo.option.Co

CDH5 hadoop-hive-habse单机版配置

CDH5 hadoop-hive-habse单机版配置一.安装环境: OS:CentOS6.5 64位 JDK:jdk-7u72-linux-x64 hadoop:hadoop-2.3.0-cdh5.0.0. hbase:hbase-0.96.1.1-cdh5.0.0. hive:hive-0.12.0-cdh5.0.0.tar 我所用的都是基于CDH5.0.0的,使用CDH的发行版不会存在各个组件间不兼容,导致启动失败等异常. CDH的其他版本可以在这里下载http://archive-pr

eclipse中配置的tomcat 启动正常但是访问报404错误

问题描述: 在eclipse中配置的Tomcat,启动是正常的,控制台显示启动成功,也没有报任何错误信息,但是访问的时候就报404错误,然后直接在bin目录下启动startup.bat的方式就是正常的.然后就很纳闷,之后在网上搜了下资料,说是Eclipse的配置出了问题. 解决方案: 1.如果Server里的tomcat启动了,需要先停掉.然后再移除添加的项目 2.之后双击server中配置的tomcat服务器,会弹出如下界面. 3.在Server Locations配置中选择第二个选项,use

在ubuntu中配置java环境变量遇到的一些问题

最近因为重装了系统,所以需要重新配置java环境变量,本来打算在/etc/environment中配置的,但是配置好以后重启发现登录不进图形界面了,ctrl+alt+F2~6都可以进入命令行,但是在命令行中尝试用sudo su切换到root用户又会失败,查了一些资料后发现是因为environment中不要用export来配环境变量,这样会导致登录失败的问题,而且因为配java路径的时候我们在原来的PATH前面添加了一些路径,导致后面的/bin和/usr/bin等目录都找不到了,因此也就无法找到s

myeclipse中配置spring xml自动提示

这是一篇分享技巧的文章:myeclipse中配置spring xml自动提示. ① window -> preferences -> MyEclipse -> Files and Editors -> XML -> XML Catalog ② 选择User Specified Entries,点击add按钮弹出一个选框,填入以下三项 i. Location: D:\baiduyun\Spring\spring_doc\soft\spring-framework-2.5.6\d

Retrofit+RxJava(1)-在Android Studio中配置

在build.gradle中添加 //加入retrolambda需要的plugin声明 apply plugin: 'me.tatarka.retrolambda' //retrolambda的编译路径依赖 buildscript { dependencies { classpath 'me.tatarka:gradle-retrolambda:3.1.0' } } //让IDE使用用Java8语法解析 android { compileOptions { sourceCompatibility

在Eclipse-jee-neon中配置Hibernate（jbosstools)

这个星期非常忙碌,但坚持写博客,我先说的就是,这几周都是围绕Eclipse的安装插件,之后我会更加对我所学习到的知识来进行总结,由于我的周末都非常疲劳,所以我就配步骤的图片就不po文字了,看过我之前的博客都知道这些都是简单的配置.Eclipse-jee-neon中配置Hibernate插件主要用到jbosstools. 访问http://tools.jboss.org/downloads/

在 IntelliJ IDEA 中配置 JSF 开发环境的入门详解

JSF 作为 JavaEE 官方标准,在了解并掌握其基本开发技术后,对于功能要求较高.业务流程复杂的各种现代 Web 应用程序开发将会成为非常合适且强大的高效率开发利器.JSF 的开发环境搭建涉及到在 IntelliJ IDEA 中配置 Web Application Server.配置 JavaEE 基本环境.选择 JSF 相关功能模块等,之所以选择 IDEA 作为开发环境,是因为 IDEA 作为业界公认的最强 Java 集成开发环境,已逐渐成为事实上的 Java 及相关应用开发环境标准,甚至

springmvc 中配置aop

之前自己搭建了springmvc+spring+mybaits/hibernate 的框架,并在applicationcontext.xml中配置了aop,但发现aop根本不生效,而不用框架的话则可以生效. applicationContext.xml配置如下: <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schem