Spark下的RHive的连接

Sys.setenv(HADOOP_CONF_DIR=‘/etc/hadoop/conf.cloudera.hdfs‘)
Sys.setenv(YARN_CONF_DIR=‘/etc/hadoop/conf.cloudera.yarn‘)
library(SparkR, lib.loc = "/opt/modules/spark/R/lib")
library(RHive)

sc <- sparkR.init(sparkHome = "/opt/modules/spark",
sparkPackages="com.databricks:spark-csv_2.10:1.4.0")
sqlContext <- sparkRSQL.init(sc)

rhive.connect("master", defaultFS=‘hdfs://master:8020‘,hiveServer2=TRUE,user="hue")
rhive.query("select * from data.data_orders limit 5")

rhive.close()

时间: 2024-10-14 20:12:28

Spark下的RHive的连接的相关文章

李洪强iOS下的实际网络连接状态检测

iOS下的实际网络连接状态检测 序言 网络连接状态检测对于我们的iOS app开发来说是一个非常通用的需求.为了更好的用户体验,我们会在无网络时展现本地或者缓存的内容,并对用户进行合适的提示.对绝大部分iOS开发者来说,从苹果示例代码改变而来的各种Reachablity框架是实现这个需求的普遍选择,比如这个库.但事实上,基于此方案的所有实现,都无法帮助我们检测真正的网络连接状态,它们能检测的只是本地连接状态:这种情况包括但不限于如下场景: 1.现在很流行的公用wifi,需要网页鉴权,鉴权之前无法

eclipse下jdbc数据源与连接池的配置及功能简介

今天在做四则运算网页版的时候遇到了一个困惑,由于需要把每个产生的式子存进 数据库,所以就需要很多次重复的加载驱动,建立连接等操作,这样一方面写程序不方便,加大了程序量,另一方面,还有导致数据库的性能急剧下降,那么怎么解决这个问题呢? 我所学到的方法就是通过JDBC数据源和连接池的方式来解决这个问题.利用DataSource来建立数据库的连接不需要加载JDBC驱动,也不需要DriverManager类,通过向一个JNDI服务器查询来得到DataSource对象,然后调用DataSource对象的g

macbook win10双系统下罗技557蓝牙连接不上问题

macbook 装了win10双系统时,win10下罗技557蓝牙鼠标连接不上,或需要重新连接 处理方法: 1.首先进入mac,连接557正常: 2.在关闭蓝牙重新启动到win10下: 3.win10下安装连接557正常后,重启进入mac系统: 4.打开mac系统蓝牙. 此时2个系统557都能够正常使用了.

Windows下用C语言连接Mysql注意问题

原文:Windows下用C语言连接Mysql注意问题 环境是:在VS6.0 安装Mysql后,我们需要相应的头文件以及lib文件,所以安装过程必须是完整安装.否则不会生成include文件夹哦~ 具体步骤如下: 1.完全安装mysql,这样才能生成include文件夹. 2.在Directories的标 签页中右边的"Show directories for" 下拉列表中选中"Includefiles", 然后在中间列表框中添加你本地安装MySQL的include目

Spark下的FP-Growth和Apriori(频繁项集挖掘并行化算法)

频繁项集挖掘是一个关联式规则挖掘问题.关联挖掘是数据挖掘中研究最早也是最活跃的领域,其中频繁模式的挖掘是关联挖掘的核心和基础,是产生关联规则挖掘的基础.频繁项集最经典的应用就是超市的购物篮分析. 首先要理解频繁项集中的以下概念. 频繁项:在多个集合中,频繁出现的元素项. 频繁项集:在一系列集合中每项都含有某些相同的元素,这些元素形成一个子集,满足一定阀值就是频繁项集. K项集:K个频繁项组成的一个集合. 支持度:包含频繁项集(F)的集合的数目. 可信度:频繁项与某项的并集的支持度与频繁项集支持度

Win7下生成SSH Key连接Github--(MsysGit)

ls -al ~/.ssh # Lists the files in your .ssh directory, if they exist We strongly recommend using an SSH connection when interacting with GitHub. SSH keys are a way to identify trusted computers, without involving passwords. The steps below will walk

在VS下用C语言连接SQLServer2008

原文:在VS下用C语言连接SQLServer2008 step1:启动SQLSERVER服务 step2:打建立数据库test,在test库中建立test表(a varchar(200),b varchar(200)) step3:建立系统DSN,开始菜单 ->运行 ->odbcad32, 添加->SQL SERVER Native Client 10.0 名称:csql,服务器:localhost 使用用户使用登录ID和密码的SQLSERVER验证,登录ID:sa,密码:pass 更改

【转】MyEclipse第一个Servlet程序 --解决Win7系统下MyEclipse与Tomcat连接问题

MyEclipse第一个Servlet程序 --解决Win7系统下MyEclipse与Tomcat连接问题 前言 本文旨在帮助学习java web开发的人员,熟悉环境,在Win7系统下运行自己的第一个Servlet程序,因为有时候配置不当或系统原因可能会运行不成功,这给初学者带来了一定烦恼,我也是为此烦恼过几小时.现手把手介绍利用MyEclipse,连接tomcat服务器,建立自己的第一个Servlet程序.java web开发相关的理论及其他知识在此处未做讨论.文章末尾给出了一些常见错误的解决

Linux下mysql实现远程连接

首先明白一点并不是mysql禁止远程连接,而是MYSQL的账号禁止远程连接.可能觉得我有点咬文嚼字了,不过我感觉分清这点还是很重要的.默认情况下,所有账号都是禁止远程连接的.在安装MYSQL的时候,在设置ROOT密码那里有一个CHECKBOX,选中的话就开启了ROOT的远程登陆功能,默认是没被选中的.利用: select * frommysql.user 查出所有的MYSQL用户,可以发现默认情况下,这些记录的host字段的值全都是localhost,这个host字段就是表示哪些机器可以利用此账