Centos 安装R 集成 Hadoop、RHive 配置安装手册

RHive 是一种通过HIVE高性能查询来扩展R计算能力的包。它可以在R环境中非常容易的调用HQL, 也允许在Hive中使用R的对象和函数。理论上数据处理量可以无限扩展的Hive平台,搭配上数据挖掘的利器R环境, 堪称是一个完美的大数据分析挖掘的工作环境。

资源包下载地址:

http://pan.baidu.com/s/1ntwzeTb

安装

首先hadoop 以及hive 的安装这里就跳过了。这里主要介绍在Centos 中如何安装R 语言以及如何集成Rhive 到hadoop 中。

本次实验节点有8个因此我们需要在每个节点中安装R 以及相应的其他模块首先我们来看看如何安装R

下载资源包中的 R-3.2.0.tar.gz 并解压

编译前确保安装如下模块

执行命令:

 yum install gcc-gfortran  gcc gcc-c++ libXt-devel  openssl-devel  readline-devel 

RHive 依赖于Rserve,因此在编译安装R的时候主要使用参数 --disable-nls --enable-R-shlib:

cd R-3.2.0/
./configure --disable-nls --enable-R-shlib
make
make install
cd ../

执行R 命令进行rJAVA 、RHive 等模块的安装

R CMD INSTALL rJava_0.9-6.tar.gz
R CMD INSTALL Rserve_1.8-3.tar.gz
R CMD INSTALL RHive_2.0-0.2.tar.gz

说明:如果你有多个节点,请在每个节点 和master 中均安装上述模块

到此安装结束,我们进入环境配置部分。

配置

1. 新建RHIVE 数据存储路径(本地的非HDFS)

我这里保存在 /www/store/rhive/data

2.新建Rserv.conf 文件并写入 “remote enable” 保存到你指定的目录

我这里存放在 /www/cloud/R/Rserv.conf

3.修改各个节点以及master 的 /etc/profile 新增环境变量

export RHIVE_DATA=/www/store/rhive/data

4.将R目录下的lib目录中所有文件上传至HDFS 中的/rhive/lib 目录下(如果目录不存在手工新建一下即可)

cd /usr/local/lib64/R/lib

hadoop fs -put ./* /rhive/lib

启动

1.在所有节点和master 上执行

R CMD Rserve --RS-conf /www/cloud/R/Rserv.conf
telnet cloud01 6311

然后在Master节点telnet所有slave节点,显示 Rsrv0103QAP1 则表示连接成功

2.启动hive远程服务: rhive是通过thrift连接hiveserver的,需要要启动后台thrift服务,即:在hive客户端启动hive远程服务,如果已经开启了跳过本步骤

nohup hive --service hiveserver &

Rhive 测试

library(RHive)

rhive.connect("master", 10000,hiveServer2=TRUE)

完毕!

最后附上RHive 相关文档地址

https://github.com/nexr/RHive/wiki/User-Guide

本文参考地址:

http://yangqijun.com/archives/341

http://www.cnblogs.com/end/archive/2013/02/18/2916105.html

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-11-05 23:30:47

Centos 安装R 集成 Hadoop、RHive 配置安装手册的相关文章

二、安装JDK、Hadoop及其配置

前期准备:创建一个新用户hadoop $ sudo useradd -m hadoop -s /bin/bash 设置密码 $ sudo passwd hadoop #也可以设置你喜欢的 需输入两次密码 Enter new UNIX password: Retype new UNIX password: passwd: password updated successfully 提升hadoop用户的权限,编辑: $ vi /etc/sudoers 按 :92  enter,在root ALL=

大数据笔记13:Hadoop安装之Hadoop的配置安装

1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.8.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP:1

Ubuntu16.04下Hadoop的本地安装与配置

一.系统环境 os : Ubuntu 16.04 LTS 64bit java : 1.8.0_161 hadoop : 2.6.4 二.安装步骤 1.安装并配置ssh 1.1 安装ssh 输入命令:  $ sudo apt-get install openssh-server  ,安装完成后使用命令 $ ssh localhost 登录本机.首次登录会有提示,输入yes,接着输入当前用户登录电脑的密码即可. 1.2 配置ssh无密码登录 首先使用命令 $ exit 退出上一步的ssh,然后使用

【原创】安装和部署Hadoop

安装和部署Hadoop 一.安装虚拟机 1.    服务器配置信息 Linux主机一 Linux主机二 Linux主机三 主机名:master 主机名:host1 主机名:host2 IP:192.168.100.100 IP:192.168.100.101 IP:192.168.100.100 HDFS MapReduce HDFS MapReduce HDFS MapReduce NameNode JobTracker DataNode TaskTracker DateNode TaskTr

3-1.Hadoop单机模式安装

Hadoop单机模式安装 一.实验介绍 1.1 实验内容 hadoop三种安装模式介绍 hadoop单机模式安装 测试安装 1.2 实验知识点 下载解压/环境变量配置 Linux/shell 测试WordCount程序 1.3 实验环境 hadoop2.7.6 Linux CentOS6终端 1.4 适合人群 本课程难度为一般,属于初级级别课程,适合具有linux基础的用户. 1.5 相关文件 https://pan.baidu.com/s/1a_Pjl8uJ2d_-r1hbN05fWA 二.H

RHEL6.5配置安装puppet-server和puppet(一)

RHEL6.5配置安装puppet-server和puppet --配置YUM 源并安装puppet-server 一.服务器端配置安装 1 环境配置: [[email protected] /]# less /etc/hosts127.0.0.1       localhost 192.168.1.100   master.linux.com master192.168.1.111   client.linux.com client 2 安装过程: 2.1 设置YUM源 1.[[email p

ubuntu上安装R的时候遇到的问题总结

首先感谢这两篇博客的指导,第一篇是关于报错的总结,第二篇是第一篇中没有提到的错误,也就是我在安装的时候出现的错误. 1.下载R包 (去官网选择一个离你最近的镜像网址,我的是清华提供的镜像下载速度比较快) wget http://mirrors.tuna.tsinghua.edu.cn/src/base/R-3/R-3.0.1.tar.gz tar -zvxf R-3.0.1.tar.gz 2.然后进入安装包目录R-3.0.1,检查安装的依赖环境并配置安装文件 ./configure --pref

linux之 CentOS/RHEL/Scientific Linux 6 & 7上安装Telnet

声明: 在安装和使用Telnet之前,需要记住以下几点. 在公网(WAN)中使用Telnet是非常不好的想法.它会以明文的格式传输登入数据.每个人都可以看到明文.如果你还是需要Telnet,强烈建议你只在局域网内部使用.你可以使用SSH作为替代方法.但是确保不要用root用户登录. Telnet是什么? Telnet 是用于通过TCP/IP网络远程登录计算机的协议.一旦与远程计算机建立了连接,它就会成为一个虚拟终端且允许你与远程计算机通信. 在本篇教程中,我们会展示如何安装Telnet并且如何通

YUM仓库服务与PXE网络装机的配置安装与使用

前言 前面我们安装软件主要使用rpm和源码编译安装,尤其在rpm安装软件的时候有些软件需要依赖关系,安装起来非常麻烦,今天讲的YUM仓库安装,可以自动解决依赖关系,只需要一条命令:yum -y install 软件名,就可以安装了,如果要卸载就执行:yum -y remove 软件名. 接下来先给大家搭建一台YUM服务器,实现yum安装软件 此外今天的另外一个实验就是PXE网络安装,非常类似windows2008的wds,通过网络快速安装操作系统.PXE的安装方式虽然说提高了安装的灵活性,但是有