R语言和大数据

#安装R语言
R3.3版本会出现各种so不存在的问题,退回去到R3.1版本时候就顺利安装。
在安装R环境之前,先安装好中文(如果没有的话图表中显示汉字成框框了)和tcl/tk包(少了这个没法安装sqldf)
sudo yum install fonts-chinese tcl tcl-devel tclx tk tk-devel -y
安装中文字体后重新加载 service xfs reload (不过在有台机器上总是失败,后来重启机器OK)
sudo service xfs reload
有些包会需要rgl,调用opengl的库,所以还要安装opengl包
sudo yum install mesa-libGLU mesa-libGLU-devel -y
sudo yum install gcc-gfortran gcc gcc-c++ readline-devel libXt-devel -y

wget --no-check-certificate https://stat.ethz.ch/CRAN/src/base/R-3/R-3.1.0.tar.gz
tar xvf R-3.1.0.tar.gz
./configure --enable-R-shlib=yes --enable-BLAS-shlib=yes --with-lapack --with-libpng --with-x=no --with-tcltk
sudo sh -c "make"
sudo sh -c "make install"

sudo R CMD javareconf JAVA_HOME=$JAVA_HOME
进入到r中进行
install.packages(‘rJava‘)
选择22

安装DBI
install.packages("DBI")
选择22

安装RSQLite
install.packages("RSQLite")
选择22

#安装RStudio
R装在工作的笔记本电脑上,由于内存的限制,只能用于一些很小的数据集的分析,所以更好的方式是,在Linux上配置一个R加rstudio-server,然后可以通过web直接访问R的功能。

下载rstudio-server的rpm包安装即可
wget http://download2.rstudio.org/rstudio-server-0.97.551-x86_64.rpm
rpm -ivh --nodeps rstudio-server-0.97.551-x86_64.rpm
启动命令

坑爹的是启动失败并没有任何错误提示,在/var/log/messages找到错误信息
安装时如果提示缺少libR.so;使用make unsintall卸载,然后重新安装一次R,指定了enable-R-shlib以后就不再报错
ps aux能够看到/usr/lib/rstudio-server/bin/rserver 已经启动了

配置文件位于/etc/rstudio/rserver.conf
www-port=80,80是默认的http服务端口号。
rsession-ld-library-path=/opt/local/lib:/opt/local/someapp/lib 指定额外的库地址
rsession-which-r=/usr/local/bin/R 指定R软件位置
auth-required-user-group=rstudio_users 限制可登陆R用户
rsession-memory-limit-mb=4000 限制使用的最大内存
rsession-stack-limit-mb=10 限制最大的栈大小
rsession-process-limit=100 限制最多进程数
session-timeout-minutes=30 进程超时时间
r-libs-user=~/R/packages 设置默认的R包
limit-file-upload-size-mb=100 设置最大的上传文件大小
r-cran-repos=http://cran.case.edu/ 设置默认的CRAN

#登陆访问

能够打开http://hostip:8787/页面了
此时需要输入登陆账户和密码,账户就是这个机器的域账户名称,密码是机器密码。如果没有的话,申请这个机器的权限就可以获得。
此外,还需要设置环境变量才可以访问,使用下面命令设置当前session的环境变量
Sys.setenv(SHELL ="/bin/bash")

#最新进展
R还是把数据load到本地进行计算的,这样的方式在大数据时代多少显得落伍。目前R和hadoop结合的有rhadoop、rhive、rhbase、sparkr等等,rhive和rodps采用的方法是类似的,用lib结合接口进行访问。比较彻底的是sparkR,在api和运行时做了修改。使用R或Python的DataFrame API能获得和Scala近乎相同的性能。

时间: 2024-11-05 12:24:21

R语言和大数据的相关文章

R语言读取大数据 data.table包 fread函数

> setwd("D:\\R_Tardy") > library(data.table) //  data.table 1.9.6   // For help type ?data.table or  // https://github.com/Rdatatable/data.table/wikiThe fastest way to learn (by data.table authors):  //  https://www.datacamp.com/courses/da

Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈与熟练的掌握Scala语言【大数据Spark

Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈 大数据的概念与应用,正随着智能手机.平板电脑的快速流行而日渐普及,大数据中图的并行化处理一直是一个非常热门的话题.图计算正在被广泛地应用于社交网络.电子商务,地图等领域.对于图计算的两个核心问题:图存储模式和图计算模型,Spark GraphX给出了近乎完美的答案, 而Spark GraphX作为图计算领域的屠龙宝刀,对Pregel  API的支持更是让Spark GraphX如虎添翼.Spark GraphX可以轻而易举的完成基于度分布

R语言读取文件数据

R语言读取文件数据 ??1.read.table()函数 2.其他函数的缺省 read.csv(file, header = TRUE, sep = ",", quote="\"", dec=".",fill = TRUE, ...)read.csv2(file, header = TRUE, sep = ";", quote="\"", dec=",",fill =

R语言笔记之数据篇

R语言杂七杂八 与R语言有关的应用工具 探索性数据分析 统计推断 回归分析 机器学习-分类问题 R与Rstudio的获取与安装 包package一种扩展R基本功能的机制集成了众多函数 获取包 导入包libraryname 获取帮助 R语言特点 R语言语法基础之数据篇 R语言中的数据 R语言支持的数据类型 基本数据结构 一维数据类型 向量 vocter 1创建 2提取子集 因子 factor 1创建 2提取子集 二维数据类型 矩阵 matrix 1生成矩阵 1matrix方法 2 修改dim属性来

[译]用R语言做挖掘数据《二》

数据探索 一.实验说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到程序: 1. LX终端(LXTerminal): Linux命令行终端,打开后会进入Bash环境,可以使用Linux命令2. GVim:非常好用的编辑器,最简单的用法可以参考课程[Vim编辑器](http://www.shiyanlou.com/courses/2)3. R:在命令行输入‘R’  进入R语言

[译]用R语言做挖掘数据《七》

时间序列与数据挖掘 一.实验说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到: 1. LX终端(LXTerminal): Linux命令行终端,打开后会进入Bash环境,可以使用Linux命令2. GVim:非常好用的编辑器,最简单的用法可以参考课程Vim编辑器3. R:在命令行输入‘R’进入交互式环境,下面的代码都是在交互式环境运行4. 数据:在命令行终端输入以下命令:

R You Ready?——大数据时代下优雅、卓越的统计分析及绘图环境

作者按:本文根据去年11月份CSDN举办的“大数据技术大会”演讲材料整理,最初发表于2012年2月期<程序员>杂志. 1. 历史 R(R Development Core Team, 2011)语言由新西兰奥克兰大学的 Ross Ihaka 和 Robert Gentleman 两人共同发明,其词法和语法分别源自 Scheme 和 S 语言,R 语言一般认为是 S 语言(John Chambers, Bell Labs, 1972)的一种方言.R 是“GNU S”, 一个自由的.有效的.用于统

用R语言做挖掘数据《三》

决策树和随机森林 一.实验说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到程序: 1. LX终端(LXTerminal): Linux命令行终端,打开后会进入Bash环境,可以使用Linux命令2. GVim:非常好用的编辑器,最简单的用法可以参考课程Vim编辑器.3. R:在命令行终端输入‘R’,进入R的交互式环境,下面的代码都是在交互式环境运行. 3. 环境使用 使用

R语言笔记5--读数据

1.读文本文件数据 (1)先设置工作目录,把文本文件放于该目录下 备注:在记事本里写完数据后,按一下回车,负责在R语言中出现错误 (2)读剪贴板 文本或EXCEL的数据均可通过剪贴板操作 (3)读excel文件数据 方法1:先把excel另存为空格分隔符的prn文件格式再读     方法2:安装RODBC包,再通过ODBC读