R运行大数据的过程中遇到的问题:不能有负长度矢量

解决办法:

  只能通过一些trick来减小生成的中间矩阵的大小。比如我所遇到的问题是:

我要运行(W%*%H%*%t(H)) 这句话,(W的规模是5000000*10,而H的规模是10*100000)

解释执行W%*%H的时候报错:不能有负长度矢量。

坑爹的中文报错,google发现,和中文有关的R文档、记录真是少得可怜,终于通过英文“negative length vectors are not allowed”这句话,

看到老外们的解释,才知道了,简而言之就是因为数据规模太大,而R系统不允许生成生成数据规模超过2^31的结果。

改成(W%*%(H%*%t(H)))后,问题就解决了。。。

R运行大数据的过程中遇到的问题:不能有负长度矢量

时间: 2024-10-31 01:35:34

R运行大数据的过程中遇到的问题:不能有负长度矢量的相关文章

漫谈ELK在大数据运维中的应用

漫谈ELK在大数据运维中的应用 圈子里关于大数据.云计算相关文章和讨论是越来越多,愈演愈烈.行业内企业也争前恐后,群雄逐鹿.而在大数据时代的运维挑站问题也就日渐突出,任重而道远了.众所周知,大数据平台组件是很复杂的.而这庞大的系统整合问题,对于运维来说是很头疼的.所以,在大数据时代下的运维问题是日渐尖锐. 有人把运维比作医生给病人看病,那么日志则是病人对自己的陈述.所以只有在海量分布式日志系统中有效的提取关键信息,才能对症下药.如果能把这些日志集中管理,并提供全文检索功能,不仅可以提高诊断的效率

大数据在教育中的应用 part2笔记

什么是交叉检验(K-fold cross-validation) K层交叉检验就是把原始的数据随机分成K个部分.在这K个部分中,选择一个作为测试数据,剩下的K-1个作为训练数据. 交叉检验的过程实际上是把实验重复做K次,每次实验都从K个部分中选择一个不同的部分作为测试数据(保证K个部分的数据都分别做过测试数据),剩下的K-1个当作训练数据进行实验,最后把得到的K个实验结果平均. http://www.ilovematlab.cn/thread-49143-1-1.html 交叉验证(CrossV

TIOBE 2014年11月编程语言排行榜:R受大数据影响跃至12位

TIOBE发布了11月份编程语言排行榜,前三甲依然为C.Java.Objective-C.受大数据影响,本月R语言上升至12位,上个月排名第15位,看其走势下个月有望进前十. 得益于大数据炒作,还有些语言包括Julia (#126), LabView (#63),Mathematica (#80), MATLAB (#24),S (#84),SAS (#21),SPSS (#104) 以及 Stata (#110)份额均有所上升. 编程语言排行榜TOP 20榜单: 前10名编程语言长期走势图: 

关于oracle数据导入过程中遇到的

前几天老师给安排了一个任务,将一个50G的dmp文件导入我们的oracle服务器.因为之前练习过这个了,因此本来认为这是个比较简单的的事情. 就试着直接用PLSQL往服务器上导啊.先用DBA账号登录服务器,添加新用户,为用户分配权限,增加表空间(可自适应增长),然后我就登录新用户开始导入dmp文件了,谁知道直接遇到问题.ORA-01659: 无法分配超出 7 的 MINEXTENTS (在表空间 PERFSTAT 中),就是这个错误,由于没有写随笔的时候没有截图,就只好粘过来文本了. 网上关于这

数据摆渡过程中需要解决的主要问题

所谓“摆渡”,现实中的摆渡就是在一条船从江河这一边到另一边,再从另一边到这一边.数据摆渡的过程也类似.为了防范网络攻击,通过物理隔离的思路,将两台完全不相连的计算机,通过软盘从一台计算机向另一台计算机拷贝数据,有时候大家形象地称为“数据摆渡”. 传统的跨网数据交换方式有光盘摆渡机.光盘摆渡机简单来讲,先用光盘刻录需要传输信息,然后用机械臂换到需要交换的另一端网络,然后读取存储,这样就完成了一次单向传输.这种方式速度慢,且丢包率高,安全性难以保障,万一丢失重要数据信息,会严重影响业务的正常开展.同

ajax数据传递过程中中文乱码问题

1.GET请求:将Tomcat服务器中的server.xml文件修改如下所示: <Connector port="80" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" URIEncoding=”UTF-8”/> 2.POST请求:在js中使用ajax对象发送请求的时候设置如下的请求头信息: xmlHttpRequest.setRe

大数据之----hadoop中各pid进程号之快速定位

经常管理和监控,需要进行shell编程,直接对进程kill或者重启操作.我们需要进行快速定位到每个进程的pid号pid默认存储在/tmp目录 pid内容为进程号 ps -ef|grep hadoop 出现PID A,B,C 可能误杀B,C [[email protected] sbin]$ cat hadoop-daemon.sh |grep pid#HADOOPPIDDIR The pid files are stored. /tmp by default.pid=$HADOOP_PID_DI

ajax数据展示过程中中文乱码问题

1. Servlet响应时的乱码解决如下: response.setContentType(“text/html;charset=UTF-8”); 2. Jsp响应时的乱码解决如下: <%@page pageEncoding=”UTF-8”%>

大数据与数据挖掘的相对绝对关系

数据不是信息,而是有待理解的原材料.但有一件事是确定无疑的:当NSA为了从其海量数据中"挖掘"出信息,耗资数十亿改善新手段时,它正受益于陡然降落的计算机存储和处理价格. 麻省理工学院的研究者约翰·古塔格(John Guttag)和柯林·斯塔尔兹(Collin Stultz)创建了一个计算机模型来分析之心脏病病患丢弃的心电图数据.他们利用数据挖掘和机器学习在海量的数据中筛选,发现心电图中出现三类异常者--一年内死于第二次心脏病发作的机率比未出现者高一至二倍.这种新方法能够识别出更多的,无