关于MATLAB处理大数据坐标文件2017620

暑假已至,接下来组内成员将会各回各家,各找各妈,这肯定是对本次大数据比赛是很不利的。

接下来我会把任务分配给组员,当然任务会比起初的时候轻一点,因为我认为本次比赛的目的并不是我要求组员做什么,而是我的组员要求自己做什么!

我们现在主要接触的两门语言:

MATLAB语言在数据处理方面很牛,它的画图功能也是杠杠的,尤其是3D画图

Python语言是一门近几年很火的语言,学好它对自己肯定只有益处,它的出生很晚,但是短短十多年,它已经稳居计算机语言前三名。尤其是现在的大数据时代,它的代码不仅简单易懂,而且还可以处理成千上亿的数据,没错真的可以是上亿。

最近的一则新闻:亚马逊线下超市,利用大数据,可以轻松识别客户取用商品、放回商品,并在手机APP端计价,并且出超市没有收银员,可以在门口支付通道 利用手机端支付码支付......

我分析了一下,其实他们的线下超市没什么新奇的,众所周知,利用大数据可以识别人体动作,我认为只要有足够的数据,识别人是否拿过或者放回商品都是轻而易举,而且大家有没有印象,好像每家稍大点的超市都有监控——这就是成功的关键。支付码支付更没什么新颖的,我们国家线下支付可以说已经走在世界前端了,支付码支付都是玩剩下的。

分享上面的新闻并不是在讲一个故事,而是介绍大数据的前景,也是苦口婆心地向你们解释这次比赛的目的——成绩只是附属品,学到才是赚到

我希望我的组员可以要求自己主动学习,我也会对自己加强要求

而且以后相类似的比赛也会有很多,究竟谁是主力,现在还未知,某些人的不健康思想总认为组里某些人已经是主力了,不对我们只是比你们多看了两本书,几行代码,如果你离主力只有两本书几句代码的话,那这个距离也太近了

我也撂下一句话:没什么事是天生的,是名正言顺的,轻言放弃的人不会有成就,现在乃至以后

时间: 2024-10-11 21:45:05

关于MATLAB处理大数据坐标文件2017620的相关文章

关于MATLAB处理大数据坐标文件201761

前几天备战考试,接下来的日子将会继续攻克大数据比赛 虽然停止了一段时间没有提交数据,但是这几天的收获还是有的,对Python 随机森林了解的更了解了 随机森林是由多课决策树组成(当然这个虽然我们初学者都知道,但是我确定没有现在认识的深刻),多棵决策树经过数据训练后,经过投票方式对测试数据进行判断 那么也就是说随机森林的鲁棒性非常好,我们现有的特征还不是特别多,之所以前一段时间出现“过拟合”现象,其实原因有可能是我们当时急功近利,把大多数正确率高的特征放在一起测试数据,导致的“过拟合”,其实非也,

关于MATLAB处理大数据坐标文件

原先有3000条测试数据,MATLAB表现出来强大的数据处理能力,十几秒就可以把数据分类.分装并储存,这次共有10万条坐标数据,MATLAB明显后劲不足,显示内存不足 自我认识:以前MATLAB数据处理是手动将数据导入mat表格,再由程序运行表格数据,但是这次运行光坐标压缩文件就有35兆,就算导入成功也是相当恐怖的一个表格文件 解决方案:1.拒绝手动导入,程序导入 2.不使用表格,表格的内存占用明显比文本文档大太多(当然,这种方案比较极端,但是必须执行,否则后期明显性能上就差别人一大截)

关于MATLAB处理大数据坐标文件2017530

今天使用了所有特征并且用SVM测试数据 理由:SVM可以使用特征将测试集划分区域,比较单调.死板 结果:成绩很不理想,无疑又一次说明随机森林更适合大数据处理 第二次提交数据 用MATLAB运行11次运算结果,提取其中6次及6次以上重复出现的数据,提交结果:分数降低5分本次目的:检测以往数据的准确率 总结:我们的数据中有部分数据错误了至少6次,那么特征还不够完善,接下来的工作还在特征

关于MATLAB处理大数据坐标文件2017622

今天新提交了一次数据,总量达到10337个,本以为成绩会突飞猛进,没想到还是不如从前 但是已经找到人工鼠标轨迹的程序,有待完善,接下来兵分四路:找特征.决策树.完善人工轨迹程序,使其可以将生成的数据自动储存.还一个是Python面向对象. 为什么要学习Python面向对象,因为我发现现在接触的程序越多.越深,越觉得举步维艰,越觉得不懂的地方越多.其实我是在学习Java的面向对象吃到了甜处,面向对象可以提高一个程序的可读性,一个程序的可利用性.这几天我们一直在找一个最佳组合,而我们一直是手动去找,

关于MATLAB处理大数据坐标文件2017529

今天我们离成功又近了一步,因为又失败了两次 第一次使用了所有特征,理由:前天的特征使用的是取单个特征测试超过85分的特征,结果出现过拟合现象. 本次使用所有特征是为了和昨天的结果作比较. 结果稍好:比最佳分数多了1分 第二次使用了上一次最佳结果的特征,去除其中单个特征测试结果最好的,加入新的特征,加入的特征为新总结的特征,结果等于以前的最佳成绩. 也就是说没有进步 总结:盲目增加特征有可能继续造成过拟合,接下来的工作应该在程序上做文章,优化程序,做出一个为现在的工作服务的程序,也可以说是量身定做

mysql 导入大数据sql文件

导出Sql文件 在导出时合理使用几个参数,可以大大加快导入的速度. -e 使用包括几个VALUES列表的多行INSERT语法; –max_allowed_packet=XXX 客户端/服务器之间通信的缓存区的最大大小; –net_buffer_length=XXX TCP/IP和套接字通信缓冲区大小,创建长度达net_buffer_length的行 注意:max_allowed_packet和net_buffer_length不能比目标数据库的配置数值大,否则可能出错. 例子: mysql>my

大数据--hive文件存储格式

一.hive文件存储格式 Hive支持的存储数的格式主要有:TEXTFILE .SEQUENCEFILE.ORC.PARQUET. 上图左边为逻辑表,右边第一个为行式存储,第二个为列式存储. 行存储的特点: 查询满足条件的一整行数据的时候,列存储则需要去每个聚集的字段找到对应的每个列的值,行存储只需要找到其中一个值,其余的值都在相邻地方,所以此时行存储查询的速度更快. 列存储的特点: 因为每个字段的数据聚集存储,在查询只需要少数几个字段的时候,能大大减少读取的数据量:每个字段的数据类型一定是相同

[PHP学习教程]003.高速读写大数据“二进制”文件,不必申请大内存(Byte Block)

引言:读写大“二进制”文件,不必申请很大内存(fopen.fread.fwrite.fclose)!做到开源节流,提高速度! 每天告诉自己一次,『我真的很不错』.... 加速读写大文件,在实际工作过程当中其实想必很多人都有这样的经历-大家知道,如果使用记事本(notepad)打开10M的文本文件,那会卡到无响应,但是如果使用Sublime或者Notepad++则瞬间打开. 不展开讲了,接口简单,多说无益,直接上码. 函数 <?php /** * 读写大二进制文件,不必申请很大内存 * 只有读取到

sqlsever 导入大数据sql文件

采用osql命令: osql -S "127.0.0.1" -U "sa" -P "123" -d "Futuress" -i "d:/test/test/1.sql" -S :服务器地址 -U:用户名 -P:密码 -d:数据库 -i:导入的文件 另外还有相关的导入导出命令,如sqlcmd,isql等