云计算大会有感—MapReduce和UDF

(转载请注明出处:http://blog.csdn.net/buptgshengod)

1.参会有感

首先还是非常感谢CSDN能给我票,让我有机会参加这次中国云计算峰会。感觉不写点什么对不起CSDN送我的门票(看到网上卖一千多一张呢)。

还是得从国家会议中心说起,两年前lz曾经在那当过IDF的志愿者,当时是纯体力劳动,负责给参会人员发一些杂志什么的,当时苦逼的为了多蹭一个盒饭躲到柜子后面直到开饭。真没想到两年后可以以来宾的身份参加国家会议中心的大会(虽然午餐还是苦逼的盒饭吧),这次真的可以走进主会议场聆听专家们的报告。说实话,一进主会议场看到几千个码农,都是差不多的装扮,真的有点小震撼。

听了几个院士和运营商老总的报告,最震撼的还是微软副总裁王亚勤先生的演讲,感觉挺震撼的。不得不说微软就是微软(大家可以搜搜这段演讲看一下),他说的有一句话很有意思“从互联网让我们从物理变为虚拟,现在云让我们从虚拟变回物理”(没看懂的可以留言讨论哈)。

参加这次大会不是为了学一个算法或是什么,应该是从宏观上了解云的发展。李德毅院士说:云就是计算P级数据的能力。确实,随着数据过剩的时代已经到来。数据成了解决问题的基础,算法是解决问题的工具,云就是我们的途径。

2.云就在身边

下面写下我最近在操作阿里云的一些感受,博主参加了阿里的天猫大数据竞赛,靠着抱大腿战术成功入围S2,阿里给每个进入S2阶段的队伍开设了服务器端的账号。先秀一下,阿里云端的虚拟机界面,(苦逼的xp)

下面一行黑色的就是阿里云odps的命令行工具,在里面可以进行数据库操作,主要是sql语句。我的理解是这个odps就是hadoop的改版,不知道这种说法对不对。

记得当年,我们寝室的czx问我们几个什么是云,旭哥说了:“我觉得云就是分布式。”

(1)MR

分布式就是将大量的数据运算按照一定规则分配到云上的无数个服务器上,并行完成,这样就可以极大地提高运算效率。然而,如何分配,计算完又如何将数据汇总,这就依赖于MapReduce了,这里简称MR。

MR来源于google的一篇论文,MR分为mapper和reducer,mapper是将数据切割为key,value对的形式,reducer是对每个key的value的逻辑进行计算。driver负责一些传入传出的数据入口。上个图吧,这是我在阿里服务器上的一个MR程序

写好的MR程序,export成为jar文件,再传到云上,将数据库的table输入就可以实现对应的算法了。

(2)udf

udf就是实现云端的sql的function函数。举个例子,比如说有个表,里面的数据是412142=>3522。我们想以中间的箭头符号为分隔,获取412142或是3522.因为sql中是没有类似于splite的函数的。所以我们要写一个sql的function实现这个功能。这个function我们用java写好,只要将生成的jar文件放到云端,就可以调用。

以上是我对于云的一些感受和看法,欢迎大家留言讨论!

云计算大会有感—MapReduce和UDF,布布扣,bubuko.com

时间: 2024-10-18 03:38:14

云计算大会有感—MapReduce和UDF的相关文章

[免费赠票] 第九届中国云计算大会日程曝光

第九届中国云计算大会将于2017年6月14-16日在北京国家会议中心如期举行."架构师技术联盟"自媒体再度与主办方合作,给读者们带来了免费赠票福利,机会难得.赠完即止(点击原文链接申请),也算是给粉丝们的一点回馈.九个春秋,中国云计算大会已经成为中国最大规模.最具影响力的云计算技术.产业和应用的年度盛会,也是国内外云计算.大数据领域最具权威性的高端会议. 云的世界变换莫测,就在本月AWS和RedHat建立战略联盟,RedHat在OpenShift容器平台支持部署AWS服务.未来是多云时

拨云见日,任重道远 ——第六届云计算大会感悟

在本月20-23日我代表山东大学(威海)参加了在北京国家会议中心隆重召开的第六届云计算大会.在本次汇集了国内外众多专家学者的高端峰会中感触良多,也收获颇丰! 当下,在IT学术界和产业界以及广大普通用户的共同努力下,云计算在中国已经有了显著的进步和提高,业内对云计算的认识更加的准确到位,云计算的运用规模也在不断的加大和扩展,专用云也在各个领域得到广泛应用和拓展.与其相辅相成的大数据也带给了大家对技术.创新以及实践更多的认识,可以预见的是大数据与云计算结合的时代已然到来,这将在未来得到更加广泛的关注

第六届中国云计算大会现场

本人原创,转载请注明出处!欢迎大家加入Giraph 技术交流群: 228591158 Giraph中Aggregator的基本用法请参考官方文档:http://giraph.apache.org/aggregators.html ,本文重点在解析Giraph如何实现Aggregators,后文用图示的方法描述了Aggregator的执行过程. 基本原理:在每个超级步中,每个Worker计算本地的聚集值.超级步计算完成后,把本地的聚集值发送给Master汇总.在MasterCompute()执行后

【云大会】之五《第七届云计算大会 Day1感受:喧嚣退潮、人气萎缩》

2015-06-03 张晓东 东方云洞察 点击上面的链接文字,可以快速关注"东方云洞察"公众号 连续参加了好几届电子学会举办的云计算大会了,从规模和影响力来说,这可以算是国内影响力最大和参与人员最多的"云"大会. 今天参加了第七届云计算大会第一天的会议,总体感受一般,和期待中的热闹以及盛会景象相比,颇让人失望,也许是我参加的云相关会议太多的缘故吧. [总体印象] 人气不旺,热闹程度也不比以往.做出租车下来之后,还以为搞错地方了,门口有点冷清.进入主会场,整个场地面积

华为云计算大会HCC2014给你好看

经过五个小时的高铁,逾百人的北京媒体大部队抵达上海,准备迎接即将开幕的2014华为云计算大会(HCC 2014)的"挑战"(吃晚饭时才听说,有的网络媒体6人自费组团参加HCC 2014).在华为的官方微信上,HCC 2014的消息已经被炒到爆.明天开幕的HCC 2014究竟有哪些值得期待的亮点? 在华为之前举办的吹风会上得知:HCC 2014还在老地方--上海世博中心举行.(去年就说这地方太小,想换地方,但今年看来还是忍了):今年的参会人员规模与去年持平,万人左右,主要是华为全球各地的

第七届云计算大会门票免费申领中!每日限3张哦!【Docker实战训练营倒计时】

一.活动简介 Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化.在基础技术创业这个圈子里,Docker算是最火的独角兽了,几乎没有性能开销,可以很容易地在机器和数据中心中运行,最重要的是,他们不依赖于任何语言.框架或包装系统. 本次课程帮助听众了解Docker的技术架构,并通过P2P/互联网/金融应用架构案例深入体会Docker在Devops流程中的使用.讲师将结合Docker在燃气管网数

CSDN学院感恩回馈大促:购课满额即送2000元云计算大会门票

送!送!送! 感恩大回馈! 购课满额即送2000元云计算大会门票! 活动时间:2015年5月20日~2015年5月26日 CSDN学院从上线至今,得到了广大学员的大力支持与帮助,学员数.销售额都在稳步提升,为此我们深表感谢!特在第七届云计算大会期间,感恩回馈新老用户,满足如下条件之一即可获赠价值2000元云计算大会门票![云计算大会相关信息:http://www.ciecloud.org/2015] 1. 从CSDN学院上线至申请赠票时间,购课满199元,即可申请领取云计算大会赠票一张: 2. 

备受瞩目的“2017全球云计算大会”有哪些亮点值得关注?

9月5日-7日,备受关注的"2017全球云计算大会"在上海召开,大会(围绕)聚焦云计算.物联网.大数据及人工智能等细分领域发展,是了解全球云计算发展的一个非常重要的窗口. 本届"全球云计算大会"将继续关注全球云计算产业现状及热门领域.为期三天的会议,将从对云计算技术进行深度探索.聆听行业领袖的"干货"分享.探寻云计算发展最新趋势.与国际顶尖企业汇聚一堂共享最新云计算技术产品等方面全面解析云计算. 今年是"全球云计算大会"开办的

第八届中国云计算大会发来贺电 | 有容云将作为【云计算优秀项目】特邀嘉宾出席

摘要: "第八届中国云计算大会"将于2016年5月18-20日在北京举办,有容云作为"2016云计算大数据创新创业评选活动-深圳地区优秀创业项目"获得者,受组委会邀请出席本次大会,届时将会在会刊专栏.展区专属展位.19日晚间颁奖晚宴上与各界朋友见面,欢迎交流参观. 本次大会由国家发展和改革委员会.科学技术部.工业和信息化部.北京市人民政府. 中国科学技术协会指导,中国电子学会主办,聚集了政.产.学.研.用.融等多方力量. 大会兼具高规格.大规模.汇集权威专家,整合跨