2014年Spark亚太峰会参与回忆录

2014年Spark亚太峰会,于2014年12月6号,在北京珠三角万豪酒店(宣武门店)举行,我当时在一家软件科技公司任职,我这家公司的软件工程师的名义,参加了这次峰会。各个行业前沿的精英和技术大牛们,分享了他们关于大数据行业的经常演讲,受益匪浅。

上午:

峰会从9点开始,一直持续到12点多。首先是由中国云计算应用联盟主席汤老师做《峰会开幕式致辞》。然后易观智库副总裁丽老师做《2014年中国大数据整体市场专题研究报告》;然后由亚信科技大数据平台部高级总监许老师做《走入人间的内存处理和实时分析Spark平台技术探讨》;接着由TalkingData研发副总裁阎老师分享《Spark在移动大数据平台的实践》;然后由Spark亚太研究院首席专家王老师分享《Spark内核探索启示录:为何Spark是大数据计算的最佳选择?》;接着由中国云计算应用联盟秘书长李老师颁奖:2014Spaark开发者大奖颁奖——发现最有正能量的网络达人;接着由云威科技CEO李老师讲大数据来临,大学生创业者的新机会;然后由汤老师主持的,互联网行业技术大牛探讨中国大数据未来的发展以及Spark未来可能的应用。其中高老师说的,让我印象特别深刻,他说将会在洞庭湖地区简历一个大数据中心,将会有洞庭湖那么大,而且强调物的大数据,让中国的工业技术,小到一个螺丝钉,等等各种工业实践,在大数据技术的帮助下,让中国的工业技术越来越先进,让中国的船更坚、炮更厉。

下午是三个分论坛,分论坛1:数据分析与挖掘,分论坛2:实时计算&图计算,分论坛3:云计算&大数据最佳实践。作为一个开发人员,我更关心的是大数据的应用和实践。所以,下午我参加的是分论坛3。先后聆听了甄老师分享Spark在百度的实践,顾老师分享了Tachyon的基本原理和性能测试框架,吕老师分享了Spark的高效分析引擎及其在行业的应用案例,马老师分享了Docker ContainerOps。

我在会场附近拍照留念,5点多依依不舍的离开了。从此对大数据的痴迷,就越来越强烈了。

时间: 2024-10-05 15:35:48

2014年Spark亚太峰会参与回忆录的相关文章

2014年spark开发者大赛火热进行中!

"发现最有正能量的网络达人",Spark开发者大赛火热进行! 2014年9月30日,2014 Spark开发者大赛在北京正式启动.本次大赛由Spark亚太研究院联合国内领先的IT技术创新与发展的互联网媒体平台51CTO传媒及国内最大的IT在线教育平台51CTO学院在亚太范围内发起.面向云计算大数据从业者.Spark技术爱好者及数百所高校在读学生.无论是对Spark有浓厚兴趣的初学者.或者Spark应用高手,还是Spark源码级别大牛,都可以借助本次大赛,一展才华,就Spark技术与应用

2014智能电视游戏峰会顺利召开,开启行业破冰序幕

由专业游戏引擎技术服务商橙子引擎(OGEngine)主办的2014智能电视游戏峰会于11月29日在深圳南山科技园召开.这次是智能电视游戏未来发展的行业盛会,是加速智能电视游戏发展的蓝海破冰之旅.本次会议业内巨头云集,精英汇聚,从引擎技术到电视游戏分发,共探讨电视游戏的发展.对于智能电视游戏,这个被认为手游市场饱和后的另一个蓝海,大家都在翘首以盼一个全新的游戏载体,一个全新的生态和商业机会. 那么本次会议又将有哪些看点呢?笔者现在就带大家一起来回顾一下. 亮点一:广受业界期待,会议报名火爆 自24

【互动问答分享】第12期决胜云计算大数据时代Spark亚太研究院公益大讲堂

"决胜云计算大数据时代" Spark亚太研究院100期公益大讲堂 [第12期互动问答分享]   Q1:jobserver 企业使用情况如何? 中国有一家视频网站已经使用超过JobServer超过半年的时间: 2013年和2014年Spark Summit均大力推荐使用JobServer: Q2:请问,jobserver是适合企业内部还是供外部客户使用(可能并发.安全有要求),还是两者ok? 目前可见的企业使用案例均是用在企业内部: 如果是企业外部可以作为云服务或者大数据资源池使用: Q

【互动问答分享】第5期决胜云计算大数据时代Spark亚太研究院公益大讲堂

Spark亚太研究院100期公益大讲堂 [第5期互动问答分享] Q1:spark怎样支持即席,应该不是spark sql吧,是hive on spark么? Spark1.0 以前支持即席查询的技术是Shark; Spark 1.0和 Spark 1.0.1支持的即席查询技术是Spark SQL; 尚未发布的Spark 1.1开始 Spark SQL是即席查询的核心,我们期待Hive on Spark也能够支持即席查询: Q2:现在spark 1.0.0版本是支持hive on spark么,它

【互动问答分享】第15期决胜云计算大数据时代Spark亚太研究院公益大讲堂

"决胜云计算大数据时代" Spark亚太研究院100期公益大讲堂 [第15期互动问答分享] Q1:AppClient和worker.master之间的关系是什么? :AppClient是在StandAlone模式下SparkContext.runJob的时候在Client机器上应       用程序的代表,要完成程序的registerApplication等功能: 当程序完成注册后Master会通过Akka发送消息给客户端来启动Driver: 在Driver中管理Task和控制Work

【互动问答分享】第10期决胜云计算大数据时代Spark亚太研究院公益大讲堂

"决胜云计算大数据时代" Spark亚太研究院100期公益大讲堂 [第10期互动问答分享] Q1:Spark on Yarn的运行方式是什么? Spark on Yarn的运行方式有两种:Client和Cluster模式 Client模式如下所示: Cluster模式如下所示: Q2:Yarn的框架内部是如何实现的? Yarn是一个框架,内部实现好了RM和NM: 公开课: 上海:9月26-28日,<决胜大数据时代:Hadoop.Yarn.Spark企业级最佳实践> 北京:

【互动问答分享】第17期决胜云计算大数据时代Spark亚太研究院公益大讲堂

"决胜云计算大数据时代" Spark亚太研究院100期公益大讲堂 [第17期互动问答分享] Q1:为了加快spark shuffle 的执行速度是否可以把spark_local_dirs 指向一块固态硬盘上面,这样做是否有效果. 可以把spark_local_dirs指向一块固态硬盘上面,这样会非常有效的提升Spark执行速度: 同时想更快的提升Spark运行速度的话可以指定多个Shuffle输出的目录,让Shuffle并行读写磁盘: Q2:solidation=true只是在同一机器

【互动问答分享】第13期决胜云计算大数据时代Spark亚太研究院公益大讲堂

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 [第13期互动问答分享] Q1:tachyon+spark框架现在有很多大公司在使用吧? Yahoo!已经在长期大规模使用: 国内也有公司在使用: Q2:impala和spark sql如何选择呢? Impala已经被官方宣布“安乐死”,被官方温柔的放弃: Spark SQL是Spark的核心子框架,同时能够和图计算.机器学习框架无缝集成,强烈推荐使用! Q3:如果有程序采用流式不停往tachyon集群写数据,但tachyon内存

2014年Tizen开发者峰会上海征稿启事!

本次征稿面向大中华用户: “Tizen开发者,应用程序开发人员.isv平台设计师.运营商.厂商.硬件厂商.软件厂商,开源爱好者,和从事Tizen的工作人员” 2014年Tizen开发者峰会 这一次,亚洲Tizen会议2014年10月下旬在中国上海召开,征稿启事现在开放了,从现在开始直到8月15日. 程序委员会正在寻找提交的使用和发展Tizen系统在以下领域: 应用程序开发和部署: 即将开发的和受欢迎的应用程序(发展故事,分享经验等等).使用Tizen API和SDK(应用,开发工具,和助手教程.