2014 BDTC 参会有感

中国大数据技术大会(Big Data Technology Conference,BDTC)是目前国内最具影响、规模最大的大数据领域的技术盛会。大会的前身是Hadoop中国云计算大会(Hadoop in China,HiC)。从2008年仅60人参加的技术沙龙到当下的数千人技术盛宴,作为业内极具实战价值的专业交流平台,已经成功举办七届的中国大数据技术大会忠实地描绘了大数据领域内的技术热点,沉淀了行业实战经验,见证了整个大数据生态圈技术的发展与演变。

为了迎接大数据时代的到来,更好地交流大数据的实践经验,进一步推进大数据技术创新与应用,展示国内外大数据领域的最新科研成果,2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所与CSDN共同协办的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)将在北京新云南皇冠假日酒店隆重举办。

大会官网:http://bdtc2014.hadooper.cn/m/zone/bdtc_2014

由于我家在上海,没想到要去。一来是最近很忙,有很多事情要做;二来还是比较折腾的,想着看视频回放吧;三来比较贵,此去一行要花费近5K大洋。但是后来CSDN送票;还有人帮忙报销路费;住宿也不是问题,毕竟三个姐姐都在北京;因此成行。

首先感谢CSDN,不单单是因为送我票,CSDN也是本次大会的协办单位;在会场看到了很多的CSDN的小伙伴,非常辛苦。

先说几个最大的感受:

1. 会议组织的很好;不单是Speaker准备的很好,部分的内容很有深度;硬件也不错,比如同声传译。

2. 参会人员很多,遇到了很多熟悉的面孔,其中不乏从上海,杭州赶过去的;而且目测有一些我厂小伙伴(通过我厂背包)。

3. 展台很多。可以从各个创业公司的海报看到他们的产品,从产品可以看出行业一些基本的需求点和大家的关注点。

4. 见到了Doug Cutting  大神。虽然想去签名+拍照,但是为了保持自己的矜持就没有挤上去。

5. Spark的确是大家的关注点,很多Speaker不时的会提到Spark,甚至做超机的高光荣教授 教授。

6. 大家一致认为大数据刚刚落地,甚至有嘉宾激进的认为现在和80年代PC刚起步一样,现在大数据所面临的问题比如计算存储网络资源在不久的将来将不复存在(问题是不断演进的吧,比如是否可能会有计算模型定义的硬件,即computing defined hardware,呵呵)

7. 干货很多,节奏很快,基本上没有QA的环节。

由于周日的技术论坛分了大数据生态系统,大数据技术,大数据应用和大数据基础设施等4个分论坛,而且时间是完全重叠的,因此只能选择自己感兴趣的去听。接下来分享一下印象比较深的几场。先分享第一个:

2015年大数据基础技术的演进趋势:孙元浩  星环科技CTO

四个趋势:

1. 混合架构将逐渐消失

2. 固态盘将替代内存作为缓存

3. 实时大数据技术得到广泛关注

4. 云计算和大数据终于可以融合

对于第一个趋势,我认为在小公司是可以的,毕竟维护多个架构的运维成本,集群成本都很高。如果一个架构可以满足大家需求,那么将计算资源整合到一块为整个公司服务绝对符合公司的利益。但是对于BAT这种超大的公司,可能根本就不会存在一个通用的架构。很多地方的运算都会苛刻,比如延时,比如吞吐。为不同的应用场景搭建不同的架构,BAT不单是由技术人员去实现,运维人员去运维,而且还有应用场景的强需求。可能离线和近线使用统一的架构在理论上是可能的;但是在线部分至少在现在,还没有看到这个趋势。

第二个趋势,还是非常有可能的,毕竟如果为一个计算场景设计一个特殊的文件格式,那么SSD的确可以达到很高的性能。而且成本不高,容量巨大,的确是大家应该认真思考的地方。EMC的MCF,就是使用SSD作为一层缓存,还是取得了很好的性能优势的。机械硬盘最大的问题在于随机读,一个寻道直接耗费10ms这个量级,要知道很多在线系统的总延时也不过数百ms;对于高频交易系统,大家的时间维度都是在us,甚至大家为了解决数据在内存到网卡之间的传输延时而设计了专门的硬件,为了避免TCP多次握手和ack带来的延时而实现了“可靠”的UDP。通过为不同的场景设计特殊的SSD的文件格式,SSD的性能得到最大程度的提升;这个趋势,值得大家关注。

第三个趋势,实时大数据不单在大公司得到重视,小公司也是如此;大公司实际上早已在生产环境完成了相关场景。而对于小公司,可能第三方的架构就非常重要了,毕竟从人力,物力来说很难开发一套可用的实时大数据系统。这就导致了相关技术会继续得到关注,社区也会持续在这方面进行改进。

第四个趋势,云计算和大数据终于可以融合。云计算大数据作为商业的噱头炒作了已经很多年了。但实际上,大数据才刚刚开始,大数据时代的帷幕已经徐徐拉开并且大家都在专注的实现一些可以为公司,为用户创造可见价值的技术。尤其是Docker,和在其上面的Google Kubernetes,作为一个轻量级的container,为资源部署,资源隔离等制定一个标杆。相信spark等平台以后会加入对他们的支持。 虚拟化技术这些年,解决了很多问题,也带来了很多问题;而docker,解决了虚拟化带来的问题,比如性能。

(未完待续)

时间: 2024-08-03 15:17:15

2014 BDTC 参会有感的相关文章

OpenStack Days China参会有感——GIS距主流IT还有多远

前几天有幸参加了OpenStack Days China的两天技术峰会,集合了全球及国内顶尖的OpenStack技术专家,为我们分享了许多关于OpenStack的技术报告. 有许多人参加类似技术峰会都有这些感受: 1.一般主会场的领导和院士发言基本没有什么干货,也就是对我们实际工作没有太大帮助 2.一般讲的不错的都是公司的CEO.CTO等,但是他们都是公司商业因素占据很多,技术并不是他们实干,好像也没有什么收获 3.一般分享干货的实践者往往讲的水平一般,枯燥乏味,太干了,干的让人无法消化 当然,

11.1-12.31推荐文章汇总

11.1-12.31推荐文章汇总 [移动开发] iOS开发- 以图搜图功能实现 (源码+解析)        hitwhylz Android任务和返回栈完全解析,细数那些你所不知道的细节        郭霖 Android 教你打造炫酷的ViewPagerIndicator 不仅仅是高仿MIUI        鸿洋_ "暗隐间谍"--利用NDK NativeActivity技术实现Android加固        androidsecurity Android Xfermode 实战

云计算大会有感—MapReduce和UDF

(转载请注明出处:http://blog.csdn.net/buptgshengod) 1.参会有感 首先还是非常感谢CSDN能给我票,让我有机会参加这次中国云计算峰会.感觉不写点什么对不起CSDN送我的门票(看到网上卖一千多一张呢). 还是得从国家会议中心说起,两年前lz曾经在那当过IDF的志愿者,当时是纯体力劳动,负责给参会人员发一些杂志什么的,当时苦逼的为了多蹭一个盒饭躲到柜子后面直到开饭.真没想到两年后可以以来宾的身份参加国家会议中心的大会(虽然午餐还是苦逼的盒饭吧),这次真的可以走进主

VR就是下一个浪潮--2016 (GMGC) 全球移动游戏大会观后感

VR就是下一个浪潮 --2016 (GMGC) 全球移动游戏大会观后感 早在2014年参会Unity举办的一年一度的金立方盛典大会,就初次体验了VR头盔设备,于是印象深刻. 2015年上半年不断传出各知名游戏公司高管离职从事VR(虚拟现实)创业的消息.15年美国的Facebook CEO扎克伯格更是斥资20亿美元收购了业内VR技术领导者公司 Oculus ,且大胆预言:"VR就是下一个浪潮"! 2015年3月7-9日北京国家会议中心,举办2016年GMGC第五届全球移动游戏大会,出版社

2014阿里云AWDC参会总结

2014年10月16-17号,一年一度的阿里云AWDC开发者大会如期在杭州云栖小镇举办,本人作为众多开发者中的一员,也有幸能够来到现场参与其中. 目前,云计算已经成为当今IT行业最棘手可热的技术之一.无论是国外的亚马逊AWS.谷歌GAE.微软Azure.苹果iCloud.SalesForce,还是国内的阿里云.盛大云.青云.UCloud.腾讯云,各大行业巨头们都将注意力转移到了云计算领域,纷纷面向中小微企业以及个人用户开放了各自的公有云服务.与其同时也有很多优秀的开源云计算平台被开发出来供人们选

2014年6月底江城有感

不经意间,我已经来此处近两个月了.初来乍到的好奇和欣喜彷佛还在昨天.有时候梦中还会被“没有考上”之类的噩梦惊醒.醒来发现自己梦中悬着的心一下子就掉下来了,还好我在这里.在2014年即将过去一半之际,为自己写点东西,理一下自己的思路. 回想起去年那种临江扼腕的勇气和艰难的岁月,不禁感慨万千.人生总是充满了变数.费了那么大的劲才来到这里,耽误了一年时光来磨练心性.机会来之不易,不敢不兢兢业业,倍加珍惜.本科期间,最大的感触就是自己不够专注.感兴趣的颇多,社团.金融双学位.ACM.GIS大赛.计算机等

MDCC 2014移动开发者大会参会实录

具体讲什么我就不重复了,各大媒体的编辑整理的比我的好! 我就晒晒图!后面有惊喜哦! 会场地点:早上七点多,天色有点暗,主要是阴天的原因. 小黄人比较可爱. 北京新云南皇冠假日酒店 大会签到处,早上在酒店外面,后来转到室内 不能到现场的用这张图PS一下,留个影吧. 酒店大堂 业余爱好者制作 的R2 两轮电动汽车 坚持到最后会胜利,看博到最后有美女! 美女个个都非常漂亮,我这设备不行,摄像技术也不行,没拍出真实效果! 声明:如果不幸图片中出现了谁家的广告,请联系我做删除处理!

谁改变了世界,GITC 2014全球互联网技术大会

互联网技术自发明以来已经走过了40多个年头,在过去几年中,全球范围内兴起了新一轮互联网技术热潮,大规模宽带网络建设正在多国展开,云计算.大数据等信息产业兴起,并在几年内得到非常极速的膨胀与发展.互联网产业变革在加速,颠覆传统行业的节奏进一步加快. 2014年又是互联网技术飞跃和变革的一年,各种新技术作为是计算机科学和互联网技术发展的产物,成为引领未来信息产业创新的关键战略性技术和手段,不仅给全球信息产业创造了深远的变革机会,同时也给工业等传统产业创造了全新的沟通环境.在过去的2013年中,微信颠

2014 Hangjs 见闻流水账第二天

前言 第一天传送门: 2014 Hangjs 见闻流水账第一天 写作风格跟第一天还是一样的. Slide 每个slide我都会根据自己的理解重新命名一次,用于表达自己的第一看法,主观意见,不喜可吐槽,但是不要喷,就算要喷请轻碰... angular 大法好 今天第一场slide是由Sofish带来的关于如何优化你的Angular Web App. 作为一名angular用户,这次slide分享的切换路由状态的监听事件,是个不错的收获,之前的loading状态都是到处定义开始-结束和标识,或者自定