中国大数据六大技术变迁记(CSDN)

大会召开前期,特别梳理了历届大会亮点以记录中国大数据技术领域发展历程,并立足当下生态圈现状对即将召开的BDTC 2014进行展望:

追本溯源,悉大数据六大技术变迁

伴随着大数据技术大会的发展,我们亲历了中国大数据技术与应用时代的到来,也见证了整个大数据生态圈技术的发展与衍变:

1. 计算资源的分布化——从网格计算到云计算。

  回顾历届BDTC大会,我们不难发现,自2009年,资源的组织和调度方式已逐渐从跨域分布的网格计算向本地分布的云计算转变。而时至今日,云计算已成为大数据资源保障的不二平台。

2. 数据存储变更——HDFS、NoSQL应运而生。

  随着数据格式越来越多样化,传统关系型存储已然无法满足新时代的应用程序需求,HDFS、NoSQL等新技术应运而生,并成为当下许多大型应用架构不可或缺的一环,也带动了定制计算机/服务器的发展,同时也成为大数据生态圈中最热门的技术之一。

3. 计算模式改变——Hadoop计算框架成主流。

  为了更好和更廉价地支撑其搜索服务,Google创建了Map/Reduce和GFS。而在Google论文的启发下,原雅虎工程师Doug Cutting开创了与高性能计算模式迥异的,计算向数据靠拢的Hadoop软件生态系统。Hadoop天生高贵,时至今日已成为Apache基金会最“Hot”的开源项目,更被公认为大数据处理的事实标准。Hadoop以低廉的成本在分布式环境下提供了海量数据的处理能力。因此,Hadoop技术研讨与实践分享也一直是历届中国大数据技术大会最亮眼的特色之一。

4. 流计算技术引入——满足应用的低延迟数据处理需求。

  随着业务需求扩展,大数据逐渐走出离线批处理的范畴,Storm、Kafka等将实时性、扩展性、容错性和灵活性发挥得淋漓尽致的流处理框架,使得旧有消息中间件技术得以重生。成为历届BDTC上一道亮丽的风景线。

5. 内存计算初露端倪——新贵Spark敢与老将叫板。

  Spark发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,从多迭代批量处理出发,兼容并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。在短短4年,Spark已发展为Apache软件基金会的顶级项目,拥有30个Committers,其用户更包括IBM、Amazon、Yahoo!、Sohu、百度、阿里、腾讯等多家知名公司,还包括了Spark SQL、Spark Streaming、MLlib、GraphX等多个相关项目。毫无疑问,Spark已站稳脚跟。

6. 关系数据库技术进化—NewSQL改写数据库历史。

  关系数据库系统的研发并没有停下脚步,在横向扩展、高可用和高性能方面也在不断进步。实际应用对面向联机分析处理(OLAP)的MPP(Massively Parallel Processing)数据库的需求最迫切,包括MPP数据库学习和采用大数据领域的新技术,如多副本技术、列存储技术等。而面向联机事务处理(OLTP)的数据库则向着高性能演进,其目标是高吞吐率、低延迟,技术发展趋势包括全内存化、无锁化等。



立足扬帆,看2014大数据生态圈发展

时光荏苒,转眼间2014中国大数据技术大会将如期举行。在技术日新月异的当下,2014年的BDTC上又可以洞察些什么?这里我们不妨着眼当下技术发展趋势:

1. MapReduce已成颓势,YARN/Tez是否可以再创辉煌?

  对于Hadoop来说,2014是欢欣鼓舞的一年——EMC、Microsoft、Intel、Teradata、Cisco等众多巨头都加大了Hadoop方面的投入。然而对于众多机构来说,这一年却并不轻松:基于MapReduce的实时性短板以及机构对更通用大数据处理平台的需求,Hadoop 2.0转型已势在必行。那么,在转型中,机构究竟会遭遇什么样的挑战?各个机构如何才能更好地利用YARN所带来的新特性?Hadoop未来的发展又会有什么重大变化?为此,BDTC 2014特邀请了Apache Hadoop committer,Apache Hadoop Project Management Committee(PMC)成员Uma Maheswara Rao G,Apache Hadoop committer Yi Liu,Bikas Saha(PMC member of the Apache Hadoop and Tez)等国际顶尖Hadoop专家,我们不妨当面探讨。

2. 时过境迁,Storm、Kafka等流计算框架前途未卜。

  如果说MapReduce的缓慢给众多流计算框架带来了可乘之机,那么当Hadoop生态圈组件越发成熟,Spark更加易用,迎接这些流计算框架的又是什么?这里我们不妨根据BDTC 2014近百场的实践分享进行一个侧面的了解,亦或是与专家们当面交流。

3. Spark,是颠覆还是补充?

  与Hadoop生态圈的兼容,让Spark的发展日新月异。然而根据近日Sort Benchmark公布的排序结果,在海量(100TB)离线数据排序上,对比上届冠军Hadoop,Spark以不到十分之一的机器,只使用三分之一的时间就完成了同样数据量的排序。毫无疑问,当下Spark已不止步于实时计算,目标直指通用大数据处理平台,而终止Shark,开启Spark SQL或许已经初见端倪。那么,当Spark愈加成熟,更加原生的支持离线计算后,开源大数据标准处理平台这个荣誉又将花落谁家?这里我们一起期待。

4. 基础设施层,用什么来提升我们的网络?

  时至今日,网络已成为众多大数据处理平台的攻坚对象。比如,为了克服网络瓶颈,Spark使用新的基于Netty的网络模块取代了原有的NIO网络模块,从而提高了对网络带宽的利用。那么,在基础设施层我们又该如何克服网络这个瓶颈?直接使用更高效的网络设备,比如Infiniband能够带来多少性能提升?建立一个更智能网络,通过计算的每个阶段,自适应来调整拆分/合并阶段中的数据传输要求,不仅提高了速度,也提高了利用率。在BDTC 2014上,我们可以从Infiniband/RDMA技术及应用演讲,以及数场SDN实战上吸取宝贵的经验。

5. 数据挖掘的灵魂——机器学习。

  近年来,机器学习领域的人才抢夺已进入白热化,类似Google、IBM、微软、百度、阿里、腾讯对机器学习领域的投入也是愈来愈高,囊括了芯片设计、系统结构(异构计算)、软件系统、模型算法和深度应用各个方面。大数据标志一个新时代的到来,PB数据让人们坐拥金山,然而缺少了智能算法,机器学习这个灵魂,价值的提取无疑变得镜花水月。而在本届会议上,我们同样为大家准备了数场机器学习相关分享,静候诸位参与。

时间: 2024-10-15 08:48:16

中国大数据六大技术变迁记(CSDN)的相关文章

首届中国大数据技术沙龙会议

当今最红的名词是大数据,掌握趋势,才能赢得未来!首届中国大数据技术沙龙会议暨超人学院技术交流会,邀请各位前来参会.在这里,你可以了解大数据技术的趋势,掌握企业对于技术的最新动态,学习和分享你在工作中的经验及问题,你可以分享也可以提问,让你掌握大数据最前沿的技术.奔跑吧,兄弟!赶快报名参加!更多精彩内容抢先看!

首届中国大数据技术沙龙会议邀请函

当今最红的名词是大数据,掌握趋势,才能赢得未来!首届中国大数据技术沙龙会议暨超人学院技术交流会,邀请各位前来参会.在这里,你可以了解大数据技术的趋势,掌握企业对于技术的最新动态,学习和分享你在工作中的经验及问题,你可以分享也可以提问,让你掌握大数据最前沿的技术.奔跑吧,兄弟!赶快报名参加!更多精彩内容抢先看!

225家中国大数据企业名单

225家中国大数据企业名单 先奉上一张中国大数据产业地图   公司 简介 地点 分类 注册 时间 注册地点 1 北京九章云极科技有限 面向企业,提供大数据基础环境和常见算法 海淀 基础架构:分析 2013.2.6 海淀 公司(Data Canvas) 库 2 广联达软件 售卖建筑材料价格信 海淀 数据源 1998.8.13 北京 息 3 上海鲁班软件有限公司 建筑业数据汇集平台 上海 数据源 2005.8.16 海淀 4 北京四维图新科技股份 地图和地理数据提供 海淀 数据源 2012.12.0

追本溯源 解析“大数据生态环境”发展现状(CSDN)

程学旗先生是中科院计算所副总工.研究员.博士生导师.网络科学与技术重点实验室主任.本次程学旗带来了中国大数据生态系统的基础问题方面的内容分享.大数据的发展越来越快,但是对于大数据的认知大都还停留在最初的阶段——大数据是一类资源.一类工具,其实“大数据”更多的体现的是一个认知和思维,是一种战略.认知和文化. 以下为分享实录全文: 一年多来,通过组织中国大数据技术大会.CCF大数据学术会议以及各类大大小小的应用峰会与学术论坛,结合我们科学院网络数据科学与技术重点实验室所承担的与大数据相关的重大基础课

2017中国大数据产业生态大会8月2日-3日在北京召开

智领先机 数见未来 · 主题释义: 随着科学技术的不断发展,人类已经进入智能时代. 未来的竞争中,只有具备更加智能的决策能力,才有可能在竞争中占得先机. 做出智能决策的基础则正是大数据,以大数据为驱动引擎才能实现真正的智能. 主办单位:中国电子信息产业发展研究院 承办单位:中国大数据产业生态联盟 联合承办单位:<软件和集成电路>杂志社.达晨创业投资有限公司.工信部赛迪智库.中国软件评测中心.赛迪顾问股份有限公司 票务合作伙伴:活动家 现场拟参会嘉宾3000人,在线拟邀请参会嘉宾10000人,现

大数据 --&gt; 大数据关键技术

大数据关键技术 大数据环境下数据来源非常丰富且数据类型多样,存储和分析挖掘的数据量庞大,对数据展现的要求较高,并且很看重数据处理的高效性和可用性. 传统数据处理方法的不足 传统的数据采集来源单一,且存储.管理和分析数据量也相对较小,大多采用关系型数据库和并行数据仓库即可处理.对依靠并行计算提升数据处理速度方面而言,传统的并行数据库技术追求高度一致性和容错性,根据CAP理论,难以保证其可用性和扩展性. 传统的数据处理方法是以处理器为中心,而大数据环境下,需要采取以数据为中心的模式,减少数据移动带来

大数据: 战略 技术 实践 电子书 PDF 下载 制作 定制 服务

内容推荐 本书从实际技术解决方案出发,提出了大数据技术四层架构,即基础设施层.管理层.分析层.应用层.在此基础上,全面剖析了当前大数据领域中的主流技术,并配以行业应用实例和一线研发人员的独到见解.力求使读者能够通过阅读此书,全面了解当前大数据技术动态和发展趋势,并可针对自己面临的大数据问题找到可行的解决方案. 作者简介 本书编写组来自于EMC中国研究院和Vmware中国研发团队,他们将亲历的丰富的大数据分析处理研究成果和企业大数据实施经验,带到本书中,使得本书在技术的广度与深度方面得到很好地配合

工业大数据应用技术国家工程实验室

一.简介工业大数据应用技术国家工程实验室于2017年2月经×××批复立项建设,由航天云网北京航天数据股份有限公司牵头,联合中国机械工业集团公司.哈尔滨电气集团公司.阿里云计算有限公司.中国沈阳自动化研究所.北京工业大学.中国质量认证中心.北京金隅股份有限公司.北京工业大学共同组建. 实验室以推动工业大数据产业发展,攻克重大技术难关为目标,是全国唯一的应用技术研发创新与产业推动的支撑机构.实验室的建成,将有利于强化产业技术原始创新能力,加强基础和产业研究之间的有机衔接:整合产学研资源,培养工业互联

禧云数芯大数据平台技术白皮书

白皮书作者:赵兴申 顾问:郑昀 出品方:禧云集团-基础技术中心-大数据与算法部 数据分析组:谭清勇.王明军.徐蕊.曹寿波 平台开发组:刘永飞.李喜延 数据可视化组:陈少明.董建昌 基础架构组:崔明黎.邱志伟.陈赏 第一章:数芯大数据平台 1.1 禧云大数据发展历程 知名咨询公司麦肯锡称:『数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素.人们对海量数据的挖掘和运用,预示着新一波生产率增长和消费盈余浪潮的到来.』良好的数据管理和处理技术,已经成为企业不可或缺的竞争优势. 禧云集团(