云栖会议.武汉峰会(二)

3 企业级互联网架构专场(下午场)

下午分会场有不同主题,即有云计算大数据企业级应用实战,又有商业化和业务化角度来论述大数据应用的,而阿里云计算大数据平台架构是我颇为关心的,故以下只对系统架构进行论述。

3.1 企业级互联网架构实践

---------------------虚缇 阿里巴巴中间件架构师

 
      

早期,阿里巴巴早期的架构设计是标准界面式War包形式:全部的界面和后台功能都集中于一个War包里面,故这个War包很大,一般多500M~600M左右,但是这样开发却存在较大的问题。比如,每个星期发两次包,礼拜二和礼拜四,总有一部分人会赶不上进度发布不了包,这样会拖累整个项目的正常发包;而且,阿里巴巴,淘宝,天猫之间又存在很多相似的地方,如果重新开发,就完全是Copy to Paste模式,导致人力、精力的严重浪费,基于以上存在的问题,阿里巴巴就把复杂的架构进行各种拆分:把共享的服务拆分开来,例如每个业务模块都会使用的用户中心,把用户中心从各种业务中拆分出来,大家在使用时只需调用接口就可以了,不需要重复开发。数据拆分包括:应用与应用的解耦,应用与数据库解构,应用与数据库的彻底解构,如上图所示。

 
     

随后,阿里形成了共享业务事业部,可以分为共享业务和技术平台,技术平台是企业级互联网架构组成部分,其核心落地是使用中间件技术来实现。根据不同的业务可以快速形成淘宝,聚划算,天猫,淘宝,阿里巴巴等不同应用。

在此过程中,阿里平台形成一批优秀产品,例如EDAS,DRDS,MQ等,EDAS可以一种调用服务的中间件,DRDS是分布式数据库,MQ是消息中间件。

对于互联网上成熟组件和技术,如海量数据,docker,LAMP,开源,分布式等,网上有很多人鄙视阿里:“只是拿着开源东西用,没有任何贡献”。而阿里的观点是可以参考和使用成熟的技术,但是一定要先验证组件的成熟,然后弄懂其原理和设计,如果有业务需要,可以在此之上拓展。一个成熟的组件会让事情事半功倍,但是仅仅只是使用而不知其所以然,就会给自己挖坑而已。

阿里的架构设计中采用一系列原则:

  • 尽可能拆分

一个大型系统功能架构,应该尽可能拆分开来,让共享的,类似的功能分离出来,避免重复开发和代码冗余。并且,各个模块之间的关系应该是低耦合的。

  • 去中心化

  • 使用成熟组件

可以使用成熟组件,但是一定要先验证组件,然后摸清底层原理和设计原则。

  • 尽可能的自动化

       

从运维的角度看,只要人操作的事情总会出错,一定要把人参与的手动的事情,让其自动化和机器化。早期阿里运维人员有500多号人,但是随着自动化的过程,阿里现在运维人员不到100号人了。

  • 数据化运营

从运维的角度看,对服务和应用实时性监控和管理。

  • 异步化

让同步的事情,尽量异步化。

3.2 企业级分布式应用服务——“构”无边界

--------------------------------------------------------------------------------倪超(银时) 阿里巴巴中间件技术专家

阿里早期技术现状:技术团队规模500人左右,开发使用War包应用,基于传统应用开发架构(Spring),业务量每年翻倍增长。但是存在很多问题,其主要三个问题:

  • 问题I:业务支持缓慢,牵一发而动全身

  • 问题II:数据库连接数:由于业务量迅猛发展,太多应用机器需要连接数据库

在2009年之前,阿里是通过底层硬件撑起服务,虽然早期业务发展很迅猛,但是阿里盈利大多数去购买Oracle机器。早期Oracle是一年升级一次,但是后面发展成一个月升级一次,甚至购买了Oracle小型机都无法满足快速发展的业务需求,并且升级过程中会停止阿里后台服务,造成阿里的功能和服务的不可用,会损失大量用户订单,更重要的是这种方式不能从本质上解决问题。

  • 问题III:数据孤岛

天猫,淘宝,聚划算等APP应用,有很多相似的功能,如果各个APP单独存在,那么会造成数据孤岛。例如:用户注册这功能,每个APP都会用到这一功能,如果重复开发,完全代码重复,和数据重复,最重要的对用户友好性有造成负面影响。

由于以上存在的问题,阿里从07年至今,基于EDAS进行服务化改造。

阿里的核心技术可以这么概括:

  • I 自主创新走出技术困难,沉淀一大批成熟中间件技术;
  • II 共享服务体系打破应用“烟囱式”建设方式,支持业务快速创新;
  • III 云化基础架构高效支持业务增长,灵活的弹性伸缩带来巨大的成本节约

去中心化服务框架,只是一个简单的开始。

立体化监控服务=资源+容器+应用

     
             

但是,随着阿里业务功能的拆分的越来越细,越来越具体,阿里功能模块却越来越多。开始总架构师能够把所有模块功能讲解清楚,如上图所示。但是后面根本就很难讲解明白每一个模块功能(没有回答是怎么处理)。从另外一个角度看,阿里的代码封装性却较好。

     

并且,在定位问题的过程中,快速定位难度较大,例如:看到A模块错误日志,找A的模块主管,A主管看后台日志,发现是调用B模块的问题,让维护人员找B模块主管;B模块发现不是自己的错误,是C模块的问题;如此循环,一两个小时过去了,才找到问题根源。花费大量的时间和精力去定位问题,所以阿里使用EDAS研发出“EDAS鹰眼跟踪”,来定位问题。而EDAS链路分析作用是统计代码稳定性、方法负载均衡,如上图所示。

  

注:以上有些只代表个人观点和理解,如若与作者本人观点有出入,请予以包涵!

时间: 2024-10-07 19:39:51

云栖会议.武汉峰会(二)的相关文章

飞天技术汇“2018云栖大会·重庆峰会”专场,“一出好戏”等你加入

2018俄罗斯世界杯比赛期间,国内数千万的观众通过CCTV5.优酷.央视影音或者是咪咕视频观看了此次开幕赛.值得注意的是,这四大官方指定网络直播平台都选择了使用阿里云的技术,确保观众顺畅.高清.低延迟的观看体验. 在飞天技术汇"2018云栖大会·重庆峰会"专场上,阿里云专家将以世界杯直播为案例,为观众全面剖析大型互联网直播面临的技术挑战,包括稳定性.流畅性和高清度,从弹性计算.存储.网络.数据库.CDN.视频产品的技术角度讲解阿里云飞天产品如何为世界杯网络直播提供强有力的技术支持. 2

飞天技术汇“2018云栖大会·上海峰会”专场,等你加入

摘要: 智能制造是中国传统企业面临的重大课题,如何正确处理企业智能转型过程中出现的各种问题,如何顺利完成传统制造业的数字化革命,云计算的智能化解决方案将为观众提供全新的思路. 在飞天技术汇"2018云栖大会·上海峰会"专场上,阿里云专家将重点针对金融.信息和制造等行业,从弹性计算.存储.网络.数据库.CDN产品的技术角度,为观众深入剖析云上智能如何推动中国企业数字化转型. 智能制造是中国传统企业面临的重大课题,如何正确处理企业智能转型过程中出现的各种问题,如何顺利完成传统制造业的数字化

2018杭州-云栖大会

每年的云栖大会都有重磅发布.2016年云栖大会,马云首次提出“五新”战略(新零售.新金融.新制造.新技术.新能源):2017年云栖大会,阿里巴巴达摩院成立,3年投入1000亿元,立足基础科学.颠覆性技术和应用技术的研究. 今年云栖大会的主题是“驱动数字中国”,主会场将对驱动数字中国的样板案例“杭州故事”进行全景解读. 过去,杭州一直以移动支付之城著称,而今,随着“最多跑一次”的推进,杭州已成了移动办事之城,而随着城市大脑的进化,杭州的拥堵度也从原来的排名全国前十,优化到目前的全国第83名.一切变

【云栖大会】程序猿、攻城狮的大聚会 他们眼中的云栖大会是啥样

2016年云栖大会进行得如火如荼,"烧脑"."前沿"."高端"."技术"."一票难求"--这些关键词把这场"干货"分享大会衬托得神秘满满,有一群人却沉浸其中,自得其乐. 他们的名字叫--程序猿.攻城狮. 从最初的站长大会,到阿里云开发者大会,再到云栖大会:从200名草根站长到4万名业内外参与者:从单一峰会发展至超过100场论坛的"巨无霸"大会:从纯谈技术到融合音乐节.

【云栖精选】当AI来敲门_一刊尽览人工智能

原文链接 一个月前,柯洁与AlphaGo的人机大战的结局定格在了0:3,和去年李世石输给AlphaGo一样,人类的惨败又一次引发了一阵热议--人工智能时代真的已经到来了吗?很遗憾,并没有!人工智能有强弱之分,而我们现在只是处于弱人工智能时代,未来的人工智能远不止下棋这么简单,它将会改变人们的生活方式.把时间线拨回到1956年的夏天,以麦卡锡.明斯基.罗切斯特.香农为首的全球最显赫的计算机学界专家在达特茅斯会议上齐聚一堂,正式宣布了人工智能学科的诞生,几乎就在一夜之间,这一概念便受到了一众学者的追

【直播预告】云栖直播:阿里热修复产品HotFix2.0升级详解

全面--你知道吗?1891年,卡尔森纳做出的第一把瑞士军刀,只有螺丝刀和开罐器.经过一代又一代能工巧匠的打磨,这把刀陆续增加了锯子.剪刀.镊子.放大镜.改锥,甚至内藏激光.LED手电筒.USB记忆碟等功能. 稳定--你知道吗?公元前1500多年前,埃及人就已经用绳子和竖棍做成了简易天平,成为现代天平的雏型.天平是平衡的象征,托盘内不断增加的砝码,更是自信与质量的保障. 精准--你知道吗?1608年,荷兰眼镜商汉斯·利伯希用两块镜片发明了人类历史上第一架望远镜,随着技术的发展,大千世界在人类的探索

2016杭州云栖大会新亮点在这里

云栖大会已经圆满落幕,新霸哥近期一直在关注大会的一些情况,相信很多的开发者也在关注大会动态,下面新霸哥将为大家介绍一些关于参加完大会后的一些感想和心得体会和大家分享一下. 云栖大会折射出的是创新.创业大平台.大数据相关产业兴起的一面.2016杭州云栖大会上马云说:新零售.新制造.新金融.新技术.新资源,这五个新将会方方面面的,对各行各业发动巨大的冲击和影响,把握则胜,我不希望把它变成危言耸听的警示,而是当作改变自己的机遇,从现在开始.马总的这番话给我们这些创业者指明前进的方向. “飞天”是科技创

2015年云栖大会:85天盖起来的大会,逾2万人参会,“计算为了无法计算的价值”

[TechWeb报道]10月15日消息,阿里巴巴集团首席技术官王坚今日在2015阿里云栖大会上发表演讲,王坚以三个视角阐述了对阿里云栖大会的理解,他表示:互联网时代计算真正带来的价值和影响是方方面面的. 85天盖起来的大会:阿里云栖究竟是个什么会? 这是一个怎样的会?不仅仅是参会者好奇,阿里内部也很纠结.纠结的原因并非是会议主题的不明确,而是对互联网技术发展变迁的感叹. 王坚指出,“我们不是一个会来讨论大家都知道的东西,这是一个场合,所有人来探索不同的东西.我想今天来参会的人,可能每个人,无论他

云栖小镇—阿里特色的云计算生态系统

乌镇世界互联网大会上,其他大佬们津津乐道的都是产品.技术.战略和思维,而马云一直挂在嘴边的字眼却是生态系统. 自然界中,热带雨林无疑是最好的生态系统,除了分散的数十米高的乔木所组成的露生层之外,较矮乔木树冠横向生长,形成连续覆盖的树冠层,能吸收大部分阳光和雨水,然后是幼树层,藤蔓.灌木和蕨类等组成的灌木层,苔藓和地衣等组成的地面层.当然还有更具活力的动物和真菌.这些生态系统的成员都在日复一日地不停工作,彼此交换着能量和物质,人人为我,我为人人,形成了一个有机的大家庭. 热带雨林由于雨水充足,常年