漫谈大型网站架构

大型网站架构从来都不是一个预先定义的架构,而是一个演进式的架构。很少有一个网站从建站开始,就能够因具备大型网站的所有属性而一成不变的,从最 简单的LAMP架构,再到基于IOE的大型集中式应用架构,再演变成时下的分布式应用架构,随着网站用户规模的扩大,架构也在不断演进。从实体机到虚拟机 再到当前流行的Docker技术,从单机房到同城多机房再到异地多活,从LAMP到J2EE再到各种分布式中间件如服务框架、分布式消息队列、配置管理中 间件、分布式数据访问层,由简至繁的艰难蜕变,也正是一个网站从小变大由弱变强的成长历程,哪里有挑战,哪里才会有变革,这正是作为技术人建功立业的时 刻。

规模不断扩大,但成本不可能随之线性增长,因此,如何利用规模效应降低资源成本,抽取公共部分,避免重复造轮子,提高开发效率和响应速度,成了必须 思考的问题。技术存在的核心价值就是为了生产力的提高,当技术架构制约了生产力发展,就需要进行技术变革。当前支撑大型网站的几大核心技术,分布式、服务 化、虚拟化,其中分布式解决的是规模化带来的问题,所谓的规模化即包括数据规模越来越大,访问量越来越高,也包括开发团队规模越来越大,工程代码规模越来 越大。单机的存储能力以及负载能力必然有限,从PC到小型机再到中型机、大型机,成本将成指数级升高,而成百上千人开发同一个工程,则导致系统臃肿,开 发、发布效率极低,互联网将丧失了赖以生存的灵活性,回到以前传统软件的开发模式。通过应用垂直拆分,集群分布式水平扩展,不仅使系统容量得到提升,存储 和负载将分配到大规模的廉价集群上,以降低成本,开发效率和开发模式也得到改变。通过公共业务抽取,将诞生一批处于系统底层的基础服务,避免相同的内容重 复造轮子,提高开发效率。作为大型网站架构中最重要的中间件,服务化框架简化了服务调用所涉及的对象序列化与反序列化,通信协议,服务路由等操作,以及到 后来诞生的一个新名词—服务治理,去梳理服务的依赖关系、调用链路、强弱依赖等等更复杂的问题。除此之外,在架构师的武器库中,还有众多不同应用场景下使 用的中间件,如消息中间件、 分布式数据访问层、配置管理中心、数据迁移工具、分布式文件系统等等,这些都是日常系统架构中的粘合剂。大型网站的另外一个 核心技术就是资源的虚拟化,从实体机到Xen、KVM再到基于LXC的轻量级虚拟化方案,再到Docker,技术的更新换代使得资源的利用率越来越高,集 群的运维、部署和管理越来越方便。另外不同的场景下如何选择存储也十分重要,高并发和大数据往往都不会单独出现,到底是采用磁盘、SSD还是采用内存,到 底是采用分布式文件系统,关系数据库,还是NOSQL,还是采用内存分布式缓存,不同的场景下方案会大相径庭,分布式文件系统存储容量几乎可以理解为无 限,但是吞吐低,关系型数据库有严谨的schema以及功能强大的SQL语句,可以满足各种复杂的查询条件,但无奈扩展太麻烦,为了应对高并发读写访 问,master-slave、读写分离、分库分表一折腾,不仅工作量大增,且查询维度受限,还需要引入垂直化搜索引擎来扩展查询维度,NOSQL虽然能 自动分区扩容,但无奈不支持SQL,而缓存虽快,内存条又太贵,架构就是要不断的权衡取舍。

大公司之所以不如小公司响应速度快,原因在于大公司有太多积累,有时候积累多了也会成为包袱,现有的模型会使得新业务难以快速融入。当遇到问题和挫 折的时候,就是思考改进和系统变革的时候,从来没有哪个系统在设计好之后就封存代码永不改变的,技术永远是不断发展,需求和市场也是不断变化的,因此不要 指望用一种架构满足所有的需求,系统设计需要满足一段时间内的可扩展性,但千万不要过度设计,因为过了半年之后你回过头来重新review,你会发现需求 早已改变,这就是互联网的快节奏。对于系统的架构来说,一段时间之内架构的演变,常常会经历从清晰,再到模糊混乱,再重构,再清晰,然后又变得模糊的过 程,市场环境总是瞬息万变的,因此,系统的设计要遵循对扩展开放,对修改封闭的原则,做到这点即可方便及时的接入新流程,又能够不影响既有的流程。从宏观 来看,各个系统间的关系一定不是烟囱与烟囱的关系,而是犹如城市里的高楼大厦,通过公路连接起来,因此,要提高建房子的速度,就要充分利用已有的基础设 施,已有的中间件,来降低系统构建的成本和风险。架构设计的几个层次,没有架构也是架构,专注于解决现有问题也能称为架构,而好的架构应该是即能够约束开 发者又能够解放开发者使其专注于功能的设计。尽量将复杂的事情变的简单,而不要将简单的事情变的复杂,技术从来都不是用来炫的,而是用来解决实际问题的, 因此我们不需要花拳绣腿,洛克希德·马丁公司的著名飞机设计师凯利·约翰逊所提出的KISS原则,就是最好的诠释。风险驱动的架构理念告诉我们,避免失败 是所有工程技术的核心,架构也是技术,运用架构技术去缓解风险,避免走极端,是架构师的最根本职责。

作者介绍:陈康贤(花名龙隆, 博客),淘宝技术部技术专家,著有《大型分布式网站架构设计与实践》一书,在分布式系统架构设计、高并发系统设计、系统稳定性保障等领域积累了较为丰富的实践经验,对新技术有浓厚的兴趣 。

时间: 2024-08-11 03:32:32

漫谈大型网站架构的相关文章

大型网站技术架构(一):大型网站架构演化

第一章:大型网站架构演化 九层之台,始于垒土:千里之行,始于足下. 对于网站的发展,亦是如此,从上世纪90年代开始,互联网经历了20多年的发展,发生了翻天覆地的变化,今天,全球有一半的人使用互联网,从信息检索到实时通信,从电子购物到文化娱乐,互联网渗透到了生活的每一个角落.但是,构建一个高性能的网站,绝非一朝一夕可以完成,我们来看下,作为一个大型网站系统应有的特点: 1.大型网站系统应有的特点 高并发,大流量:需要面对高并发用户,大流量访问.举个例子,去往迪拜的飞机有200张票,但是有100w人

大型网站架构不得不考虑的10个问题

大型网站架构不得不考虑的10个问题 这里的大型网站架构只包括高互动性高交互性的数据型大型网站,基于大家众所周知的原因,我们就不谈新闻类和一些依靠HTML静态化就可以实现的架构了,我们以高负载高数据交换高数据流动性的网站为例,比如海内,开心网等类似的web2.0系列架构.我们这里不讨论是PHP还是JSP或者.NET环境,我们从架构的方面去看问题,实现语言方面并不是问题,语言的优势在于实现而不是好坏,不论你选择任何语言,架构都是必须要面对的. 这里讨论一下大型网站需要注意和考虑的问题 1.海量数据的

《大型网站技术架构-核心原理与案例分析》之一: 大型网站架构演化

最近刚刚读完李智慧的<大型网站技术架构-核心原理与案例分析>,对每章重点内容作了一些笔记,以便加深印象及日后查阅. 一.大型网站软件系统的特点 高并发,大流量:需要面对高并发用户,大流量访问. 高可用:系统7X24小时不间断服务. 海量数据:需要存储.管理海量数据,需要使用大量服务器. 用户分布广泛,网络情况复杂:许多大型互联网都是为全球用户提供服务的,用户分布范围广,各地网络情况千差万别. 安全环境恶劣:由于互联网的开放性,使得互联网站更容易受到攻击,大型网站几乎每天都会被黑客攻击. 需求快

大型网站架构系列:消息队列(二)

本文是大型网站架构系列:消息队列(二),主要分享JMS消息服务,常用消息中间件(Active MQ,Rabbit MQ,Zero MQ,Kafka).[第二篇的内容大部分为网络资源的整理和汇总,供大家学习总结使用,最后有文章来源] 本次分享大纲 消息队列概述(见第一篇:大型网站架构系列:分布式消息队列(一)) 消息队列应用场景(见第一篇:大型网站架构系列:分布式消息队列(一)) 消息中间件示例(见第一篇:大型网站架构系列:分布式消息队列(一)) JMS消息服务 常用消息队列 参考(推荐)资料 本

(转)大型网站架构系列:电商网站架构案例(1)

大型网站架构是一个系列文档,欢迎大家关注.本次分享主题:电商网站架构案例.从电商网站的需求,到单机架构,逐步演变为常用的,可供参考的分布式架构的原型.除具备功能需求外,还具备一定的高性能,高可用,可伸缩,可扩展等非功能质量需求(架构目标). 根据实际需要,进行改造,扩展,支持千万PV,是没问题的. 本次分享大纲 电商案例的原因 电商网站需求 网站初级架构 系统容量估算 网站架构分析 网站架构优化 架构总结 电商网站案例,一共有三篇本篇主要说明网站的需求,网站初始架构,系统容量估算方法. 一.电商

大型网站架构系列:负载均衡详解(4)

本文是负载均衡详解的第四篇,主要介绍了LVS的三种请求转发模式和八种负载均衡算法,以及Haproxy的特点和负载均衡算法.具体参考文章,详见最后的链接. 三.LVS负载均衡 LVS是一个开源的软件,由毕业于国防科技大学的章文嵩博士于1998年5月创立,用来实现Linux平台下的简单负载均衡.LVS是Linux Virtual Server的缩写,意思是Linux虚拟服务器. 基于IP层的负载均衡调度技术,它在操作系统核心层上,将来自IP层的TCP/UDP请求均衡地转移到不同的 服务器,从而将一组

转:大型网站架构学习笔记

前言 最近一直在拜读两本书: 1.李智慧老师的<大型网站技术架构 核心原理与案例分析> http://www.linuxidc.com/Linux/2015-11/125137.htm 2.曾宪杰老师的<大型网站系统与Java中间件实践> http://www.linuxidc.com/Linux/2015-11/125138.htm 看了并结合自己目前的工作进行了思考,感觉获益匪浅.受益良多,自己对大型网站的理解又有了不少的加深,下面分享一下自己的学习笔记. 学习笔记 1.大型网

整理收藏一些大型网站架构技术方面的文章

整理收藏一些大型网站架构技术方面的文章,这里就作为一个导航页面吧,也许文章来自博客园好友,或者其他网站,论坛,博客,我知道地址的都会注明,偶尔也会发表一些自己的看法,仅供收藏,以备自己不时查看,也欢迎博客园好友点评 1.收集的php编写大型网站问题集 http://www.cnblogs.com/ruthon/p/4477904.html

大型网站架构改进历程:存储的瓶颈(五)

摘要:什么是大型网站,从网站的技术角度考虑这个问题人们很容易犯一个毛病就是认为网站的访问量是衡量的指标,懂点行的人也许会认为是网站在单位时间里的并发量的大小来作为指标,如果按这些标准那么像hao123网站就是了. [编者按]本文转自博客园的 夏天的森林,在看这篇之前,大家可以移步看 大型网站架构改进历程:存储的瓶颈(一).(二).(三).(四). 上文里我遗留了两个问题,一个问题是数据库做了水平拆分以后,如果我们对主键的设计采取一种均匀分布的策略,那么它对于被水平拆分出的表后续的查询操作将有何种