读书笔记1: 大型网站架构演化

大型网站系统的特点

  1. 高并发,大流量,PV巨大
  2. 高可用,7*24
  3. 海量数据,P级别
  4. 用户分布广泛,网络情况复杂,不同运营商
  5. 安全环境恶劣,黑客攻击
  6. 需求快速变更,发布频繁,快速跟进市场,需求变更快
  7. 渐进式发展,从小网站一步一步进化

?

大型网站架构的演化历程

  1. 初始阶段网站架构,一台服务器,
    一台Server就部署—应用程序、数据库、文件等所有资源都集中在一台Server上,典型案例:基于LAMP架构的PHP网站

  2. 应用服务和数据库服务分离,
    三台Server平天下—业务发展,单台不再适应业务的发展,将应用和数据分离后成三台Sever(应用服务器、文件服务器与数据库服务器)。分离后三台Server对硬件资源的需求各不相同:应用服务器需要更快更强大的CPU,而数据库服务器需要更快的硬盘和更大的内存,文件服务器则需要更大的硬盘;

  3. 使用缓存改善网站性能(数据库缓存 本地缓存和分布式缓存),
    3+X的Server模式减少数据库访问压力,提高网站的数据访问速度。缓存又可以分为:本地缓存和远程缓存(可以是分布式的),本地缓存访问速度快,但数据量有限;远程分布式缓存可以集群,因此容量不受限制;

    缓存从数据库获取数据。提供用户访问

    ?

  4. 使用应用服务器集群改善网站的并发处理能力,
    集群—解决高并发、海量数据问题的常用手段,实现系统的可伸缩性。通过负载均衡调度器,可将用户访问分发到集群中的某台Server上,应用服务器的负载压力不再成为整个网站的瓶颈

  1. 数据库读写分离,
    使用缓存后绝大部分都可以不通过DB就能完成,但仍有一部分(缓存访问不命中、缓存过期)和全部的写操作需要访问DB,在网站的用户达到一定规模后,DB因为负载压力过高成为网站的瓶颈。大部分主流DB都提供主从热备功能,利用这一功能就可以配置两台DB主从关系,一台数据更新同步到另一台Server上。网站利用DB的这一功能,实现DB读写分离,从而改善DB负载压力

  2. 使用反向代理和CDN加速网站相应, CDN和反向代理的基本原理都是缓存,区别在于CDN部署在网络提供商的机房,而反向代理则部署在网站的中心机房。使用CDN和反向代理的目的都是尽早返回数据给用户,一方面加快用户访问速度,另一方面也减轻后端服务器的负载压力。

    CDN和反响代理的基本原理都是缓存,区别在于CDN部署在网络提供商的机房,使用户在请求网络服务时,可以从距离最近的网络提供商获取数据。而反向代理则是部署在网站的中心机房,当用户请求到达中心机房后,首先访问反向代理服务器,如果反向代理服务器中缓存着用户请求的资源,就将直接返回给用户。

    ?

    使用CDN和反向代理的目的都是尽早返回给用户数据,一方面加快用户访问,另一方面也减轻了后端服务器的负载压力。

    ?

  3. 使用分布式文件系统和分布式数据库,
    随着网站业务的发展,两台DB服务器依然不能满足需求,文件系统也一样。

    分布式文件系统和分布式数据库是网站数据库的拆分的最后手段,只有单表数据规模非常庞大的时候才使用,不到万不得已时,网站更常用的数据拆分手段是业务分库,将不同业务的数据部署在不同的物理服务器上。

  4. 使用NOSQL和搜索引擎, NoSQL和搜索引擎都是源自互联网的技术手段,对可伸缩的分布式特性具有更好的支持。应用服务器则通过一个统一数据访问模块访问各种数据,减轻应用程序管理诸多数据源的麻烦。

    解决数据存储和检索问题。

  5. 业务拆分,
    通过分而治之的手段将整个网站业务分成不同的产品线,如淘宝将首页、商铺、订单、卖家、买家等拆分成不同的产品线,分归不同的业务团队负责。各个应用之间可以通过建立一个超链接建立关系,也可以通过消息队列进行数据分发。

    ?

    大型网站为了应对日益复杂的业务场景,通过使用分而治之的手段将网站业务分为不同的产品线,如大型购物交易网站就会将首页,商铺,订单,买家,卖家等才分成不同的产品线,分归不同的业务团队负责。

    具体到技术上,也会根据产品线划分,将一个网站拆分成许多不同的应用,每个应用独立部署维护。应用之间可以通过超链接建立关系(在首页上的导航连接每个都指向不同的应用地址),也可以通过消息队列进行数据分发,当然最多的还是通过访问同一个数据存储系统来构成一个关联的完整的系统。

    ?

    ?

?

  1. 分布式服务(分布式服务调用共用业务服务完成业务操作),
    既然每一个应用系统都需要执行许多相通的业务操作,比如用户管理、商品管理等,那么可以将这些共用的业务提取出来,独立部署。

?

大型网站架构演化价值观

  (1)核心价值:随网站所需灵活应对

  大型网站不是从无到有一步就搭建好一个大型网站,而是能够伴随小型网站业务的渐进发展,慢慢地演化成一个大型网站。

  (2)驱动力量:网站的业务发展—业务成就了技术,事业成就了人,而不是相反

大型网站架构设计的误区

  (1)一味追随大公司的解决方案

  (2)为了技术而技术->常见问题

  (3)企图用技术解决所有问题:技术是用来解决业务问题的,而业务的问题,也可以通过业务的手段去解决

本章思维导图

总结:

图片资料来源与网络,部分来源与http://www.cnblogs.com/edisonchou/博客。

?

时间: 2024-10-25 12:38:44

读书笔记1: 大型网站架构演化的相关文章

读书笔记-01大型网站架构演化-思维导图

1.服务器分离? 随着业务发展,越来越多的用户访问导致网站性能越来越差,越来越多的数据导致存储空间不足,这时候就需要将网站进行分离. 2.使用缓存? 随着用户增多,数据库压力越来越大导致访问延迟想象越来越多,进而影响网站性能和用户体验.而根据2/8法则,80%的业务需求集中在20%的数据上. 3.应用服务器负载均衡? 使用缓存后,单一的应用服务器能够处理的请求连接有限,在网站高峰期,应用服务器成为其瓶颈.使用集群是解决网站高并发.海量数据的常用手段.通过负载均衡调度器,可以将来自用户的请求分发到

大型网站技术架构 读书笔记1 大型网站架构模式

架构,又名软件架构,是有关软件整体结构与组件的抽象描述,用于指导大型软件系统各个方面的设计. 关于什么是模式,这个来自建筑学的词汇是这样定义的:"每一个模式描述了一个在我们周围不断重复发生的问题及该问题解决方案的核心.这样,你就能一次又一次地使用该方案而不必做重复工作".模式的关键在于模式的可重复性,问题与场景的可重复性带来解决方案的可重复使用. 针对现在的高并发访问,海量数据处理,高可靠运行等一系列问题,众多大型互联网公司提出了各种系统解决方案.这些优秀可靠的方案又被别的网站重复使用

《大型网站技术架构》读书笔记一:大型网站架构演化

一.大型网站系统特点 (1)高并发.大流量:PV量巨大 (2)高可用:7*24小时不间断服务 (3)海量数据:文件数目分分钟xxTB (4)用户分布广泛,网络情况复杂:网络运营商 (5)安全环境恶劣:黑客的攻击 (6)需求快速变更,发布频繁:快速适应市场,满足用户需求 (7)渐进式发展:慢慢地运营出大型网站 二.大型网站架构演化过程 (1)初始阶段网站架构:一台Server就刚需-应用程序.数据库.文件等所有资源都集中在一台Server上,典型案例:基于LAMP架构的PHP网站 (2)应用和数据

读书笔记2大型网站的架构模式

? 一.分层 最常见的架构模式,将系统在横向维度上切分成几个部分,每个部分单一职责.网站一般分为三个层次:应用层.服务层和数据层,其具体结构如下图所示: 通过分层,一个庞大系统切分成不同部分,便于分工合作和维护. 但是,分层架构也有一些挑战:①必须合理规划层次边界和接口:②禁止跨层次的调用及逆向调用. 二.分割 分割是在纵向方面对软件进行切分->将不同的功能和服务分割开来,包装成高内聚低耦合的模块单元,有助于软件开发和维护,还便于不同模块的分布式部署,提高网站的并发处理能力和功能扩展能力. 三.

《大型网站技术架构-核心原理与案例分析》之一: 大型网站架构演化

最近刚刚读完李智慧的<大型网站技术架构-核心原理与案例分析>,对每章重点内容作了一些笔记,以便加深印象及日后查阅. 一.大型网站软件系统的特点 高并发,大流量:需要面对高并发用户,大流量访问. 高可用:系统7X24小时不间断服务. 海量数据:需要存储.管理海量数据,需要使用大量服务器. 用户分布广泛,网络情况复杂:许多大型互联网都是为全球用户提供服务的,用户分布范围广,各地网络情况千差万别. 安全环境恶劣:由于互联网的开放性,使得互联网站更容易受到攻击,大型网站几乎每天都会被黑客攻击. 需求快

读《大型网站技术架构:核心原理与案例分析》第一章:大型网站架构演化

写在前面 从开始写代码到现在,已经做了好几个项目了,BS和CS的都有,一直都以一个码农自居.但,作为一个进步的程序员,都有一个成为架构师的理想.于是,在平时的工作中,也积极的去看各种书籍,看园子里面的精品文章.希望,在这条追逐梦想的道路上,能够留下点点滴滴,也算是对知识的一种巩固,一些分享. 读书感受   快下班的时候,看了该书的第一章.算是对网站的架构演化有了一些认识. (1)初始网站的架构:一台服务器,应用程序,数据库,文件都在一台服务器上面.LMAP足矣. (2) 二级网站的架构:应用服务

大型网站技术架构(一):大型网站架构演化

第一章:大型网站架构演化 九层之台,始于垒土:千里之行,始于足下. 对于网站的发展,亦是如此,从上世纪90年代开始,互联网经历了20多年的发展,发生了翻天覆地的变化,今天,全球有一半的人使用互联网,从信息检索到实时通信,从电子购物到文化娱乐,互联网渗透到了生活的每一个角落.但是,构建一个高性能的网站,绝非一朝一夕可以完成,我们来看下,作为一个大型网站系统应有的特点: 1.大型网站系统应有的特点 高并发,大流量:需要面对高并发用户,大流量访问.举个例子,去往迪拜的飞机有200张票,但是有100w人

(转)大型网站架构演化发展历程

前面已经描述了大型网站系统的特点,而对一个大型网站系统,其架构也是重要的一个环节. 大型网站技术主要的挑战来自于庞大的用户.高并发以及海量的数据这三个方面.大型网站的形成就像一颗大树的成长,历尽长时间的磨练,最后枝繁叶茂,服务他人. 初始网站架构结构 起初的网站鉴于用户量.访问量较少,只需要一台服务器足以,应用程序.数据库.文件等其所有资源放在一太服务器上就已经足够满足此时的需求,这时候网站的架构就几个简单组成部分如下图 应用和数据服务分离 随着网站业务需求的发展,越来越多的用户进行访问,此时一

大型网站架构演化过程

一:大型网站架构演化 1.初级阶段网站架构 应用服务器,数据库,文件等所有的资源都在一台服务器上,采用LAMP架构,一般我们学生开发就是采用这种架构 2.应用服务与数据服务分离(应用与数据分离) 随着网站业务的发展,一台服务器已经不能满足性能的需求,这时我们把业务服务和数据服务分开,此时网站就变成了三个服务器:应用服务器,数据库服务器,文件服务器,一般小型项目就是这种开发模式,比如我    在360我们组的项目初期没有用缓存,就是这种架构,数据库有专门的服务器 应用服务器    -> 需要处理业