分布式可扩展web体系结构设计实例分析

Web分布式系统设计准则

下面以一个上传和查询图片的例子来说明分布式web结构的设计考虑和常用的提高性能的方法。该例子提供上传图片和下载图片两个简单功能,并且有一下假设条件?:

- 可以存储无上限数量的图片,即存储需要scalability

- 下载图片提供低带宽延时,即速度要快

- 如果客户上传了一张图片,图片将永久保存在数据库,除非客户删除。即可靠性

- 系统容易维护

- 整个系统不能花费太高。

首先,这个例子系统提到了如下web系统设计的基本要求,其最简单的设计逻辑结构如下图。

- Availability 可用性, 即每时每刻保证网站可用。

-  Performance 性能, 即用户的响应要迅速。

- Reliability 可靠性, 即可靠的结果,两次相同的请求得到相同的结果,以及数据的一致性。

- Scalability 可扩展性, 即系统在负载加大时容易扩展。

- Manageability 易管理性,即系统是可以并且容易管理的。

- Cost 花费。即系统的花费靠谱。

Services

将不同模块的功能分块,易于管理而且对系统性能有提升(比如,apache默认连接数是500,若上传和下载在一台服务器上,将导致performance问题),分块后结构图:

冗余设计

为保证系统稳定,并且关键模块在出现错误时迅速恢复,必须采用冗余技术,采用冗余后的基本结构如下图:

分块存储

如果数据过大,将导致单一服务器无法存储所有数据,而且所有数据都保存在一台服务器中使数据检索的性能下降。扩展可以分为竖直单机扩展和水平增加服务器扩展。目前业界倾向于后者。数据分块后的书评扩展基本结构为:

在web系统体系机构中,最challenge的问题是数据读取和存储部分,应用程序请求处理部分可通过负载均衡和水平扩展解决,下面将上述系统简化,重点讨论数据获取的相关技术,简化后的系统结构可简单理解为:

    ---------》 

一般而言读数据要比写数据频繁,但写数据要写到磁盘,比读数据耗时,接下来从读写两方面来看数据获取方面在体系结构上的设计技巧,想象如下的场景:

如果这种设计,找到想要的数据无疑大海捞针,为了提高查找和读数据性能,我们一般采用如下技术:

Cache(Memcached, )

代理(Squid and Varnish

索引

Load Balance

写操作提高性能的技术可采用异步队列机制(RabbitMQActiveMQBeanstalkD,  ZookeeperRedis.)

时间: 2024-10-01 06:40:12

分布式可扩展web体系结构设计实例分析的相关文章

Elasticsearch是一个分布式可扩展的实时搜索和分析引擎,elasticsearch安装配置及中文分词

http://fuxiaopang.gitbooks.io/learnelasticsearch/content/  (中文) 在Elasticsearch中,文档术语一种类型(type),各种各样的类型存在于一个索引中.你也可以通过类比传统的关系数据库得到一些大致的相似之处: 关系数据库 ⇒ 数据库 ⇒ 表 ⇒ 行 ⇒ 列(Columns) Elasticsearch ⇒ 索引 ⇒ 类型 ⇒ 文档 ⇒ 字段(Fields)一个Elasticsearch集群可以包含多个索引(数据库),也就是说其

可扩展Web架构与分布式系统

开放源代码已经成为一些大型网站的基本原则.而在这些网站成长的过程中,一些优秀的实践经验和规则也出现在他们的结构中.本文旨在介绍一些在大型网站结构设计的过程中需要注意的关键问题以及实现目标的基础工作. 本文侧重于介绍网络系统,尽管一些准则在其他分布式系统中也是适用的. 1.1. web分布式系统的设计原则 搭建和运营一个可伸缩的web站点或者应用程序意味着什么?在原始层面上这仅仅是用户通过互联网连接到远程资源-使系统变得可伸缩的部分是将资源.或者访问的资源,分布于多个服务器上. 像生活中大多数事情

Apache漏洞利用与安全加固实例分析

Apache 作为Web应用的载体,一旦出现安全问题,那么运行在其上的Web应用的安全也无法得到保障,所以,研究Apache的漏洞与安全性非常有意义.本文将结合实例来谈谈针对Apache的漏洞利用和安全加固措施. Apache HTTP Server(以下简称Apache)是Apache软件基金会的一个开放源码的网页服务器,可以在大多数计算机操作系统中运行,是最流行的Web服务器软件之一.虽然近年来Nginx和Lighttpd等Web Server的市场份额增长得很快,但Apache仍然是这个领

实例分析Java Class的文件结构

实例分析Java Class的文件结构 博客分类: Java SE 今天把之前在Evernote中的笔记重新整理了一下,发上来供对java class 文件结构的有兴趣的同学参考一下. 学习Java的朋友应该都知道Java从刚开始的时候就打着平台无关性的旗号,说“一次编写,到处运行”,其实说到无关性,Java平台还有另外一个无关性那就是语言无关性,要实现语言无关性,那么Java体系中的class的文件结构或者说是字节码就显得相当重要了,其实Java从刚开始的时候就有两套规范,一个是Java语言规

[转]实例分析Java Class的文件结构

学习Java的朋友应该都知道Java从刚开始的时候就打着平台无关性的旗号,说“一次编写,到处运行”,其实说到无关性,Java平台还有另外一个无关 性那就是语言无关性,要实现语言无关性,那么Java体系中的class的文件结构或者说是字节码就显得相当重要了,其实Java从刚开始的时候就有两套 规范,一个是Java语言规范,另外一个是Java虚拟机规范,Java语言规范只是规定了Java语言相关的约束以及规则,而虚拟机规范则才是真正从跨 平台的角度去设计的.今天我们就以一个实际的例子来看看,到底Ja

nginx web日志介绍和分析

nginx web日志介绍和分析 Nginx访问日志打印的格式可以自定义,例如Nginx日志打印格式配置如下,Log_format 用来设置日志格式,Name(模块名) Type(日志类型),可以配置多个日志模块,分别供不同的虚拟主机日志记录所调用: log_format log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '                   '$status $body_b

Zabbix基于Proxy分布式部署实现Web监控

前言 在日常运维工作中,难免会遇到这样或那样的故障,如何能在第一时间发现故障,并及时定位故障原因,保证业务不受影响,我想这应该是做好一个运维必须要掌握的技能.但人力不可能实时掌控系统的变化,于是监控系统应运而生,监控便是运维的眼睛,把监控和性能管理做好后,运维就是一件很轻松的事情.目前比较流行的开源监控工具有Cacti.Nagios(Icinga).Zabbix等.本文带来的是Zabbix基于Proxy分布式部署实现Web监控. Zabbix 简介 Zabbix是一个基于Web界面提供分布式系统

Camera图像处理原理及实例分析-重要图像概念

Camera图像处理原理及实例分析 作者:刘旭晖  [email protected]  转载请注明出处 BLOG:http://blog.csdn.net/colorant/ 主页:http://rgbbones.googlepages.com/ 做为拍照手机的核心模块之一,camera sensor 效果的调整,涉及到众多的参数,如果对基本的光学原理及 sensor 软/硬件对图像处理的原理能有深入的理解和把握的话,对我们的工作将会起到事半功倍的效果.否则,缺乏了理论的指导,只能是凭感觉和经

(转)Memcached 之 .NET(C#)实例分析

一:Memcached的安装 step1. 下载memcache(http://jehiah.cz/projects/memcached-win32)的windows稳定版(这里我下载了memcached 1.2.1 for Win32 binaries (Dec 23, 2006) 这个版本),解压放某个盘下面,比如在c:\memcachedstep2. 在终端(也即cmd命令界面)下输入 'c:\memcached\memcached.exe -d install' 安装step3. 再输入