高并发、大流量解决方案

一、高并发架构相关概念
1、并发:是指并发的访问,也就是某个时间点,有多少个访问同时到来;
通常如果一个系统的日PV在千万以上,有可能是一个高并发的系统;
2、具体关心什么?
QPS:每秒请求或查询的数量,在互联网领域,指每秒响应请求数;
吞吐量:单位时间内处理的请求量(通常由QPS与并发数决定)
响应时间:从请求发出到收到响应花费的时间,例如一个系统处理一个HTTP请求需要100ms,这个100ms就是系统的响应时间;
PV:综合浏览量,即页面浏览量或者点击量,一个访客在24小时内访问的页面数量;
UV:独立访客 ,即一定时间范围内相同访客多次访问网站,只计算为一个独立的访客;
带宽:计算带宽大小需要关注两个指标,峰值流量和页面的平均大小;
日网站带宽=pv/统计时间(换算到秒)*平均页面大小(单位kB)*8
峰值一般是平均值的倍数;
QPS不等于并发连接数,QPS是每秒HTTP请求数量,并发连接数是系统同时处理的请求数量;
峰值每秒请求数(QPS) = (总PV书*80%)/(6小时秒数*20%)
压力测试:测试能承受的最大并发,测试最大承受的QPS值
测试工具(ab):目标是URL,可以创建多个访问线程对同一个URL进行访问(Nginx);
ab的使用:模拟并发请求100次(100个人),总共请求5000次(每个人请求5000次)
ab -c 100 -n 5000 待测试网站(内存和网络不超过最高限度的75%)
QPS达到50:一般的服务器就可以应付;
QPS达到100:假设关系型数据库的每次请求在0.01秒完成(理想),假设单页面只有一个SQL查询,那么100QPS意味着1秒中完成100次请求,但此时我们不能保证数据库查询能完成100次;
方案:数据库缓存层、数据库的负载均衡;
QPS达到800:假设我们使用 百兆宽带,意味着网站出口的实际带宽是8M左右,假设每个页面是有10k,在这个并发的条件下,百兆带宽已经被吃完;
方案:CDN加速、负载均衡
QPS达到1000:假设使用memcache缓存数据库查询数据,每个页面对memcache请求远大于直接对DB的请求;
memacache的悲观并发数在2W左右,但有可能之前内网带宽已经被吃光,表现出不稳定:
方案:静态HTML缓存

QPS达到2000:文件系统访问锁都成为了灾难;
方案:做业务分离,分布式存储;
二、高并发解决方案案例:
流量优化:防盗链处理(把一些恶意的请求拒之门外)
前端优化:减少HTTP请求、添加异步请求、启用浏览器的缓存和文件压缩、CDN加速、建立独立的图片服务器;
服务端优化:页面静态化处理、并发处理、队列处理;
数据库优化:数据库的缓存、分库分表、分区操作、读写分离、负载均衡
web服务器优化:负载均衡;

原文地址:https://www.cnblogs.com/meichao/p/9497483.html

时间: 2024-10-16 23:00:48

高并发、大流量解决方案的相关文章

高并发大流量网站 10 个解决方法

高并发大流量网站 10 个解决方法1.硬件升级 普通的P4服务器一般最多能支持每天10万独立IP,如果访问量比这个还要大, 那么必须首先配置一台更高性能的专用服务器才能解决问题 ,否则怎么优化都不可能彻底解决性能问题. 2.负载均衡 它是根据某种负载策略把请求分发到集群中的每一台服务器上,让整个服务器群来处理网站的请求.公司比较有钱的,可以购买专门负责负载均衡的硬件(如:F5),效果肯定会很好.对于大部分公司,会选择廉价有效的方法扩展整个系统的架构,来增加服务器的吞吐量和处理能力,以及承载能力.

网站高并发大流量访问的处理及解决方案

1.硬件升级 普通的P4服务器一般最多能支持每天10万独立IP,如果访问量比这个还要大, 那么必须首先配置一台更高性能的专用服务器才能解决问题 ,否则怎么优化都不可能彻底解决性能问题. 2.负载均衡 它是根据某种负载策略把请求分发到集群中的每一台服务器上,让整个服务器群来处理网站的请求. 公司比较有钱的,可以购买专门负责负载均衡的硬件(如:F5),效果肯定会很好.对于大部分公司,会选择廉价有效的方法扩展整个系统的架构,来增加服务器的吞吐量和处理能力,以及承载能力. 3.服务器集群 服务器集群就是

php高并发大流量站点nginx优化

我们的站点目前能应对千万级PV以及百万级的并发,对php+nginx的优化有一点点心得,写下来做一些记录. 1.TCP sockets 与Unix sockets Unix sockets比TCP sockets提供更好一些的性能(因为I/O数据读写少,上下文切换少). upstream backend { server unix:/var/run/fastcgi.sock; # server 127.0.0.1:8080; } 2.禁用或者优化access_log 大流量访问时,较大的访问会导

php解决与处理网站高并发 大流量访问的方法

方法/步骤 首先,确认服务器硬件是否足够支持当前的流量 普通的P4服务器一般最多能支持每天10万独立IP,如果访问量比这个还要大, 那么必须首先配置一台更高性能的专用服务器才能解决问题 ,否则怎么优化都不可能彻底解决性能问题. 其次,优化数据库访问前台实现完全的静态化当然最好,可以完全不用访问数据库,不过对于频繁更新的网站, 静态化往往不能满足某些功能. 缓存技术就是另一个解决方案,就是将动态数据存储到缓存文件中,动态网页直接调用 这些文件,而不必再访问数据库,WordPress和Z-Blog都

高并发大流量站点架构简单思路

******************************* 前端 ******************************* 1.添加必要的硬件和带宽,同一时候额外储备一部分,以备不时之需 2.特别监控网络数据流量是否正常.如是否有大规模的爬虫.DDOS等浑水摸鱼,能够针对iP和Cookie的限流 3.使用CDN同一时候做一些必要的算法改造,动静分离 ******************************* 代码端 ******************************* 1

高并发大流量网站架构简单思路

******************************* 前端 ******************************* 1.增加必要的硬件和带宽,同时额外储备一部分,以备不时之需 2.特别监控网络数据流量是否正常,如是否有大规模的爬虫.DDOS等浑水摸鱼,可以针对iP和Cookie的限流 3.使用CDN同时做一些必要的算法改造,动静分离 ******************************* 代码端 ******************************* 1.必要的

高并发大流量

1.首先关注参数 首先关注我们的请求量是多少,单台服务器并发量是多少 请求数 响应时间 并发连接数是指系统同时处理的请求数量. 2.然后根据我们需要达到多少并发数,采取相应的方案 数据库缓存.负载均衡.读写服务器.CDN加速. 静态HTML缓存 业务分离.分布式存储 3.流量优化 防盗链处理 前端优化:减少http请求,图片合并, 添加异步请求 启用浏览器缓存和文件压缩 原文地址:https://www.cnblogs.com/juanzhi/p/12562768.html

高并发的成熟解决方案

课程来自传智播客 上官云老师 课程名称:企业高并发的成熟解决方案 案例来自:阿里巴巴研究院 分析企业架构 负载均衡服务器: 1.转发请求 2.还有... 负载均衡服务器种类: 反向代理服务器 并发分为两个地方: 1.负载均衡服务器高并发 2.数据库高并发 第一步解决负载均衡服务器 出现在此处的问题: 如果用户登录了,session是如何共享的? 用户请求1号机的时候产生了session 用户在请求2号机的时候就没有session了 产生的结果就是:用户被剔除登录后页面 解决方案: 1.把用户的s

(转)高并发和大流量解决方案 (#高并发架构相关概念#)

转发:https://blog.csdn.net/beihenanfei/article/details/78919682 #高并发架构相关概念# 并发: 在操作系统中,是指一个时间段中有几个程序都处于已启动运行到运行完毕之间,且这几个程序都是在同一个处理机上运行,但任意一个时刻上只有一个程序在处理机上运行. 我们说的高并发是什么? 上面的定义明显不是我们通常所言的并发,在互联网时代,所讲的并发.高并发,通常是指并发访问.也就是在某个时间点,有多少个访问同时到来通常如果一个系统的日PV在千万以上