如何处理大访问量处理?

一.硬件升级

普通的P4服务器一般最多能支持每天10万独立IP,如果访问量比这个还要大, 那么必须首先配置一台更高性能的专用服务器才能解决问题 ,否则怎么优化都不可能彻底解决性能问题。

二.负载均衡

它是根据某种负载策略把请求分发到集群中的每一台服务器上,让整个服务器群来处理网站的请求。

公司比较有钱的,可以购买专门负责负载均衡的硬件(如:F5),效果肯定会很好。对于大部分公司,会选择廉价有效的方法扩展整个系统的架构,来增加服务器的吞吐量和处理能力,以及承载能力

三.服务器集群

服务器集群就是指将N台服务器集中起来一起进行同一种服务,它们之间通过网络实现通信。让N台服务器之间相互协作,共同承载一个网站的请求压力

在客户端看来就像是只有一个服务器。集群可以利用多个计算机进行并行计算从而获得很高的计算速度,也可以用多个计算机做备份,从而使得任何一个机器坏了整个系统还是能正常运行。

四.数据库读写分离

基本的原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操作

五.数据库分表技术(垂直分割,水平分割)

当一张的数据达到几百万时,你查询一次所花的时间会变多,如果有联合查询的话,很有可能会死在那儿了。分表的目的就在于此,减小数据库的负担,缩短查询时间

六.表建立相应的索引

使用索引可快速访问数据库表中的特定信息

七.页面静态化

前台实现完全的静态化最好,可以完全不用访问数据库。

八.缓存技术(MemCache、Redis)

缓存技术就是另一个解决方案,就是将动态数据存储到缓存文件中动态网页直接调用 这些文件,而不必再访问数据库

九.禁止外部盗链

外部网站的图片或者文件盗链往往会带来大量的负载压力,因此应该严格限制外部对于自身的图片或者文件盗链

十.控制大文件的下载

大文件的下载会占用很大的流量,并且对于非SCSI硬盘来说,大量文件下载会消耗 CPU,使得网站响应能力下降。因此,尽量不要提供超过2M的大文件下载,如果需要提供,建议将大文件放在另外一台服务器上

时间: 2024-10-15 20:29:18

如何处理大访问量处理?的相关文章

我是如何处理大并发量订单处理的 KafKa部署总结

今天要介绍的是消息中间件KafKa,应该说是一个很牛的中间件吧,背靠Apache 与很多有名的中间件搭配起来用效果更好哦 ,为什么不用RabbitMQ,因为公司需要它. 网上已经有很多怎么用和用到哪的内容,但结果很多人都倒在了入门第一步 环境都搭不起来,可谓是从了解到放弃,所以在此特记录如何在linux环境搭建,windows中配置一样,只是启动运行bat文件. 想要用它就先必须了解它能做什么及能做到什么程度,先看看它是什么吧. 当今社会各种应用系统诸如商业.社交.搜索.浏览等像信息工厂一样不断

大访问量的网站统计系统

原文出自:http://www.cnblogs.com/juxiaoqi/archive/2009/12/01/1614395.html 因为工作需要,准备开发一个网站统计系统(感谢 ztotem,liy 同学大力支持). 该系统主要功能:统计网站中加了计数器代码的页面每天的PV.UV.IP(精确到小时) ,另外需要分析页面来源网站的一些数据 …… 初步设计了架构: 大概解读一下:  1.统计代码是统一的,所有页面都使用统一的代码,类似 Google Analytics 的那种: <script

大访问量网站架构设计

动态应用,是相对于网站静态内容而言, 是指以c/c++.php.Java.perl..net等 服务器端语言开发的网络应用软件,比如论坛.网络相册.交友.BLOG等常见应用.动态应用系统通 常与数据库系统.缓存系统.分布式存储系统等密不可分. 大型动态应用系统平台主要是针对于大流 量.高并发网站建立的底层系统架构.大型网站的运行需要一个可靠.安全.可扩展.易维护的应用系统平台做为支撑,以保证网站应用的平稳运行. 大型动态应用系统又可分为几个子系统: l Web前 端系统 l 负 载均衡系统 l

CentOS服务器,大访问量会造成日志文件迅速增大,半年左右得清除一下

今天早上一打开QQ,一大群客户说我的网站登录不了,谷歌了一下,原来是服务器不能存储SESSION.后来问一下服务器托管商,被告知我的VPS运行的时间太久并且访问量很大,因此访问日志爆满. 服务器托管商: 尊敬的用户,您好! /www/wdlinux/httpd-2.2.24/logs/ 下日志文件有14.5G,请您ssh登录删除logs下的access_log 于是我用putty远程工具通过ssh方式登录服务器,登录后,输入以下命令: cat /dev/null >/www/wdlinux/ht

数据库优化查询的方法以及大访问量到数据库时的优化

一.数据库优化查询的方法 1.使用索引: 应尽量避免全表扫描,首先考虑在where 以及 order by  ,group  by 涉及的列上建立索引 2.优化SQL语句: 1>通过explain(查询优化神器)用来查看SQL语句的执行效果,可以帮助选择更好的索引和优化查询语句,写出更好的优化语句.通常我们可以对比较复杂的尤其是涉及到多表的SELECT语句,把关键字explain加到前面,查看执行计划,例如: explain select * from news; 2>任何地方都不要使用sel

Pandas中如何处理大数据?

近期的工作和Hive SQL打交道比较多,偶尔遇到一些SQL不好解决的问题,会将文件下载下来用pandas来处理,由于数据量比较大,因此有一些相关的经验可以和大家分享,希望对大家学习pandas有所帮助吧. 大文本数据的读写 有时候我们会拿到一些很大的文本文件,完整读入内存,读入的过程会很慢,甚至可能无法读入内存,或者可以读入内存,但是没法进行进一步的计算,这个时候如果我们不是要进行很复杂的运算,可以使用read_csv提供的chunksize或者iterator参数,来部分读入文件,处理完之后

【大访问量】负载均衡

负载均衡:把众多的访问量分流到不同的服务器, 冗余技术:避免单点故障.把一个服务器资料备份到另外的服务器,使得如果这台服务器如果出现问题的话,能有别的服务器代替之(数据库集群,不管怎样都只会有一台计算机处于激活状态). 注意:负载均衡和冗余技术并不是同一个技术,它们独立存在,经常联合使用.

高并发大访问量架构设计演进之路 归纳总结

第01:大型架构的演进之路第02(上):分布式缓存第02(下):分布式缓存第03:分布式消息队列第04:分布式数据存储第05:分布式服务框架第06:高性能系统架构第07:高可用系统架构第08:系统的安全架构第09:架构实战案例分析第10:如何成为技术专家 系统的垂直伸缩,水平伸缩系统的性能瓶颈:分部式缓存:分布式数据存储,分布式服务架构: 强烈的好奇心,工程技术,产生价值赚钱(科学研究不同)扎实的软件技术基础:操作系统,数据结构,设计模式,编程语言,出色的编程能力:优秀的代码深刻领悟主流技术产品

分享今天大访问量造成的服务器问题及解决方案

今天有一款客户定制的游戏上线,是圣诞节活动的. 之前给客户租了一个月的阿里云服务器,2G内存,1核CPU,4M带宽,本以为能够用了,谁知道中午客户去推广了一下... CNZZ查看同时在线人数130+,游戏页面打开非常缓慢,接近于打不开... 远程桌面进入主机,操作非常卡顿.. 判断是主机性能不够,马上进行升级成 4G内存,2核CPU,仍是4M带宽. 测试还是不太管用,看CPU,内存占用不是太离谱,可就是访问很慢... 猜想是不是最大连接数限制了? 打开IIS,发现是不限连接数... 好吧 那么,