客户网站访问慢分析和排查过程

近日本人维护的一个客户网站打开非常慢,于是便按照以往的排查步骤进行排查

1,登录服务器top命令查看负载IO情况发现负载有点高并有很多php进程占了很大的资源

2,进入mysql服务器查看数据库线程,并没有发现锁表情况。

3,打开web访问日志发现有很多百度爬虫访问。导致点了很多php资源

解决方案:

1,禁用爬虫(不利于SEO)

在nginx配置文件中加入

if ( $http_user_agent ~ Baiduspider ){return 503;}
       if ( $http_user_agent ~ EtaoSpider ){return 503;}
       if ( $http_user_agent ~  Googlebot ){return 503;}
       if ( $http_user_agent ~ " bingbot" ){return 503;}

据说返回503是跟据seo考虑的

2,通过nginx判断是否是百度爬虫如果是就访问缓存

爱慕尔商城服装搭配
城市物语 
穿衣搭配博客

服装搭配博客

时间: 2024-10-13 09:02:00

客户网站访问慢分析和排查过程的相关文章

网站访问慢延迟高排查

今天早晨9点左右,手机app收到邮件报警,打开一看,提示某个ip上的站点访问异常, 尝试ssh连接,发现非常慢.无法正常连接上去.一会后能正常连接上去,但是延迟很高,基本上无法操作. 更换一下ssh方式,通过相同内网的其他机器ssh登陆后,发现正常.PS:其实在这里的时候就应该可以初步断定是外网网络的问题了. top查看,cpu,内存正常,netstat查看web连接数,并发数300左右.对于apache+php+mysql的站点来说,这样的并发毫无压力.io也正常. 停止httpd服务,网络恢

爬虫技术:从sougou网站访问微信公众号的过程

一:分析过程:fidder + chrome开发者工具 1:输入nba跳转的页面,每页显示10条相关公众号的信息 2:分析网站得到每条标题的详情页链接地址在: 3,请求上图中的url,会返回一段js代码,js代码的作用是,构造一个的新的url,并对新的url进行了请求. 认真分析一下这段js代码,除了更换请求的url,还做了些什么. <meta content="always" name="referrer"> <script> var ur

apache配置网站访问统计awstats

1.解压缩awstas软件 2.建立配置文件 3.在屏幕最下面输入/usr/local/httpd/conf/httpd.conf y y 4.修改站点统计配置文件 修改下面的两项 建立数据目录 5.执行日志分析 6.为了及时更新和更新方便,创建计划任务 在客户机上访问日志分析系统 http://www.google.com/awstats/awstats.pl?config=www.google.com

一个简单的网站访问过程

对于我们一个简单的网站访问,涉及到的技术: 1.用户访问浏览器时,浏览器会向服务器发出一个 HTTP 请求: 2.服务器接收到 HTTP 请求,Web Server 进行相应的初步处理,使用服务器脚本生成页面: 3.服务器脚本(利用Web Framework)调用本地和客户端传来的数据,生成页面: 4.Web Server 将生成的页面作为 HTTP 响应的 body,根据不同的处理结果生成 HTTP header,发回给客户端: 5.客户端(浏览器)接收到 HTTP 响应,通常第一个请求得到的

网站访问分析中常见的指标

PV (Page View) 浏览量 浏览量或点击量,访客访问网站时每打开一个网页,即为一个PV. UV (Unique Visitor) 独立访客 访客一天内对网站的访问,即为一次UV.访客一天内多次的访问也记为一次UV. IP 一天内不同的IP地址访问网站,记录不同IP数.相同IP为一次. 访问深度 网站访问深度就是访客在浏览你的网站的过程中浏览了你的网站的页数.通过PV值表示用户的浏览深度. 跳出率=只访问一个页面就离开网站的访问次数/总访问次数

网站访问过程理解(一点记录)

一个普通网站访问的过程 简单概括一下,对于我们普通的网站访问,涉及到的技术就是: 用户操作浏览器访问,浏览器向服务器发出一个 HTTP 请求: 服务器接收到 HTTP 请求,Web Server 进行相应的初步处理,使用服务器脚本生成页面: 服务器脚本(利用Web Framework)调用本地和客户端传来的数据,生成页面: Web Server 将生成的页面作为 HTTP 响应的 body,根据不同的处理结果生成 HTTP header,发回给客户端: 客户端(浏览器)接收到 HTTP 响应,通

网站访问分析对SEO的好处

统计剖析,应该说是每个SEO都必需要擅长的技艺.至于网站统计的剖析,根据自己的一些经验,与大家分享一下相关技巧.(发表于 2012-3-24 23:12) 申请一个统计帐号很容易,现在有很多的统计服务供应商.但这些程序通常都只能提供最基本的功能,比如点击数.唯一身份访问者人数.找到网站的搜索词.网站访问者的IP地址以及网站访问者的地理位置.通过这些基本的信息能知道网站访问者的来源,但如果需要知道其他的统计信息,就需要添加额外的网站统计软件包. 如果需要功能更强大的Web统计软件,有一些免费的在线

网站访问慢原因分析

1.网络带宽小.网络不稳定 实用工具: ping命令,看延时 Tracert命令,检查本地电脑发送数据包到远程服务器所经过所有网关的地址及时间. 使用这个命令,可以检查访问服务器是因为哪里的网关速度慢而影响了访问速度 2.数据库操作是否频繁,是否涉及很多读写 解决办法:数据库建索引,分表,分库:读写分离,热点数据缓存,消息队列 3.动态脚本太多,很多js特效:很多图片 使用nginx等静态缓存js.css.html.jpg等文件 4.js.css.jpg等文件是不是使用了第三方的库 如下代码使用

网站渗透测试原理及详细过程

网站渗透测试原理及详细过程 渗透测试(Penetration Testing)目录 零.前言一.简介二.制定实施方案三.具体操作过程四.生成报告五.测试过程中的风险及规避参考资料FAQ集 零.前言 渗透测试在未得到被测试方授权之前依据某些地区法律规定是违法行为. 这里我们提供的所有渗透测试方法均为(假设为)合法的评估服务,也就是通常所说的道德黑客行为(Ethical hacking),因此我们这里的所有读者应当都是Ethical Hackers,如果您还不是,那么我希望您到过这里后会成为他们中的