近日本人维护的一个客户网站打开非常慢,于是便按照以往的排查步骤进行排查
1,登录服务器top命令查看负载IO情况发现负载有点高并有很多php进程占了很大的资源
2,进入mysql服务器查看数据库线程,并没有发现锁表情况。
3,打开web访问日志发现有很多百度爬虫访问。导致点了很多php资源
解决方案:
1,禁用爬虫(不利于SEO)
在nginx配置文件中加入
if ( $http_user_agent ~ Baiduspider ){return 503;}
if ( $http_user_agent ~ EtaoSpider ){return 503;}
if ( $http_user_agent ~ Googlebot ){return 503;}
if ( $http_user_agent ~ " bingbot" ){return 503;}
据说返回503是跟据seo考虑的
2,通过nginx判断是否是百度爬虫如果是就访问缓存
时间: 2024-10-13 09:02:00