网站日志分析对网站优化有什么帮助

网站日志能给seo带来很多意想不到的数据情况,通过分析这些数据可以使优化变得更为主动。网站日志对蜘蛛和访客的浏览情况的提供了详细数据。通过分析相关参考数据,可以对蜘蛛行为及网站有更清晰的认识,并且能够提供相应优化方案

从不同角度分析可以得出不同结论,比如从蜘蛛行为角度,我们可以看出蜘蛛的浏览行为,包括蜘蛛停留时间长短、抓取量多少、返回码、唯一抓取量和重复抓取率等。这几个数据对于网站优化能提供如下帮助:

一、理论上抓取量的提升可以提高收录的机率,而抓取量的下降或整体数量不高,就需要查看网站构架是否合理,页面能否访问,优先在结构上进行优化。

二、页面停留时间可以看出蜘蛛在爬行一个页面时所花的时间是否合理,时间长短没有绝对的好坏之分,只能进行相关参考。

例如停留时间长可能代表站点质量高,但也可能代表网页较大或打开速度慢,而时间短也可能证明页面小或者服务器带宽高。

三、重复抓取对收录并没有提升的效果,重复率越高,对蜘蛛的浪费越大,这时需要避免过多的重复页面,用robots限制无效页面。

提升唯一抓取量能保证蜘蛛效率最大化。

四、蜘蛛返回码可以说明一个页面被查看的情况,是200正常状态、重定向的301状态还是404页面不存在等异常状态。

尤其是404状态,需要及时查明原因,页面是否已被删除,或者页面对网站有没有价值等,通过robots进行屏蔽。

死链对于网站的影响是很大的,尤其网站有许多隐形死链,我们需要告诉蜘蛛,网站的页面是能够打开的,这样才能提升权重。

原文地址:http://blog.51cto.com/jeecool/2313246

时间: 2024-10-12 09:33:22

网站日志分析对网站优化有什么帮助的相关文章

网站日志分析诊断及其作用

相信大家都知道网站日志是什么东西,可是做SEO的有多少人会去关注分析网站日志呢,又有多少SEOer能看懂网站日志呢?今天就给大家讲解下在网站SEO优化中,怎样利用网站日志的诊断和分析来提高网站关键词的排名. 首先我们仙说下网站日志分析的作用,对于一个刚上线的网站,我们能分析出来搜索引擎蜘蛛抓取的情况:如果网站长时间收录有问题,那么我们也可以对比网站日志中的搜索引擎蜘蛛行为,来了解网站是哪方面出了问题:如果网站被封,或者被K,我们都可以通过观察网站日志的情况来了解原因处在什地方. 网站日志又称蜘蛛

Spark学习四:网站日志分析案例

Spark学习四:网站日志分析案例 标签(空格分隔): Spark Spark学习四网站日志分析案例 一创建maven工程 二创建模板 三日志分析案例 一,创建maven工程 1,执行maven命令创建工程 mvn archetype:generate -DarchetypeGroupId=org.scala-tools.archetypes -DarchetypeArtifactId=scala-archetype-simple -DremoteRepositories=http://scal

Awk使用及网站日志分析

Awk使用及网站日志分析 Awk简介 概述 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理. awk有3个不同版本: awk.nawk和gawk,未作特别说明,一般指gawk. awk程序的报告生成能力通常用来从大文本文件中提取数据元素并将它们格式化成可读的报告.最完美的例子是格式化日志文件.awk程序允许从日志文件中只过滤出你想要看

linux下搭建HTTP网站服务器和网站日志分析工具AWStats的使用

服务器IP地址:192.168.4.5 服务器主机名:srv5.tarena.com 1.在服务器端安装httpd软件包 [[email protected] /]# yum -y install httpd [[email protected] /]# service httpd start [[email protected] /]# chkconfig httpd on 2.在客户机端验证 在浏览器中输入192.168.4.5 如果显示欢迎页面表示服务器搭建成功 3.部署网页文档 首先将欢

打造基于hadoop的网站日志分析系统(5)之spark在日志分析系统里的简单应用

1.下载spark和运行 wget http://apache.fayea.com/apache-mirror/spark/spark-1.0.0/spark-1.0.0-bin-hadoop2.tgz 我这里下载的是1.0.0版,由于我们只是测试spark的用法所以不需要配置spark集群,只需把下好的文件解压,进入bin/文件夹. spark支持scala,java和python. scala和java输入命令:./spark-shell python 输入命令 ./pyspark 进入控制

网站日志分析项目案例(二)数据清洗(MiniMapreduce)

网站日志分析项目案例(二)数据清洗 一.数据情况分析 1.1 数据情况回顾 该论坛数据有两部分: (1)历史数据约56GB,统计到2012-05-29.这也说明,在2012-05-29之前,日志文件都在一个文件里边,采用了追加写入的方式. (2)自2013-05-30起,每天生成一个数据文件,约150MB左右.这也说明,从2013-05-30之后,日志文件不再是在一个文件里边. 图1展示了该日志数据的记录格式,其中每行记录有5部分组成:访问者IP.访问时间.访问资源.访问状态(HTTP状态码).

Hadoop学习笔记—20.网站日志分析项目案例(三)统计分析

网站日志分析项目案例(一)项目介绍:http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例(二)数据清洗:http://www.cnblogs.com/edisonchou/p/4458219.html 网站日志分析项目案例(三)统计分析:当前页面 一.借助Hive进行统计 1.1 准备工作:建立分区表 为了能够借助Hive进行统计分析,首先我们需要将清洗后的数据存入Hive中,那么我们需要先建立一张表.这里我们选择分区表,以日期作

HDInsight-Hadoop实战(一)网站日志分析

HDInsight-Hadoop实战(一)网站日志分析 简介 在此示例中,你将使用分析网站日志文件的 HDInsight 查询来深入了解客户使用网站的方式.借助此分析,你可查看外部网站一天内对该网站的访问频率以及用户体验的网站错误总结. 在此教程中,你将学习如何使用 HDInsight: 连接到包含网站日志文件的 Azure Storage Blob 创建配置单元表以查询这些日志 创建配置单元查询以分析数据 使用 Microsoft Excel 连接到 HDInsight(使用 ODBC 连接)

Hadoop学习笔记—20.网站日志分析项目案例(二)数据清洗

网站日志分析项目案例(一)项目介绍:http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例(二)数据清洗:http://www.cnblogs.com/edisonchou/p/4458219.html 一.数据情况分析 1.1 数据情况回顾 该论坛数据有两部分: (1)历史数据约56GB,统计到2012-05-29.这也说明,在2012-05-29之前,日志文件都在一个文件里边,采用了追加写入的方式. (2)自2013-05-30