网站日志分析诊断及其作用

相信大家都知道网站日志是什么东西,可是做SEO的有多少人会去关注分析网站日志呢,又有多少SEOer能看懂网站日志呢?今天就给大家讲解下在网站SEO优化中,怎样利用网站日志的诊断和分析来提高网站关键词的排名。

首先我们仙说下网站日志分析的作用,对于一个刚上线的网站,我们能分析出来搜索引擎蜘蛛抓取的情况;如果网站长时间收录有问题,那么我们也可以对比网站日志中的搜索引擎蜘蛛行为,来了解网站是哪方面出了问题;如果网站被封,或者被K,我们都可以通过观察网站日志的情况来了解原因处在什地方。

网站日志又称蜘蛛日志,它是成千上万个“蜘蛛”小爬虫程序每天爬行数千万个网站,这个小爬虫程序就是“蜘蛛”,它在网站爬行后留下的轨迹或痕迹就是“日志”。

常见的蜘蛛名称:

Baiduspider;

Baiduspider-Image;

Googlebot;

Googlebot-Image;

360Spider;

sogou spider。

需要熟知蜘蛛HTTP状态码:

2XX:抓取成功,200抓取全部成功。

3XX:重定向,301永久重定向。

4XX:客户机出现错误,404找不到指定文档。

5XX:服务器出现错误。

完整的一串蜘蛛日志都包括那些:

蜘蛛访问IP;

访问时间;

获取方法;

访问的页面;

返回状态码;

页面抓取字节;

蜘蛛名称及蜘蛛地址。

其实我们做SEO要经常分析网站日志,网站日志的分析和诊断就像给网站看病一样,我们通过网站日志的分析,可以简单明了的就知道网站的健康状况,可以利于我们更好的做网站优化,好了今天的网站日志分析和诊断就给大家讲这么多,如果有什么不懂的地方,在本站的问答页面提问!

http://www.seozf.com/seojc/seojinjie/262.html

时间: 2024-10-11 22:57:12

网站日志分析诊断及其作用的相关文章

Awk使用及网站日志分析

Awk使用及网站日志分析 Awk简介 概述 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理. awk有3个不同版本: awk.nawk和gawk,未作特别说明,一般指gawk. awk程序的报告生成能力通常用来从大文本文件中提取数据元素并将它们格式化成可读的报告.最完美的例子是格式化日志文件.awk程序允许从日志文件中只过滤出你想要看

Spark学习四:网站日志分析案例

Spark学习四:网站日志分析案例 标签(空格分隔): Spark Spark学习四网站日志分析案例 一创建maven工程 二创建模板 三日志分析案例 一,创建maven工程 1,执行maven命令创建工程 mvn archetype:generate -DarchetypeGroupId=org.scala-tools.archetypes -DarchetypeArtifactId=scala-archetype-simple -DremoteRepositories=http://scal

linux下搭建HTTP网站服务器和网站日志分析工具AWStats的使用

服务器IP地址:192.168.4.5 服务器主机名:srv5.tarena.com 1.在服务器端安装httpd软件包 [[email protected] /]# yum -y install httpd [[email protected] /]# service httpd start [[email protected] /]# chkconfig httpd on 2.在客户机端验证 在浏览器中输入192.168.4.5 如果显示欢迎页面表示服务器搭建成功 3.部署网页文档 首先将欢

打造基于hadoop的网站日志分析系统(5)之spark在日志分析系统里的简单应用

1.下载spark和运行 wget http://apache.fayea.com/apache-mirror/spark/spark-1.0.0/spark-1.0.0-bin-hadoop2.tgz 我这里下载的是1.0.0版,由于我们只是测试spark的用法所以不需要配置spark集群,只需把下好的文件解压,进入bin/文件夹. spark支持scala,java和python. scala和java输入命令:./spark-shell python 输入命令 ./pyspark 进入控制

网站日志分析项目案例(二)数据清洗(MiniMapreduce)

网站日志分析项目案例(二)数据清洗 一.数据情况分析 1.1 数据情况回顾 该论坛数据有两部分: (1)历史数据约56GB,统计到2012-05-29.这也说明,在2012-05-29之前,日志文件都在一个文件里边,采用了追加写入的方式. (2)自2013-05-30起,每天生成一个数据文件,约150MB左右.这也说明,从2013-05-30之后,日志文件不再是在一个文件里边. 图1展示了该日志数据的记录格式,其中每行记录有5部分组成:访问者IP.访问时间.访问资源.访问状态(HTTP状态码).

Hadoop学习笔记—20.网站日志分析项目案例(三)统计分析

网站日志分析项目案例(一)项目介绍:http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例(二)数据清洗:http://www.cnblogs.com/edisonchou/p/4458219.html 网站日志分析项目案例(三)统计分析:当前页面 一.借助Hive进行统计 1.1 准备工作:建立分区表 为了能够借助Hive进行统计分析,首先我们需要将清洗后的数据存入Hive中,那么我们需要先建立一张表.这里我们选择分区表,以日期作

HDInsight-Hadoop实战(一)网站日志分析

HDInsight-Hadoop实战(一)网站日志分析 简介 在此示例中,你将使用分析网站日志文件的 HDInsight 查询来深入了解客户使用网站的方式.借助此分析,你可查看外部网站一天内对该网站的访问频率以及用户体验的网站错误总结. 在此教程中,你将学习如何使用 HDInsight: 连接到包含网站日志文件的 Azure Storage Blob 创建配置单元表以查询这些日志 创建配置单元查询以分析数据 使用 Microsoft Excel 连接到 HDInsight(使用 ODBC 连接)

Hadoop学习笔记—20.网站日志分析项目案例(二)数据清洗

网站日志分析项目案例(一)项目介绍:http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例(二)数据清洗:http://www.cnblogs.com/edisonchou/p/4458219.html 一.数据情况分析 1.1 数据情况回顾 该论坛数据有两部分: (1)历史数据约56GB,统计到2012-05-29.这也说明,在2012-05-29之前,日志文件都在一个文件里边,采用了追加写入的方式. (2)自2013-05-30

网站日志分析工具:WebLog Expert Lite

WebLog Expert Lite,它是一款专门用来分析网站日志文件的软件,可以对网站的来访者进行详细分析,包括当前活动会话统计.文件存取统计.搜索使用情况统计.浏览器/操作系统统计.错误统计等.然后生成HTML形式的表格和图表PDF报告方便各站长对网站各种情况有一个直观的了解. 下载,现在已经到9.2了,直接下一步就安装好了 1.首先下载WebLog Expert Lite和中文语言安装包,地址为:http://www.weblogexpert.com/download.htm 2. 直接打