【收集和分析】网站用户行为数据收集和分析方法

为改善网站的可用性, 一般采用可用性工程方法, 其核心是以用户为中心的设计方法论(UCD)。综合介绍了目前国内外对于用户行为数据收集和分析方法所进行的研究, 各种方法的特点, 并介绍一些利用相应方法所开发出的工具实例, 使得建设的网站更加符合用户的需要, 以保障用户与网站之间沟通的顺畅。

  随着In ternet 的不断发展, 各种各样的网站如雨后春笋般成倍增长, 各个商业网站之间的竞争越来越激烈, 随之而来的是, 网站的建设不可避免的出现了很多问题。从最近一次国外对15 个大型网站进行统计分析表明, 用户在寻找自己所需要的信息时, 只有42% 的概率可以找到, 而在大部分的时间里用户都无法找到自己所需要的信息, 这使得用户在浏览网站时经常遭遇挫折, 严重影响了用户对网站的兴趣和信任。正如 J acob N ielsen 所指出的“如果你想通过网站找到某些信息, 那么在一般情况下很难找到, 就算能够找到, 也要经过一番周折。从以往的经验可以得知, 除非项目管理团队在整个网站设计过程中就特别考虑网站的可用性, 否则结果往往令人失望”。针对网站的特点, 目前国内外提出了很多依靠计算机辅助来自动收集和分析用户行为数据的方法, 本文以下部分将重点介绍基于服务器日志收集和分析用户行为数据的方法和从客户端收集和分析用户行为数据的方法, 并对根据不同的方法所开发出的一些工具进行了介绍。

  1 基于服务器日志收集和分析用户行为数据的方法

  目前, 对于网站来说, 自动获得用户行为数据最流行的方法之一是基于服务器日志的方法(Server log) ,就是通过从w eb 服务器所产生的日志文件来获取有用的数据。服务器日志文件就是用来记录w eb 服务器的活动, 提供了详细的客户和服务器的交互活动日志, 其中包括客户的请求和服务器的响应。通过日志文件收集到的数据形式依赖于具体的w eb 服务器类型, 不同的w eb 服务器产生的信息是不一样的。

  1. 1 基于服务器日志方法的优点通过日志文件可以获得很有价值的网站使用情况的数据。 ① 日志文件是由w eb 服务器自动生成, 所以花费比较小。 ② 与人为建造的可用性实验室环境相比, 通过日志文件获得的数据更能够反映真实环境下用户的真实情况。 ③ 与只对几个用户在几小时内进行的测试所获得的数据相比, 通过日志文件获得的是大量的用户在相当长一段时间内的行为数据, 这对分析用户的行为是十分有利的, 可以利用数据挖掘等技术对用户进行分析。 ④ 开发基于日志文件的数据分析工具相对比较容易, 花费也不是太大。

  1. 2 基于服务器日志方法的缺点基于日志的方法对于网站的可用性研究来说还存在着很多不足之处, 由于日志文件就是被设计用来产生站点级的性能统计数据, 因此不可避免的是, 日志文件所提供的数据与用来分析网站可用性所需的大量数据相比会有所不足, 对于研究潜在的可用性问题只能提供少量的数据甚至还可能提供一些误导性的数据。这是因为一旦w eb 服务器把用户请求的页面发送出去之后, 如果用户不发出请求, 则页面和用户之间发生了什么w eb 服务器并不记录。下面是一些从日志文件中获取的数据不足或有误导性数据的例子。

  ① 谁正在访问网站。如果想知道谁正在访问网站, 要求日志文件必须包含一个个人ID 或者登录到服务器的登录标示, 但是目前的网站一般不需要用户登录, 大多情况下由日志文件提供的客户端信息是客户的IP 地址, 而这些IP 地址很多情况下是由In ternet 提供商提供的动态IP。并且有时用通过代理服务器来访问In ternet (例如, 学校的校园网) , 这样就不能正确得知是哪个用户在访问网站。

  ② 用户访问网站的路径。如果日志文件能够记下用户所浏览的每个页面, 那么自然可以清楚的记录用户的访问路径, 然而, 当把用户的浏览器设置为可使用缓存(cache) 时(通常是缺省设置) , 用户所浏览的一些页面就不能被w eb 服务器所记录, 例如, 使用Back 按钮浏览的页面就不能被记录。而且, 如果同一页面中提供了多个选择可链接到同一个页面的话, 用户到底是使用哪一个链接过去, 这一信息从log 文件中也难以获得, 但是这一信息对改善网站的可用性也是很重要的。如果是通过图片链接,w eb 服务器可能会记下用户单击的坐标位置, 从而可以获得用户的确切信息, 如果没有使用这种技术的话, 就很难捕获这一信息。而且, 当用户通过键入U RL 地址, 或通过书签来访问页面时,w eb 服务器也不能记录这一信息。

  ③ 用户在每页的停留时间。日志文件记录的是数据开始传输的时间, 而不是传输完成的时间。而且也不清楚, 在页面下载的过程中, 用户到底在什么时间开始浏览页面。除非在页面显示的时候, 用户因有事离开了, 不然可以通过比较用户的当前请求和下一次请求之间的时间来粗略计算用户在此页面停留的大概时间 (通过后一次的请求时间减去第一次的请求时间得到, 但对于从cache 中获取的页面来说就出现很大偏差)。

  ④ 用户离开站点的位置。日志文件记录了在用户会话期间所发送的最后一页, 但是这可能并不是用户所看到的最后一页。其中有两个原因: 第一, 用户所看到的最后一页可能是从cache 中得到。第二, 用户可能已经有事离开了很长时间, 而这段时间已经超过了 w eb 服务器所定义的用户会话时间。

  ⑤ 用户是否成功完成自己想要做的事情。这是最根本的可用性问题, 只是通过单独的日志文件统计是很难回答的, 如果是“用户是否完成了交易? 用户是否成功地下载了文件?”之类的问题, 答案还是很容易推断。然而, 如果要回答“用户是否找到了所需要的信息?”类似这样的问题, 仅通过日志文件就很难回答了。

  1. 3 基于服务器日志文件方法获取数据的辅助工具 Click T races A nalyzer 是分析网站用户行为的一套工具, 为进一步了解用户的浏览行为提供了强大的功能, 它把大量的复杂数据用非常简单的方法表达出来, 使可用性人员在分析用户行为时一目了然。

  2 客户端收集和分析用户行为数据的方法

  由于通过日志文件获得的信息会出现失真的情况, 而且有很多重要的数据只通过日志文件很难获得, 这些信息对研究网站的可用性问题却很重要, 因此为了进一步获得更多的有价值的可用性数据, 发现更多的网站可用性问题, 逐渐产生了很多技术用于从客户端(page- side) 直接获得用户与网站的交互情况。由于是直接从客户端获得数据, 所以, 能够获得大量的难以从服务器端获得的用户行为数据, 这对进一步分析用户浏览网站行为, 改善潜在的网站可用性问题提供了更大的帮助。

  2. 1 客户端收集用户行为数据的优点

  ① 由于用户是在真实的环境下所进行的操作(如在家里或办公室) , 减少了人为地干扰因素, 因此获得的数据更加真实。

  ② 与基于日志文件的方法相比, 从客户端收集到的数据更加精确, 能够克服如上描述的很多问题。

  ●不受动态分配IP 地址或代理服务器的影响: 通过使用客户端跟踪技术(如由w eb 服务器对每个访问站点的客户机自动分配ID 并将其记录在客户端的 Cook ies 中, 每次用户浏览网站,w eb 服务器可通过访问客户端的Cook ies 就知道此客户机是否访问过本网站)。

  ●正确的用户浏览路径: 由于是在客户端记录用户行为, 因此客户端代码可自动跟踪用户的浏览路径, 不管是否通过本机缓存或通过代理服务器。例如, 用户的实际浏览路径是从A ` B, 点击Back 钮, ` A ` C, 但是从log 文件中得到的路径是A ` B` C。页面浏览时间: 举例如图1 (页面是由cgi 脚本产生的动态文件)。这是使用Click st ream 收集工具与基于服务器的日志文件产生的数据比较, 日志文件丢失了很多重要数据。

时间: 2024-08-05 08:43:32

【收集和分析】网站用户行为数据收集和分析方法的相关文章

网站用户行为数据统计与分析之一:埋点代码设计

原文:http://www.aiuxian.com/article/p-1442657.html 1 <!-- 获取用户行为数据(js文件外部引用) 五味子--> 2 <script type="text/javascript"> 3 var _uid = "${sessionScope.memberId}";//获取用户会员ID 4 var _oid = "${orderId}";//获取用户订单ID 5 (functi

从根本分析网站降权的原因与解决方法

网站降权了该怎么办?这个是做seo优化人员的经常面临与遇到的问题,不知道该从何分析与着手,下面小编就带着大家来分析原因并解决网站降权:        网站优化从两方面着手,站内优化与站外优化,首先我们先从站内优化开始分析: 1.锚文本过分 许多站长喜好做锚文本和全站毗邻,每更新一篇文章,见关键词就做锚文本,见主页关键词就做全站毗邻,至使蜘蛛在抓取日志的时分,有区分优化过速,刻意搜刮引擎优化的猜忌,被罚降权. 解决方法: 淘汰锚文本的数目,通常1000字的文章,放10个没关系.尚有,放关键词超毗邻

网站统计中的数据收集原理及实现(share)

转载自:http://blog.codinglabs.org/articles/how-web-analytics-data-collection-system-work.html 网站数据统计分析工具是网站站长和运营人员经常使用的一种工具,比较常用的有谷歌分析.百度统计和腾讯分析等等.所有这些统计分析工具的第一步都是网站访问数据的收集.目前主流的数据收集方式基本都是基于javascript的.本文将简要分析这种数据收集的原理,并一步一步实际搭建一个实际的数据收集系统. 数据收集原理分析 简单来

cacti监控工具之自定数据收集方法

目录 1.引语 2.使用自定义数据收集方法完成设备监控 2.1.创建数据收集脚本 2.2.定义Data Input Methods 2.3.定义Data Templates 2.4.定义Data Sources 2.5.定义Graph Templates 2.6.设置Graph Management 3.总结 1.引语 在上一博文中大致介绍了cacti的数据收集方法和模板的使用,还以一个例子介绍了怎样导入一个主机模板,并让此模板应用到一个指定的Devices上.此次博文在上一次博文的基础上介绍以

大数据技术之_18_大数据离线平台_01_项目开发流程+大数据常用应用/分析平台/业务处理方式+数据分析平台的数据来源+数据处理的流程+项目集群的规模+需求分析+技术架构/选型

一.项目开发流程1.1.项目调研1.2.项目需求分析1.3.方案设计1.3.1.概要设计1.3.2.详细设计1.4.编码实现1.4.1.单元测试1.4.2.集成测试1.4.3.压力测试1.4.4.用户测试二.大数据常用应用2.1.数据出售2.2.数据分析2.2.1.百度统计2.2.2.友盟2.2.3.其他统计分析组织2.3.搜索引擎2.3.1.solr2.3.2.luence2.3.3.luence & solr 对比2.4.推荐系统(高数)2.4.1.技术2.4.2.算法2.5.精准营销2.5

网站分析数据收集方式详解

回顾网站数据分析历史,从“您是第***位来访用户”到现在百家齐放的专业工具提供商,网站分析已经逐渐发展衍化成一门科学.但面对形态各异的分析数据,很多人仍然困惑于数据的来源,了解数据的收集原理,也许对你解决这些困惑有所帮助. 眼下网站分析数据主要有三种收集方式:Web日志.JavaScript标记和包嗅探器. 1. Web日志 下图是Web日志收集数据过程的示意图. 从上图可以看出网站分析数据的收集从网站访问者输入URL向网站服务器发出http请求就开始了.网站服务器接收到请求后会在自己的Log文

使用nginx lua实现网站统计中的数据收集

使用nginx lua实现网站统计中的数据收集 导读 网站数据统计分析工具是各网站站长和运营人员经常使用的一种工具,常用的有 谷歌分析.百度统计和腾讯分析等等.所有这些统计分析工具的第一步都是网站访问数据的收集.目前主流的数据收集方式基本都是基于javascript的.在此简要分析数据收集的原理,并按照步骤,带领大家一同搭建一个实际的数据收集系统. 数据收集原理分析 简单来说,网站统计分析工具需要收集到用户浏览目标网站的行为(如打开某网页.点击某按钮.将商品加入购物车等)及行为附加数据(如某下单

网站统计中的数据收集原理及实现

转载自:http://blog.sina.com.cn/s/blog_62b832910102w5mx.html Avinash Kaushik将点击流数据的获取方式分为4种:log files.web beacons.JavaScript tags和packet sniffers,其中包嗅探器(packet sniffers)比较不常见,最传统的获取方式是通过WEB日志文件(log files):而beacons和JavaScript是目前较为流行的方式,Google Analytics目前就

006-网站统计中的数据收集原理及实现

网站数据统计分析工具是网站站长和运营人员经常使用的一种工具,比较常用的有谷歌分析.百度统计和腾讯分析等等.所有这些统计分析工具的第一步都是网站访问数据的收集.目前主流的数据收集方式基本都是基于javascript的.本文将简要分析这种数据收集的原理,并一步一步实际搭建一个实际的数据收集系统. 数据收集原理分析 简单来说,网站统计分析工具需要收集到用户浏览目标网站的行为(如打开某网页.点击某按钮.将商品加入购物车等)及行为附加数据(如某下单行为产生的订单金额等).早期的网站统计往往只收集一种用户行