Hadoop离线项目介绍(不包括程序)

一:项目场景

1.需求分析

  根据用户行为数据进行程序的处理,得到结果保存到关系型数据库中
  需要收集用户(系统使用者)在不同客户端上产生的用户行为数据,最终保存到hdfs上
  需要明确收集字段的相关信息,而且需要考虑到后期的新需求的提出

  总:收集不同客户端的用户行为数据,通过mr、hive进行数据分析处理,将分析结果数据保存到关系型数据库中

2.场景一

  

二:核心关注点

1.核心关注点

  购买率
    购买的人数/总人数 购买的人数/查看该商品的总人数
  复购率
    n次购买的人数 / n-1次购买的人数(n>=2)
  订单数量、订单金额、订单的类型
  成功订单数量、成功订单金额、成功订单的类型
  退款订单数量、退款订单金额、退款订单的类型
  访客/会员数量
  访客转会员的比率
  SEM效果(广告推广效果)
  网站内容相关的一个分析(网站的跳出率、页面的跳出率)

三:重要概念

1.访客

  标示访问网站指定用户、一般称为自然人

  区分PC,手机:

  )PC:

    采用IP地址区分访客。由于NAT、代理等等,面临一个问题:一个IP地址对应多个访客, 但是实现简单

    采用客户端种植cookie的方式,当用户第一次访问系统的时候,在客户端的cookie中保存一个唯一uuid标识符,将过期时间设置为10年

  )手机   

    采用设备的固定识别码,比如:IMEI、MEID.....
      如果设备是比较差的,或者进行过刷机操作,这些识别码可能会出现误差,多个设备对应一个识别码
     类似于pc端的种植cookie的方式,在用户第一次访问系统的时候,在磁盘中写入一个唯一标识符

  指标:

  )新增访客:第一次访问系统的访客数量
  )活跃访客数量:统计的是给定时间段内访问过系统的访客数量(老访客+新访客)
  )总访客数量:迄今为止,访问过系统的访客总数量
  )流失访客数量:上一个时间段内访问过系统,但是当前时间段内没有访问系统的访客数量
  )回流访客数量:上一个时间段内没有访问过系统,但是当前时间段内访问过系统的访客数量

2.会员

  指业务系统中注册用户、直接使用业务系统中会员标识符id来表示
  标示当访问者登录我们的系统后,就成为一个会员,但是此时该访问者还是访客
  统计指标:
   )新增会员:第一次登录系统的会员数量
  )活跃会员数量:统计的是给定时间段内登录过系统的会员数量(老会员+新会员)
  )总会员数量: 迄今为止,新增会员数量的总和
  )回流会员
  )流失会员
  )访客转会员比率
  )新增访客转会员的比率

3.会话(案例在下面

  用户进入到系统到离开系统这一段时间被成为会话,这段时间的会话时间长度就叫做会话长度,一个会话中的所有操作都属于同一个会话

  区分会话

  )PC端:
    采用浏览器的session机制(SessionStorage、Cookie Session)
    在cookie中存储一个操作时间,在操作的时候,进行判断时间是否过期,如果过期,产生一个新的会话,如果没有过期,更新操作时间
  )移动端:
    采用移动端的session机制
    类似pc端种植cookie的方式,在磁盘中写入一个时间进行判断

  指标:

    会话长度
    会话数量
    跳出会话的数量:在一个会话中,只访问过一次网站的会话数量

4.跳出率

  指标:  

  会话跳出率:跳出会话/总会话数量
  页面跳出率
    从该页面离开后,进入到其他页面的会话数量占进入该页面会话数量的百分比
      -1. 离开系统的会话数量 / 进入该页面的会话数量
      -2. 进入详情页面的会话数量 / 进入该页面的会话数量

5.外链

  不同外链带来的会话数量/访客数量/订单数量

6.pv

7.uv

8.独立IP

9.DEPth view

  访问深度,访问了多少页面
  统计的是各个不同访问深度中的访客/会话数量
  DV展示的是一个网站内容整体上对用户的吸引程度,结合跳出率,能够更改的修改网站内容,增加网站的黏性,增加网站的友好性

四:维度

  操作系统维度: 操作系统名称、操作系统版本
  语言维度:
  外链维度:百度、360、google等等
  支付方式维度:alipay、weixin、银行卡支付....
  货币类型维度:
  商铺维度
  版本维度: 比如v1, v2等等,一般用于多个版本之间进行数据比较(AB测试)

  以及:

  

五:分析

  维度+核心点+重要概念

六:项目结构

1.整体

  )用户数据基本分析模块

  )浏览器分析模块

  )地域分析模块

  )外链分析模块

  )用户浏览深度分析模块

  )事件分析模块

  )订单分析模块

 

2.用户基本数据

  

3.浏览器分析

  

4.地域分析

  

5.用户深度分析

  

6.外链分析

  

7.订单分析

  

8.事件分析

  

 

  

  

时间: 2024-10-13 21:19:49

Hadoop离线项目介绍(不包括程序)的相关文章

Hadoop离线项目介绍

Hadoop离线项目介绍(不包括程序) 一:项目场景 1.需求分析 根据用户行为数据进行程序的处理,得到结果保存到关系型数据库中 需要收集用户(系统使用者)在不同客户端上产生的用户行为数据,最终保存到hdfs上 需要明确收集字段的相关信息,而且需要考虑到后期的新需求的提出 总:收集不同客户端的用户行为数据,通过mr.hive进行数据分析处理,将分析结果数据保存到关系型数据库中 2.场景一 二:核心关注点 1.核心关注点 购买率 购买的人数/总人数 购买的人数/查看该商品的总人数 复购率 n次购买

Apache顶级项目介绍4 - Hadoop

大象起舞,天下太平,极客们应该知道我们的重量级人物Hadoop登场了. 提到Hadoop, 正所谓饮水思源,我们不得不提及一下Hadoop之父,其对技术界的影响,在近10年可谓重大, 他就是Doug Cutting, 其传奇人生及其大作这里不赘述了,大家可以Google/Bing一下,之后或许我们会推出一些技术大牛的介绍以及好书推荐. 值得提及的是Hadoop之所以诞生于2005-2006之际,是Doug当时受到来自 Google Lab公开发布的几篇paper启发,包括Map/Reduce(2

Apache顶级项目介绍系列1-概览

我们希望开始介绍一整套精华Apache TLP顶级项目介绍,包括Kafka, Zookepper, Hadoop, Spark, HBase etc.   公众号:技术极客TechBooster

基于Hadoop离线大数据分析平台项目实战

基于Hadoop离线大数据分析平台项目实战  课程学习入口:http://www.xuetuwuyou.com/course/184 课程出自学途无忧网:http://www.xuetuwuyou.com 课程简介: 某购物电商网站数据分析平台,分为收集数据.数据分析和数据展示三大层面.其中数据分析主要依据大数据Hadoop生态系统常用组件进行处理,此项目真实的展现了大数据在企业中实际应用. 课程内容 (1)文件收集框架 Flume ①Flume 设计架构.原理(三大组件) ②Flume 初步使

100offer举办的「寻找实干和坚持的技术力量」开源项目投票排名分析程序

由于100offer举办的「寻找实干和坚持的技术力量」开源项目投票活动没有按照票数排序的功能,所以本文写了个小程序来实现这个功能,代码如下: import org.jsoup.Jsoup; import org.jsoup.nodes.Element; import java.net.URL; import java.util.HashMap; import java.util.Map; import java.util.concurrent.atomic.AtomicInteger; /**

Hadoop发行版本介绍

前言 从2011年开始,中国进入大数据风起云涌的时代,以Hadoop为代表的家族软件,占据了大数据处理的广阔地盘.开源界及厂商,所有数据软件,无一不向Hadoop靠拢.Hadoop也从小众的高富帅领域,变成了大数据开发的标准.在Hadoop原有技术基础之上,出现了Hadoop家族产品,通过“大数据”概念不断创新,推出科技进步. 目录 Hadoop的发展史 Hadoop的发行版本的选择和介绍 1. Hadoop发展史 1.1Hadoop产生背景 Hadoop 最早起源于Nutch .Nutch 是

Hadoop Web项目--Mahout0.10 MR算法集锦

1. 涉及技术及下载 项目开发使用到的软件有:Myeclipse2014,JDK1.8,Hadoop2.6,MySQL5.6,EasyUI1.3.6,jQuery2.0,Spring4.1.3,Hibernate4.3.1,Struts2.3.1,Maven3.2.1,Mahout0.10. 项目下载地址:https://github.com/fansy1990/mahout1.0,项目部署参考:http://blog.csdn.net/fansy1990/article/details/464

Apache顶级项目介绍2-Kafka

Apache顶级项目介绍系列-1,我们从Kafka说起.why?流行 + 名字cool. Kafka官网是见过比较简单,直叙的网站,"kafka是一个高吞吐的分布式的消息系统". Kafka最初起家于LinkedIn,当时原本作为linkedin用来管理活动流(PV,用户行为分析,搜索情况)和运营数据处理的pipline的基础. 因为其分布式以及高吞吐被广泛使用,如与Cloudera, Hadoop, Storm, Spark etc. kafka首先作为一个消息系统,提供了基本功能,

Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop

Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop的相关介绍. Hive Pig和Hive的对比 摘要: Pig Pig是一种编程语言,它简化了Hadoop常见的工作任务.Pig可加载数据.表达转换数据以及存储最终结果.Pig内置的操作使得半结构化数据变得有意义(如日志文件).同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换. Hive Hive在Hadoop中扮演数据仓库的角色.Hiv阅读全文 hive的实现机制 摘要: hive利用hdfs存