画像分析(6-1)画像需求分析

客户画像专题设计

1、原始需求

1.1、原始需求描述

1.2、验证场景

2、需求分析

2.1、功能性需求

2.1.1、定义实体的元数据规格

2.1.2、定义实体的数据抽取规则

2.1.3、支持实体画像查询

2.1.4、支持实体关系图谱查询

2.1.5、支持打标签

2.1.6、支持新的实体注册

2.1.7、支持新的关系注册

2.2、非功能需求

支持Rest-api

支持

2.3、对象模型

2.4、数据模型

 

3、概要设计

3.1、定义实体的元数据规格

参见数据结构定义

3.2、定义实体的数据抽取规则

         实体分普通实体(如:人、qq),关系实体(如:销售订单、案件):

        

     a、实体建模:要分析出实体的维度,并支持后来维度的追加

如:建模实体【人】,找到的维度有:

【QQ注册】、【电话号码注册】、【户籍登记】、【微信注册】等信息

这样,当一个人有多个电话号码、多个qq时,也比较容易用结构化数据存储。

b、实体维度建模:要记录对实体统一主键的引用。

如:建模实体【人】的维度时,每个维度都要记录实体主键【身份证号】

c、建模实体标签:引入关注的维度属性,计算标签的落地,可以落地到一个维度表。

   实体标签可以分类,以便统一收集展示。

如:人的性别、家庭住址、联系方式、各种标签

d、建模关系:描述关注的关系,指明发起实体、落地实体。

实体关系可以分类,以便统一汇聚展示。

如:对于一个销售订单,

买方买了一个商品,

卖方卖了一个商品,

买方和卖方做了一笔交易

3.3、支持实体画像查询

3.3.1、实体画像基本信息

功能描述:根据实体类型和对象主键查询实体画像信息

入口参数

String 实体类型(实体主键)

String 对象主键

出口参数

实体各个维度信息汇总

支持逻辑:

         系统根据【实体类型】找到实体的定义,

根据对象主键,遍历各个维度对应数据源,提取数据

汇总数据返回

3.3.2、实体画像发起/接受关系查询

功能描述:根据实体类型和对象主键查询实体发起的关系列表

入口参数

String 实体类型(实体主键)

String 对象主键

出口参数

实体发起的关系列表

支持逻辑:

根据实体类型,得到关系定义,得到关系的各个维度表。

根据对象主键,提取关系信息

汇总关系信息返回

3.4、支持实体关系图谱查询《?》

支持使用关系权重《?》

3.5、支持打标签

实现一个定时扫描机制,扫描执行打标签任务,

支持配置任务名称LOGIC_NAME,

支持配置要更新的目标数据源和标签列

支持配置实现的逻辑类型

支持配置实现的逻辑定义

支持配置执行状态,如:未执行、执行中、执行完毕

支持配置任务描述。

3.6、支持新的实体注册

3.7、支持新的关系注册

支持各类关系设置查询权重

时间: 2024-11-05 19:44:09

画像分析(6-1)画像需求分析的相关文章

大数据可视化分析电商快销用户画像分析系统开发

大数据的时代,每一个企业都希望从用户数据中分析出有价值的信息.尤其是电商行业,用户画像分析可以让商品推广范围更加精准,从而提升销量.大数据分析系统可以从海量数据分析预测出商品的发展的趋势,提高产品质量,同时提高用户满意度. 用户画像也叫用户信息标签化,根据用户社会属性.生活习惯和消费行为等信息而抽象出的一个标签化的用户模型.在电商的大数据中,可以通过用户的消费习惯,在电商平台上填的信息分析出大致的标签. 大数据可视化电商用户画像分析系统的优势: 1.精准营销:通过用户画像分析后,可以针对潜在用户

画像分析-概述

1.功能概述: 基于结构化数据(如:销售明细数据).非结构化数据(物品描述)的标签建模和服务化提供.       2.过程概述: a.通过对多源的明细数据进行标签建模 根据需要,对已有的多源数据分类为实体(卖家.买家.商品)和实体关系(商品销售交易)                    b.使用maxcompute抽取标签数据到olap库(anylyticDB),此时标签已经转化为olap的维度 数据抽取(手动抽取.批量抽取.定时抽取) c.此后借助于olap的分析能力(组合维度,下钻上聚)和

画像分析(6)下一步的工作重点:重点考虑客户画像如何实现

1.清晰的可探索的目标: a.定义对搜索引擎内数据的清洗转入规则 b.定义搜索引擎内数据的元数据描述规格 c.实现个人画像基本信息查询.个人画像事实信息查询的api d.支持用户群查询(标签的组合条件查询)的api:基于元数据的类SQL e.支持用户动态标签的加入和元数据注册:单独建立es的type存储和更新 2.不是很清晰的目标: f.实现用户疑似关系数据的加入和元数据注册? g.如何对各类关系设置权重? 3.当前目标和阿里云的差异: a.阿里云是多源数据整合,大数据算法框架接收,入多维数据库

画像分析(6-2)阿里云画像分析总结

阿里云画像的能力: 1.对于多种来源的数据,基于业务模型建模,一键数据同步到分析db,屏蔽数据来源的差异2.数据同步,(在分析库上)自定义分析查询和展现方式3.提供如下三种使用方式     暴露成api     内嵌入其他模块的界面     导出数据给其他模块使用,如:营销 关于阿里的分析型数据库(analytic DB = ads):具备关系数据库能力,接收来自 maxcompute.流式计算的数据,在线分析数据.

画像分析(6-4)某极产品分析

一.产品服务 EDS 集群管理和数据导入 管理监控计算资源 导入多源数据到HDFS,管理生成的hdfs文件 提供基于生成文件的sql查询分析能力 ADS 创建数据模块.分析模块,封装各种逻辑成docker镜像 组装成项目, 创建任务执行 二.模块划分: 模块分为 总览.数据平台.分析应用.模型示例和用户中心 功能介绍如下:1.总览: 为用户提供任务.模块及项目的数据总览. 项目:一个数据分析流程 模块:某种操作,某种算法,封装成一个docker镜像,如:数据导出.数据分析 任务:一个项目的执行结

kaggle之数据分析从业者用户画像分析

数据为kaggle社区发布的数据分析从业者问卷调查分析报告,其中涵盖了关于该行业不同维度的问题及调查结果.本文的目的为提取有用的数据,进行描述性展示.帮助新从业的人员更全方位地了解这个行业. 参考学习视频:http://www.tianshansoft.com/ 数据集:https://pan.baidu.com/s/1o7BFzFO 变量说明 数据中包含228个变量,提取其中的一些较有价值的变量进行描述性分析 数据处理 survey <-read.csv(stringsAsFactors =

大数据学习总结(2)竞争对手分析-阿里云画像分析

大数据精英实战项目班-Hadoop-Spark-真实企业项目

2018最新最全大数据技术视频,项目视频.整套视频,非那种杂七杂八自己拼凑的,内容如下,需要的联系QQ:3164282908(加Q注明大数据) 更有海量大数据技术视频.大数据项目视频,机器学习深度学习技术视频.项目视频.Python编程视频.Oracle数据库视频.Java培训视频高级架构师视频等等等. ├----------01-大数据Java基础------------- │├java第01天 ││├java第01天-01.类型转换.avi ││├java第01天-02.归档分析与实现.av

大数据技术之_18_大数据离线平台_01_项目开发流程+大数据常用应用/分析平台/业务处理方式+数据分析平台的数据来源+数据处理的流程+项目集群的规模+需求分析+技术架构/选型

一.项目开发流程1.1.项目调研1.2.项目需求分析1.3.方案设计1.3.1.概要设计1.3.2.详细设计1.4.编码实现1.4.1.单元测试1.4.2.集成测试1.4.3.压力测试1.4.4.用户测试二.大数据常用应用2.1.数据出售2.2.数据分析2.2.1.百度统计2.2.2.友盟2.2.3.其他统计分析组织2.3.搜索引擎2.3.1.solr2.3.2.luence2.3.3.luence & solr 对比2.4.推荐系统(高数)2.4.1.技术2.4.2.算法2.5.精准营销2.5