大型企业级云产品-数据统计分析系统(离线处理-流处理-批处理)

大型企业级云产品-数据统计分析系统(离线处理-流处理-批处理)
课程观看地址:http://www.xuetuwuyou.com/course/249
课程出自学途无忧网:http://www.xuetuwuyou.com
讲师:友凡

课程介绍
本套教程为真实的大数据实战案例,适合有大数据基础的学员学习,熟练掌握本套大数据案例,完全可以胜任企业级的大数据开发。祝愿各位转型的大数据学子拿到自己理想的收入。

课程说明

本课程将通过一个真实的企业级云产品项目进行讲解,该项目是国内专业的移动应用统计分析平台,每天触达14亿活跃设备,每月覆盖80%以上新增手机消费者,几乎覆盖全部iOS消费者,通过该项目系统帮助移动应用开发商统计和分析流量来源、内容使用、用户属性和行为数据,以便开发商利用数据进行产品、运营、推广策略的决策。提供基本统计、活跃用户、使用频率、使用时长、页面访问、地域分析、版本分析、渠道分析、设备分析、操作系统、分辨率、运营商、联网方式、自定义事件分析、终端异常分析,流失用户分析等多种统计分析手段。

课程所用到的开发环境和用到的技术:
系统:window7,
开发工具是:eclipse,IDEA,
本课程项目是一个综合项目,技术涵盖java web,大数据,虚拟化,linux服务器等
具体包含: spring,spark,spark streaming,spark mlib,hive,flume,kafka,hadoop,hbase,mongodb,dubbo,分布式缓存,redis,docker,nginx,easyui,highcharts等等。
此课程是按照真实企业级开发项目流程进行讲解,通过学习此课程可以体会到真实的大型大数据项目开发流程,学完此课程可以熟练掌握大数据技术,java web技术,docker虚拟化技术,分布式技术,缓存技术,linux等

(一)项目总体需求分析
1.项目背景

在这个互联网爆发的时代,移动网络,移动设备逐渐成为人们的必备品,移动设备的用户已经达到几亿,可想而知,app必将流行起来,但是每一款app都要运营,达到盈利的目的,那么这个运营怎么做呢?要借助大数据的技术,准确分析用户的行为,这必将会有很大的需求。

2.项目需求

在这个互联网爆发的时代,移动网络,移动设备逐渐成为人们的必备品,移动设备的用户已经达到几亿,可想而知,app必将流行起来,但是每一款app都要运营,达到盈利的目的,那么这个运营怎么做呢,要借助大数据的技术,准确分析用户的行为,这必将会有很大的需求。急需一个系统帮助各大中小企业快速的分析app用户的行为,只需要接入提供的sdk,就可以轻松的了解用户的行为,享受大数据技术带来的时代变革。通过该产品可以了解到:app的应用趋势,app的渠道推广情况,用户留存情况,用户的行为分析,用户属性分析,应用错误分析,用户数据挖掘,并且需要实时去展示这些分析结果。

3.系统功能

可以查看该app的用户活跃度,每个时段的新增用户,app的终端使用分类情况,沉默用户,和忠诚用户的统计和查看等。

(二)项目架构设计及技术选型

1.项目整体架构设计

2.软件选型

(三)项目整体环境搭建

1.机器选型、节点规划等。

2.集群环境搭建

(四)相关项目内容

1.物理架构,逻辑架构

2.上报数据服务的设计与开发

3.实时处理数据的环境搭建和程序开发

4.日志收集系统设计

5.离线任务的设计和开发

6.高并发,缓存,虚拟化等

原文地址:http://blog.51cto.com/12386171/2114258

时间: 2024-10-10 08:51:45

大型企业级云产品-数据统计分析系统(离线处理-流处理-批处理)的相关文章

大型企业级云产品-亿级数据统计分析系统(真实大数据应用,代码企业可直接复用)

本套教程为真实的大数据实战案例,适合有大数据基础的学员学习,熟练掌握本套大数据案例,完全可以胜任企业级的大数据开发.祝愿各位转型的大数据学子拿到自己理想的收入. 网盘地址:https://pan.baidu.com/s/1cpTZKGjsUkTt5Sk3Uuii6g 提取码:upzq 原文地址:https://blog.51cto.com/13890029/2377242

【阿里云产品公测】离线归档OAS,再也不用担心备份空间了

[阿里云产品公测]离线归档OAS,再也不用担心备份空间了 作者:阿里云用户莫须有3i 1 起步  1.1 初识OAS  啥是OAS,请看官方说明: 引用: 开放归档服务(Open Archive Service,简称OAS),致力于提供低成本.高可靠的数据归档服务,适合于大数据的长久归档备份. 低成本.高可靠,长久归档备份,这是它的特色.  1.2 申请开通 当前还处于公测阶段,需要申请,试用期间,免费试用,每个用户可以存储不超过10T的数据,并且文件数量不超过10万个,大伙有什么超大文件,没地

阿里云产品公测】离线归档OAS,在也不用备份担心空间了

作者:阿里云用户 莫须有3i 1 起步 1.1 初识OAS 啥是OAS,请看官方说明: 引用 开放归档服务(Open Archive Service,简称OAS),致力于提供低成本.高可靠的数据归档服务,适合于大数据的长久归档备份. 低成本.高可靠,长久归档备份,这是它的特色. 1.2 申请开通 当前还处于公测阶段,需要申请,试用期间,免费试用,每个用户可以存储不超过10T的数据,并且文件数量不超过10万个,大伙有什么* * * * * * *,没地方放的,可以考虑考虑喔,不过对于文件唤起要一段

阿里云产品总监何云飞:数据是企业的第一资产,云与企业必须深度融合

摘要: 对于企业而言,除了管理不当,资金链断裂等因素会导致企业面临危机,在互联网时代,数据中心事故同样会导致企业面临灾难性危机且绝大多数不可逆.据IDC统计数据表明,十年间发生过灾难的公司,有55%当时倒闭,剩下的45%中,因为数据丢失,有29%也在两年之内倒闭,生存下来的仅占16%. 对于企业而言,除了管理不当,资金链断裂等因素会导致企业面临危机,在互联网时代,数据中心事故同样会导致企业面临灾难性危机且绝大多数不可逆.据IDC统计数据表明,十年间发生过灾难的公司,有55%当时倒闭,剩下的45%

奇点云数据中台技术汇(一)DataSimba——企业级一站式大数据智能服务平台

在这个“数据即资产”的时代,大数据技术和体量都有了前所未有的进步,若企业能有效使用数据,让数据赚钱,这必将成为企业数字化转型升级的有力武器. 奇点云自研的一站式大数据智能服务平台——DataSimba,旨在提供数据采集.数据加工.数据治理.数据规范.数据资产.数据服务等全链路的产品+技术+方法论服务,构建面向业务应用的大数据智能平台.其主要核心模块包括了数据开发套件.数据治理套件.数据服务引擎.数据智能.数据安全. 1.数据采集 数据采集作为数据中台第一个环节,不仅仅是要“采集”,也要将数据合理

奇点云数据中台技术汇(一) DataSimba——企业级一站式大数据智能服务平台

在这个"数据即资产"的时代,大数据技术和体量都有了前所未有的进步,若企业能有效使用数据,让数据赚钱,这必将成为企业数字化转型升级的有力武器. 奇点云自研的一站式大数据智能服务平台--DataSimba,旨在提供数据采集.数据加工.数据治理.数据规范.数据资产.数据服务等全链路的产品+技术+方法论服务,构建面向业务应用的大数据智能平台.其主要核心模块包括了数据开发套件.数据治理套件.数据服务引擎.数据智能.数据安全. 1.数据采集 数据采集作为数据中台第一个环节,不仅仅是要"采

【阿里云产品公测】大数据下精确快速搜索OpenSearch

[阿里云产品公测]大数据下精确快速搜索OpenSearch 作者:阿里云用户小柒2012 相信做过一两个项目的人都会遇到上级要求做一个类似百度或者谷歌的站内搜索功能.传统的sql查询只能使用like 或者FIND_IN_SET来实现.后者性能稍微好点但是必须要逗号分隔才可以实现匹配.甚至多条件的话还可能用到OR这是极影响系统性能的. 最近公司项目需要.主要是系统查询缓慢.并且查询精度不敢恭维.一开始想到的是Lucene 毕竟是一个开放源代码的全文检索引擎工具包 并且官方还在持续更新中.当时闲暇时

阿里云里面的Linux 系统挂载数据盘

转自:http://www.cnblogs.com/adjk/p/5112360.html 适用系统:非IO优化+SSD云盘Linux(Redhat , CentOS,Debian,Ubuntu)实例,IO优化实例+SSD云盘数据盘分区挂载建议使用脚本:工具:auto_fdisk_ssd.sh *  Linux的云服务器数据盘未做分区和格式化,可以根据以下步骤进行分区以及格式化操作. 下面的操作将会把数据盘划分为一个分区来使用. 1.查看数据盘 在没有分区和格式化数据盘之前,使用 “df –h”

【阿里云产品公测】结构化数据服务OTS之JavaSDK初体验

[阿里云产品公测]结构化数据服务OTS之JavaSDK初体验 作者:阿里云用户蓝色之鹰 一.OTS简单介绍 OTS 是构建在阿里云飞天分布式系统之上的NoSQL数据库服务,提供海量结构化数据的存储和实时访问.NoSQL,泛指非关系型的数据库.随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展.OTS应用程序可以使用阿