DT时代下[个推3.0]遵循的四个法则

DT(Data Technology),是以服务大众、激发生产力为主的技术。从IT时代走向DT时代,我们要思考如何用互联网技术、理念、思想去与传统行业进行交融和共同发展。

1.数据是决策的基本依据
数亿客户端情况下,如何迅速定位?譬如:有的手机定位正常,有的不正常;有的区域定位正常,有的不正常;有的版本定位正常,有的不正常。
而个推的解决方案是,首先是进行意识培养,第二是数据抽样收集以及集中分析。个推前端团队做了一个叫Logful的开源产品,通过抽样的方法,解决定位问题,同时能极大地降低成本。

2.数据越热越有价值
数据划分为冷数据、温数据、热数据三种类别。冷数据是较长时间之前的状态数据,即用户画像数据;温数据则是非即时的状态和行为数据;而热数据是指即时的位置状态、交易和浏览行为。
移动互联网时代,个推发现用户的兴趣和爱好,会随着一些热点事件、市场营销活动的发生或进展而变化。随之热数据的价值会越来越大,如果一款应用或者大数据平台能够及时地抓住这些热数据并进行处理,也许会发现新的商业机会。
个推应景推送能够精准捕捉场景,在合适的地点触发消息,其本质是利用冷数据加上热数据进行实时处理。且个推采用服务端处理的方案,在保证一定可接受的数据量的基础上,很多业务在服务端处理,能把热数据进行非常及时的加工,从而高效充分地把热数据的价值利用起来。

上图是春节期间北京西城区的人口热力图,地图上的色块用于表现该地区的拥挤程度以及人群分布情况,颜色上,红色代表人数密集,橙色次之,蓝色则为稀疏,这是个推对热数据的应用。

3.近似优于精确
考虑以下场景:你需要统计数据流中独立元素的个数? 要求:实时,至少是准实时。但是你面临几个问题:1、数据流速度很快,意味着无法使用二级存储。2、数据规模巨大意味着要么使用超大内存的设备, 要么多个设备分而治之运算,但多大算是个头?
一般数据量大了以后会经常碰见这些问题。如果想得到精确解,代价是非常高昂的,所以能够得到一个问题的近似解则是最优的解决方案。

4.永远的墨菲定律
如果有两种或者两种以上的方法去做某件事情,其中一种选择方式将导致灾难,必定有人会做出这种选择。通俗来说就是如果事情有变坏的可能,不管这种可能性有多小,它总会发生。
个推内部用了很多Redis的产品,特别是Redis 2.8 earlier 版本在网络闪断情况下会遇到很多问题。如果数据量小可能不会造成严重影响,但如果是几十G甚至接近上百G的数据,而且复制过程中又有很多请求访问Redis时,几毫秒会变成几百毫秒、几秒。特别是需要实时处理的时候,流量并不一定会按照预期到来,还有攻击、域名劫持、设备断电等问题,这些都是非常棘手的。
对此,可行的对策是:异常情况分析 + 预案设定 + 沙盘推演 + 模拟操作。
一款APP刚上线,如果该APP很受欢迎,它的流量完全是不规则的,所以不能完全按照预期来设定流量大小。而需要做各个环节的流量控制。个推工程师在很多时候对于很多流量控制、异常的处理都会放在优先级的环境下,提前做这样的需求,强制检查。
产品设计阶段,从技术角度来讲,一定要有对异常情况的分析,所有代码里是否有异常的cache?有没有考虑到断网时长?出现这些问题怎么解决?不要真的等问题出现的时候才想解决方案,而是需要事先进行模拟演练。可以梳理从最开始网络流量进来到交换机、路由器,以及最终的系统等一系列过程,看看哪个环节可能存在异常。有很多问题,当应用规模不是很大的时候,影响也不会很大,但当应用规模大到一定程度,则会是特别严重的问题。所以异常情况分析 + 预案设定 + 沙盘推演 + 模拟操作是很有必要的。

以上内容来自个推CTO叶新江在ArchSummit全球架构师峰会北京站,基础架构之技术演进专场的分享整理,希望能带给广大创业者一些启发。

原文地址:http://blog.51cto.com/13031991/2108097

时间: 2024-10-17 15:11:19

DT时代下[个推3.0]遵循的四个法则的相关文章

DT时代下 数据库灾备的探索与实践

摘要: 随着DT时代的到来,企业对数据的依赖程度与日俱增,数据保护早已成为企业的一门必修课.只有拥有先知先觉的防范意识和充分的技术准备,才能"覆巢之下,亦有完卵" 170余场主题峰会和分论坛完美呈现,上千位分享嘉宾.数万名创新创业导师齐聚一堂,刚刚结束的2018杭州云栖大会让云栖小镇又一次成为探索数字世界的中心. 随着DT时代的到来,企业对数据的依赖程度与日俱增,数据保护早已成为企业的一门必修课.只有拥有先知先觉的防范意识和充分的技术准备,才能"覆巢之下,亦有完卵"

从社交管理到现代化ERP,SaaS 2.0时代下的企业数字化转型

(上图左起:甲骨文副总裁及中国区应用软件总经理潘杰君.北京蓝色光标盈云数字科技有限公司营销云总经理武威.星辉互动娱乐股份有限公司董事杨农.联想集团全球服务高级总监戴炜.甲骨文中国区管理软件咨询顾问高级总监谢鹏) 中国企业数字化与国外相比有何差异?作为全球现代化SaaS软件主要供应商,甲骨文公司副总裁及中国区应用软件业务总经理潘杰君说,国外大型企业数字化过程中上SaaS云的顺序是先HCM人力资源管理云.其次是ERP企业资源计划云.最后是CX客户体验云,而国内企业实践下来却正好相反--先上CX云.再

web2.0、互联网+、IT时代与DT时代、工业4.0 引发的思考

最近忙着找实习,来学校一个星期还没到,就感觉已经经历了几个春秋. 第一个实习面试是个杭州互联网小公司,面WEB前端开发实习,怪我一个暑假两个月一点书都没碰,偏偏赶上G20到9/9才开学,没啥准备就一头扎进面试浪潮.一问三不知,简直是丢我们学校的脸啊.灰溜溜跑回学校不禁感叹:这三年自我感觉认真学习,然并卵!各种纠结过后还是决定给自己时间准备,重头再来! 以前很奇怪,老师上课.自己浏览网页的时候看的一些东西感觉有用,但是很快又忘了,现在反而温故知新.这是不是叫人总是无逼不潜力!今天对一些老早就火起来

IT人的DT时代

1.概述 Datatechnology (数据处理技术),是一种服务大众.激发生产力为主的一种技术. 马云曾经在一次演讲中说道:"人类正从IT时代走向DT时代".同时透露了阿里巴巴未来将加大在无线客户端和大数据平台及人才的投入意向. 业界分析认为,从马云此番表态以及阿里巴巴现有的产业布局来看,未来,包括 数据处理.综合处理. 语音识别.商业 智能软件等在内的线下数据采集整合,将成为阿里巴巴的下一步发展重点. 2.大数据处理平台 2.1.大数据增涨 据IDC预测,未来10年全球数据量将以

CSDN专访:大数据时代下的商业存储

原文地址:http://www.csdn.net/article/2014-06-03/2820044-cloud-emc-hadoop 摘要:EMC公司作为全球信息存储及管理产品方面的领先公司,不久前,EMC宣布收购DSSD加强和巩固了其在行业内的领导地位,日前我们有幸采访到EMC中国的张安站,他就大数据.商业存储.Spark等给大家分享了自己的看法. 谈到大数据,张安站认为大数据本质上是两个根本性的问题,一个是数据很大,如何存储?另外一个是数据很大,如何分析?第一个问题,对于存储厂商来说,就

互联网时代下的生存方式:产品型社群

--你以为你的对手是友商,其实你的对手是时代. <<<-------------  <_< 向左看 互联网在兴起的二十年间,极大地改变了社会底层架构,有光纤的地方,信息传递的速度几为光速,信息流转的方式发生变化.互联网不仅是工业时代的工具或一次科技进步,它应被视为一个独立的时代,而当下最大的颠覆也正是互联网时代对工业时代的颠覆.时代颠覆的力量向来摧枯拉朽,回顾历史,貌似强大的北洋水师惨败于甲午海战,背后交锋的其实是两个时代,是农业时代对工业时代的惨败. 旧有体系被颠覆,要生存

柯南君:看大数据时代下的IT架构(5)消息队列之RabbitMQ--案例(Work Queues起航)

一.回顾 让我们回顾一下,在上几章里都讲了什么?总结如下: <柯南君:看大数据时代下的IT架构(1)业界消息队列对比> <柯南君:看大数据时代下的IT架构(2)消息队列之RabbitMQ-基础概念详细介绍> <柯南君:看大数据时代下的IT架构(3)消息队列之RabbitMQ-安装.配置与监控> <柯南君:看大数据时代下的IT架构(4)消息队列之RabbitMQ--案例(Helloword起航)> 二.Work Queues(using the Java Cl

柯南君:看大数据时代下的IT架构(6)消息队列之RabbitMQ--案例(Publish/Subscribe起航)

一.回顾 让我们回顾一下,在上几章里都讲了什么?总结如下: <柯南君:看大数据时代下的IT架构(1)业界消息队列对比> <柯南君:看大数据时代下的IT架构(2)消息队列之RabbitMQ-基础概念详细介绍> <柯南君:看大数据时代下的IT架构(3)消息队列之RabbitMQ-安装.配置与监控> <柯南君:看大数据时代下的IT架构(4)消息队列之RabbitMQ--案例(Helloword起航)> <柯南君:看大数据时代下的IT架构(5)消息队列之Rab

柯南君:看大数据时代下的IT架构(4)消息队列之RabbitMQ--案例(Helloword起航)

一.回顾 让我们回顾一下,在上几章里都讲了什么?总结如下: <柯南君:看大数据时代下的IT架构(1)业界消息队列对比> <柯南君:看大数据时代下的IT架构(2)消息队列之RabbitMQ-基础概念详细介绍> <柯南君:看大数据时代下的IT架构(3)消息队列之RabbitMQ-安装.配置与监控> 二.起航 本章节,柯南君将从几个层面,用官网例子讲解一下RabbitMQ的实操经典程序案例,让大家重新回到经典"Hello world!"(The simpl