阿里巴巴大数据之路——数据模型篇

戳右方链接观看精彩视频从阿里巴巴大数据之路看企业中台战略 视频导读: 提到阿里巴巴,我们首先想到的是一家电商互联网企业,淘宝.天猫.支付宝等一系列平台和产品已经彻底改变了我们的生活.当大数据开启一个时代时,拥有海量交易数据的阿里巴巴就已经认识到这是一座大的金矿,并在众多的电商企业中率先开始了淘金之旅,大数据平台也在其中扮演了非常重要的角色. 本视频是行在(奇点云创始人兼CEO)关于<从阿里巴巴大数据之路看企业中台战略>的分享.他以亲身经历讲述了阿里大数据的演变,大数据部门从组织架构到系统架构所

——谨将此文献给阿瑞(@Nyanko君一生懸命)和湛卢.阿瑞在MapReduce等方面提供的技术支持,使我们成为最早充分利用ODPS的团队之一:湛卢提出很多分析问题的新思路,让我们在走投无路的时候屡次重拾希望. 0.    写在最前面 这个系列的几篇文章,记录我们队对于问题的整个处理过程.分成两个部分:首先的这一篇,记录我们分析问题的思路,以及由此建立的特征体系,模型的选择和融合:下一篇(也许会有),总结一下top10团队的做法(这个必须要等到8月20日他们答辩以后了). 这个系列的文章重点围绕

几天前2014阿里巴巴大数据竞赛刚刚落下帷幕,第11名的F1分数.准确率和召回率是6.10%.6.28%和5.93%.前10名的成绩还未公布,他们会被邀请到阿里巴巴公司来,有机会和内部团队一起参与双11.选手们闲下来,开始在群里爆特征.开玩笑.交换联系方式. 这次海内外共有7276支队报名.比赛分为多个阶段:S1是线下海选,从S2开始上ODPS,每月底淘汰末位的100支队,直到7月31日尘埃落定.选手们需要像阿里数据分析师一样工作,完全依赖云端的ODPS平台上的SQL.Mapreduce和Xli

一.引言 5月8日,作为受邀嘉宾,参加了Intel与Cloudera在北京中国大饭店新闻发布会,两家公司宣布战略合作,该消息成为继Intel宣布放弃大数据平台之后的另外一个热点新闻.对于Intel的放弃早在预料之中,对于Intel与Cloudera合作也在意料之中,但是没有想到的是居然那么快.壮士断腕的Intel反倒让我看出几分勇气可嘉来,Cloudera的顺势而为,也被我所认同,Intel借助Cloudera的技术能力,Cloudera借用Intel的商务平台,然后彼此合作真的就能够成功?换句

一.引言: 最近一直很忙,在做一个全国性项目的IT架构,所以一直没有更新,好在算是告一段落,继续努力吧.项目沟通中过程客户反复在强调,大数据的安全性,言下之意,用了大数据,就不安全了,就有漏洞了.所以花了些时间,针对大数据的安全设计做了一个总结,算是阶段性的成果吧,分享给大家. 二.安全架构 大数据安全架构主要从六个方面考虑,包括物理安全.系统安全.网络安全.应用安全.数据安全和管理安全六个维度.物理安全强调物理硬件的国产化,避免类似美国轰炸伊拉克悲剧的重演,这也算是一个国家战略的产物,虽未正式

一.前言 这是关于互联网上一篇文章的读后感,原文标题<大数据成变量,BAT入口生态或生变局>.读这篇文章既有醍醐灌顶之顿悟,亦有如履薄冰之恐惧,阿里好强,动作好快.其实,最近一直在思考当代企业信息化架构EA框架的调整,基本的一个思路是数据上提,与业务架构平齐,不再只是作为业务系统的功能支撑,而是自成一片天地,独立运营.至于数据化运营与现有业务的关系,则可一分为二:其一.可进,进可开疆辟土,基于数据衍生新的业务形态:其二.可退,退而求其次,辅助优化现有业务,从简单粗暴,到整合 营销.变现空间,天

一.详解时髦词汇:大数据 似乎一夜之间,大数据(Big Data)变成一个IT行业中最时髦的词汇. 首先,大数据不是什么完完全全的新生事物,Google的搜索服务就是一个典型的大数据运用,根据客户的需求,Google实时从全球海量的数字资产 (或数字垃圾)中快速找出最可能的答案,呈现给你,就是一个最典型的大数据服务.只不过过去这样规模的数据量处理和有商业价值的应用太少,在IT行业没有 形成成型的概念.现在随着全球数字化.网络宽带化.互联网应用于各行各业,累积的数据量越来越大,越来越多企业.行业和

阿里巴巴上市.李娜退役.苏格兰公投否决独立成为近期最受关注的新闻热点.网民评论称,三条新闻分明说明:“一个时代开始了,一个时代结束了,一个时代刚想开始就被结束了.” 充分挖掘阿里“大数据”的研究价值 9月19日,阿里巴巴正式登陆纽交所,上市首日收盘价93.89美元,马云成内地新首富.阿里巴巴上市,马云并没有参与敲钟,参与敲钟的8位代表分别是:奥运冠军,淘宝店主劳丽诗:云客服,90后大学生黄碧姬:淘女郎,自闭症儿童教师何宁宁:农民店主王志强:海归创业者王淑娟:建立淘宝博物馆的乔丽:快递员窦立国以及

大数据这个话题热度一直高居不下,不仅是国家政策的扶持,也是科技顺应时代的发展.想要学习大数据,我们该怎么做呢?大数据学习路线是什么?先带大家了解一下大数据的特征以及发展方向. 大数据的三个发展方向,平台搭建/优化/运维/监控.大数据开发/设计/架构.数据分析/挖掘. 先说一下大数据的4V特征: 数据量大,TB->PB 数据类型繁多,结构化.非结构化文本.日志.视频.图片.地理位置等; 商业价值高,但是这种价值需要在海量数据之上,通过数据分析与机器学习更快速的挖掘出来; 处理时效性高,海量数据的处