《决战大数据》读书笔记（二） cookie识别用户行为已经过时

首先说下对这本书的感觉,虽然这貌似是第一本讲述大数据项目案列(基于微博的股票市场预测系统,技术内容的海量视频检索系统,基于HDFSd的云文件系统)的书籍,但是书上面的代码很少,图书馆和网上都没有源码可供下载,甚至电子书都还要买....可能就是因为刚出来吧 再说下HBase的系统架构 http://img.blog.csdn.net/20160506093443453 支撑层的HDFS对于HBase而言是不可或缺的,HBase本身不会存储数据,表中的数据都需以文件的形式持久化到分布式文件系统中,.

1. 数据分片与路由 抽象模型为两级映射关系,第一级映射是key-partition映射,第二级映射是partition-machine映射. 数据分片有哈希分片和范围分片: 哈希分片只支持点查询,如cassandra,voltmort,membase: 范围分片支持范围查询,google的bigtable 和ms的azure: 同时支持两种的yahoo的pnuts. 2.哈希分片时进行数据分片的常见手段,其中最常见的3中哈希分片方式分表是:轮询.虚拟桶.一致哈希方法 2.1 轮询也称哈希取模方

原理 数据库的一致性 1.事务和代办事项表把戏(预写日志记录) 1.代办事项表把戏:先把要执行的的操作写入硬件,即写日志.即使数据库操作错误,也可根据日志来纠正.对日志的操作具有等幂性,即日志中的每项操作不管执行一次或多次,都会有相同的效果. 2.事务:以事务作为一个整体,要么全部完成,要么中途失败则根据日志取消之前的操作(即逆向操作,之前加,现在就减),使数据库回到事务之前的状态(回滚事务).即事务具备原子性,不可分割,避免出现事务中有些执行了,有些没执行的情况. 2.预备提交把戏(两段提交协

PART 3 Pair RDD Spark为包含键值对类型的RDD提供了专有操作,这类RDD叫做Pair RDD(意为"对RDD") Spark中Pair RDD的创建主要有两种方式,一种方式从存储了键值对数据的文件中创建(主要内容见PART 4),另一种方式可以从其他普通RDD调用map()操作来实现: 1 #line的元素是一行单词构成的句子,map操作后每个元素为该句子的首个单词和句子本身构成一个二元元组 2 pairs = line.map(lambda x: (x.split

早期和当前的"流式计算"系统分别称为"连续查询处理类"和"可扩展数据流平台类"计算系统. 流式计算系统的特点: 1)低延迟 2)极佳的系统容错性 3)极强的系统扩展能力 4)灵活强大的应用逻辑表达能力 目前典型的流式计算系统: S4,storm,millwheel,samza,d-stream,hadoop online,mupd8等. 其中storm和millwheel是各方面比较突出的. 流式计算系统架构: 常见的流式计算系统架构分为两种:主

亚马逊图书买200减120,买了一堆书.第一本开始阅读的就是这本<决战大数据>. 这本书没有什么理论,定义之类的描述,基本都是个人经验和感悟,全是干货,十分适合不愿意看枯燥课本的同学.要说缺点就是,逻辑性不太清晰,更像是长者在叙事性地娓娓道来,倒是挺适合技术人员看的. 目前大数据很火,但是真正能理解其中的奥妙,能正确熟练地使用大数据的人和企业却很少. “收集数据的人不知道数据可以做什么用,使用数据的人不知道数据的来源” 这样的断层,导致数据的收集没有章法没有预见没有灵魂,而数据的使用充满了疑问

第一章 R简介 本章概要 1安装R 2理解R语言 3运行R程序 本章所介绍的内容概括如下. 一个典型的数据分析步骤如图1所示. 图1:典型数据分析步骤 简而言之,现今的数据分析要求我们从多种数据源中获取数据.数据合并.标注.清洗和分析,并且把分析的结果进行展示,形成报告或者系统,辅助决策.R能够满足现今数据分析的要求. 为什么用R? R是一个适合统计分析和绘图的环境与语言.它是开源.免费的,获得世界范围社区支持.统计分析和绘图工具已经很多了,例如:SPSS,SAS,Excel,Stata和Min

一.分层 最常见的架构模式,将系统在横向维度上切分成几个部分,每个部分单一职责.网站一般分为三个层次:应用层.服务层和数据层,其具体结构如下图所示: 通过分层,一个庞大系统切分成不同部分,便于分工合作和维护. 但是,分层架构也有一些挑战:①必须合理规划层次边界和接口:②禁止跨层次的调用及逆向调用. 二.分割 分割是在纵向方面对软件进行切分->将不同的功能和服务分割开来,包装成高内聚低耦合的模块单元,有助于软件开发和维护,还便于不同模块的分布式部署,提高网站的并发处理能力和功能扩展能力. 三.分布

未来是大数据的时代,未来的竞争就是数据的竞争.以前,我们都是有问题找数据,而大数据时代,其最核心的特质则是"用数据找机会".--车品觉 <决战大数据:驾驭未来商业的利器>是我在两年前接触到的第一本关于大数据的书籍,由阿里巴巴集团副总裁车品觉所著.此书不是讲具体的大数据处理技术,而是从一个大数据运营践行者的角度来讲大数据的本质.数据处理的核心思想以及阿里巴巴数据运营的"内外三板斧".文章并非枯燥的学术性论文,作者在文中加入很多工作小案例对观点进行引出.阐述