大数据:互联网大规模数据挖掘与分布式处理pdf

下载地址:网盘下载

内容简介  · · · · · ·

大数据:互联网大规模数据挖掘与分布式处理,ISBN:9787115291318,作者:(美) Anand Rajaraman (美) Jeffrey David Ullman 著,王 斌 译

作者简介  · · · · · ·

Anand Rajaraman 数据库和Web技术领域权威,创业投资基金Cambrian联合创始人,斯坦福大学计算机科学系助理教授。Rajaraman职业生涯非常成功:1996年创办Junglee公司,两年后该公司被亚马逊以2.5亿美元收购,Rajaraman被聘为亚马 逊技术总监,推动亚马逊从一个零售商转型为零售平台;2000年与人合创Cambrian,孵化出几个后来被谷歌收购的公司;2005年创办Kosmix公司并任CEO,该公司2011年被沃尔玛集团收购。Rajaraman生于印度,在斯坦福大学获得计算机科学硕士和博士学位。求学期间与人合著的一篇论文荣列近20年来被引用次数最多的论文之一。博客地址http://anand.typepad.com/datawocky/。

Jeffrey David Ullman 美国国家工程院院士,计算机科学家,斯坦福大学教授。Ullman早年在贝尔实验室工作,之后任教于普林斯顿大学,十年后加入斯坦福大学直至退休,一生的科研、著书和育人成果卓著。他是ACM会员,曾获SIGMOD贡献奖、Knuth奖等多项科研大奖;他是“龙书”《编译原理》、数据库领域权威指南《数据库系统实现》的合著者;麾下多名学生成为了数据库领域的专家,其中最有名的当属谷歌创始人Sergey Brin;本书第一作者也是他的得意弟子。Ullman目前任Gradiance公司CEO。

王斌 博士,中国科学院计算技术研究所博士生导师。中国科学院信息工程研究所客座研究员。主要研究方向为信息检索、自然语言处理和数据挖掘。《信息检索导论》译者。主持国家973、863、国家自然科学基金、国际合作基金、国家支撑计划等课题20余项,发表学术论文120余篇。现为ACM会员、中国中文信息学会理事、中文信息学会信息检索专委会委员、《中文信息学报》编委、中国计算机学会高级会员及计算机学会中文信息处理专委会委员。自2006年起在中国科学院研究生院(现改名“中国科学院大学”)讲授《现代信息检索》研究生课程,选课人数累计近千人。2001年开始指导研究生,迄今培养博士、硕士研究生30余名。

目录  · · · · · ·

目  录

第1章  数据挖掘基本概念  1
1.1  数据挖掘的定义  1
1.1.1  统计建模  1
1.1.2  机器学习  1
1.1.3  建模的计算方法  2
1.1.4  数据汇总  2
1.1.5  特征抽取  3
1.2  数据挖掘的统计限制  4
1.2.1  整体情报预警  4
1.2.2  邦弗朗尼原理  4
1.2.3  邦弗朗尼原理的一个例子  5
1.2.4  习题  6
1.3  相关知识  6
1.3.1  词语在文档中的重要性  6
1.3.2  哈希函数  7
1.3.3  索引  8
1.3.4  二级存储器  10
1.3.5  自然对数的底e  10
1.3.6  幂定律  11
1.3.7  习题  12
1.4  本书概要  13
1.5  小结  14
1.6  参考文献  14
第2章  大规模文件系统及Map-Reduce  16
2.1  分布式文件系统  16
2.1.1  计算节点的物理结构  17
2.1.2  大规模文件系统的结构  18
2.2  Map-Reduce  18
2.2.1  Map任务  19
2.2.2  分组和聚合  20
2.2.3  Reduce任务  20
2.2.4  组合器  21
2.2.5  Map-Reduce的执行细节  21
2.2.6  节点失效的处理  22
2.3  使用Map-Reduce的算法  22
2.3.1  基于Map-Reduce的矩阵—向量乘法实现  23
2.3.2  向量v无法放入内存时的处理  23
2.3.3  关系代数运算  24
2.3.4  基于Map-Reduce的选择运算  26
2.3.5  基于Map-Reduce的投影运算  26
2.3.6  基于Map-Reduce的并、交和差运算  27
2.3.7  基于Map-Reduce的自然连接运算  27
2.3.8  一般性的连接算法  28
2.3.9  基于Map-Reduce的分组和聚合运算  28
2.3.10  矩阵乘法  29
2.3.11  基于单步Map-Reduce的矩阵乘法  29
2.3.12  习题  30
2.4  Map-Reduce的扩展  31
2.4.1  工作流系统  31
2.4.2  Map-Reduce的递归扩展版本  32
2.4.3  Pregel系统  34
2.4.4  习题  35
2.5  集群计算算法的效率问题  35
2.5.1  集群计算的通信开销模型  35
2.5.2  实耗通信开销  36
2.5.3  多路连接  37
2.5.4  习题  40
2.6  小结  40
2.7  参考文献  42
第3章  相似项发现  44
3.1  近邻搜索的应用  44
3.1.1  集合的Jaccard相似度  44
3.1.2  文档的相似度  45
3.1.3  协同过滤——一个集合相似问题  46
3.1.4  习题  47
3.2  文档的Shingling  47
3.2.1  k-Shingle  47
3.2.2  shingle大小的选择  48
3.2.3  对shingle进行哈希  48
3.2.4  基于词的shingle  49
3.2.5  习题  49
3.3  保持相似度的集合摘要表示  49
3.3.1  集合的矩阵表示  50
3.3.2  最小哈希  50
3.3.3  最小哈希及Jaccard相似度  51
3.3.4  最小哈希签名  52
3.3.5  最小哈希签名的计算  52
3.3.6  习题  54
3.4  文档的局部敏感哈希算法  55
3.4.1  面向最小哈希签名的LSH  56
3.4.2  行条化策略的分析  57
3.4.3  上述技术的综合  58
3.4.4  习题  59
3.5  距离测度  59
3.5.1  距离测度的定义  59
3.5.2  欧氏距离  60
3.5.3  Jaccard距离  60
3.5.4  余弦距离  61
3.5.5  编辑距离  62
3.5.6  海明距离  63
3.5.7  习题  63
3.6  局部敏感函数理论  64
3.6.1  局部敏感函数  65
3.6.2  面向Jaccard距离的局部敏感函数族  66
3.6.3  局部敏感函数族的放大处理  66
3.6.4  习题  68
3.7  面向其他距离测度的LSH函数族  68
3.7.1  面向海明距离的LSH函数族  69
3.7.2  随机超平面和余弦距离  69
3.7.3  梗概  70
3.7.4  面向欧氏距离的LSH函数族  71
3.7.5  面向欧氏空间的更多LSH函数族  72
3.7.6  习题  72
3.8  LSH函数的应用  73
3.8.1  实体关联  73
3.8.2  一个实体关联的例子  74
3.8.3  记录匹配的验证  74
3.8.4  指纹匹配  75
3.8.5  适用于指纹匹配的LSH函数族  76
3.8.6  相似新闻报道检测  77
3.8.7  习题  78
3.9  面向高相似度的方法  79
3.9.1  相等项发现  79
3.9.2  集合的字符串表示方法  79
3.9.3  基于长度的过滤  80
3.9.4  前缀索引  81
3.9.5  位置信息的使用  82
3.9.6  使用位置和长度信息的索引  83
3.9.7  习题  85
3.10  小结  85
3.11  参考文献  87
第4章  数据流挖掘  89
4.1  流数据模型  89
4.1.1  一个数据流管理系统  89
4.1.2  流数据源的例子  90
4.1.3  流查询  91
4.1.4  流处理中的若干问题  92
4.2  流当中的数据抽样  92
4.2.1  一个富于启发性的例子  93
4.2.2  代表性样本的获取  93
4.2.3  一般的抽样问题  94
4.2.4  样本规模的变化  94
4.2.5  习题  95
4.3  流过滤  95
4.3.1  一个例子  95
4.3.2  布隆过滤器  96
4.3.3  布隆过滤方法的分析  96
4.3.4  习题  97
4.4  流中独立元素的数目统计  98
4.4.1  独立元素计数问题  98
4.4.2  FM算法  98
4.4.3  组合估计  99
4.4.4  空间需求  100
4.4.5  习题  100
4.5  矩估计  100
4.5.1  矩定义  100
4.5.2  二阶矩估计的AMS算法  101
4.5.3  AMS算法有效的原因  102
4.5.4  更高阶矩的估计  103
4.5.5  无限流的处理  103
4.5.6  习题  104
4.6  窗口内的计数问题  105
4.6.1  精确计数的开销  105
4.6.2  DGIM算法  105
4.6.3  DGIM算法的存储需求  107
4.6.4  DGIM算法中的查询应答  107
4.6.5  DGIM条件的保持  108
4.6.6  降低错误率  109
4.6.7  窗口内计数问题的扩展  109
4.6.8  习题  110
4.7  衰减窗口  110
4.7.1  最常见元素问题  110
4.7.2  衰减窗口的定义  111
4.7.3  最流行元素的发现  111
4.8  小结  112
4.9  参考文献  113
第5章  链接分析  115
5.1  PageRank  115
5.1.1  早期的搜索引擎及词项作弊  115
5.1.2  PageRank的定义  117
5.1.3  Web结构  119
5.1.4  避免终止点  121
5.1.5  采集器陷阱及“抽税”法  123
5.1.6  PageRank在搜索引擎中的使用  125
5.1.7  习题  125
5.2  PageRank的快速计算  126
5.2.1  转移矩阵的表示  127
5.2.2  基于Map-Reduce的PageRank迭代计算  128
5.2.3  结果向量合并时的组合器使用  128
5.2.4  转移矩阵中块的表示  129
5.2.5  其他高效的PageRank迭代方法  130
5.2.6  习题  131
5.3  面向主题的PageRank  131
5.3.1  动机  131
5.3.2  有偏的随机游走模型  132
5.3.3  面向主题的PageRank的使用  133
5.3.4  基于词汇的主题推断  134
5.3.5  习题  134
5.4  链接作弊  135
5.4.1  垃圾农场的架构  135
5.4.2  垃圾农场的分析  136
5.4.3  与链接作弊的斗争  137
5.4.4  TrustRank  137
5.4.5  垃圾质量  137
5.4.6  习题  138
5.5  导航页和权威页  139
5.5.1  HITS的直观意义  139
5.5.2  导航度和权威度的形式化  139
5.5.3  习题  142
5.6  小结  143
5.7  参考文献  145
第6章  频繁项集  146
6.1  购物篮模型  146
6.1.1  频繁项集的定义  146
6.1.2  频繁项集的应用  148
6.1.3  关联规则  149
6.1.4  高可信度关联规则的发现  150
6.1.5  习题  151
6.2  购物篮及A-Priori算法  152
6.2.1  购物篮数据的表示  152
6.2.2  项集计数中的内存使用  153
6.2.3  项集的单调性  154
6.2.4  二元组计数  155
6.2.5  A-Priori算法  155
6.2.6  所有频繁项集上的A-Priori算法  157
6.2.7  习题  158
6.3  更大数据集在内存中的处理  159
6.3.1  PCY算法  160
6.3.2  多阶段算法  161
6.3.3  多哈希算法  163
6.3.4  习题  164
6.4  有限扫描算法  166
6.4.1  简单的随机化算法  166
6.4.2  抽样算法中的错误规避  167
6.4.3  SON算法  168
6.4.4  SON算法和Map-Reduce  168
6.4.5  Toivonen算法  169
6.4.6  Toivonen算法的有效性分析  170
6.4.7  习题  170
6.5  流中的频繁项计数  171
6.5.1  流的抽样方法  171
6.5.2  衰减窗口中的频繁项集  172
6.5.3  混合方法  172
6.5.4  习题  173
6.6  小结  173
6.7  参考文献  175
第7章  聚类  176
7.1  聚类技术介绍  176
7.1.1  点、空间和距离  176
7.1.2  聚类策略  177
7.1.3  维数灾难  178
7.1.4  习题  179
7.2  层次聚类  179
7.2.1  欧氏空间下的层次聚类  180
7.2.2  层次聚类算法的效率  183
7.2.3  控制层次聚类的其他规则  183
7.2.4  非欧空间下的层次聚类  185
7.2.5  习题  186
7.3  k-均值算法  187
7.3.1  k-均值算法基本知识  187
7.3.2  k-均值算法的簇初始化  187
7.3.3  选择k的正确值  188
7.3.4  BFR算法  189
7.3.5  BFR算法中的数据处理  191
7.3.6  习题  192
7.4  CURE算法  193
7.4.1  CURE算法的初始化  194
7.4.2  CURE算法的完成  195
7.4.3  习题  195
7.5  非欧空间下的聚类  196
7.5.1  GRGPF算法中的簇表示  196
7.5.2  簇表示树的初始化  196
7.5.3  GRGPF算法中的点加入  197
7.5.4  簇的分裂及合并  198
7.5.5  习题  199
7.6  流聚类及并行化  199
7.6.1  流计算模型  199
7.6.2  一个流聚类算法  200
7.6.3  桶的初始化  200
7.6.4  桶合并  200
7.6.5  查询应答  202
7.6.6  并行环境下的聚类  202
7.6.7  习题  203
7.7  小结  203
7.8  参考文献  205
第8章  Web广告  207
8.1  在线广告相关问题  207
8.1.1  广告机会  207
8.1.2  直投广告  208
8.1.3  展示广告的相关问题  208
8.2  在线算法  209
8.2.1  在线和离线算法  209
8.2.2  贪心算法  210
8.2.3  竞争率  211
8.2.4  习题  211
8.3  广告匹配问题  212
8.3.1  匹配及完美匹配  212
8.3.2  最大匹配贪心算法  213
8.3.3  贪心匹配算法的竞争率  213
8.3.4  习题  214
8.4  Adwords问题  214
8.4.1  搜索广告的历史  215
8.4.2  Adwords问题的定义  215
8.4.3  Adwords问题的贪心方法  216
8.4.4  Balance算法  217
8.4.5  Balance算法竞争率的一个下界  217
8.4.6  多投标者的Balance算法  219
8.4.7  一般性的Balance算法  220
8.4.8  Adwords问题的最后论述  221
8.4.9  习题  221
8.5  Adwords的实现  221
8.5.1  投标和搜索查询的匹配  222
8.5.2  更复杂的匹配问题  222
8.5.3  文档和投标之间的匹配算法  223
8.6  小结  224
8.7  参考文献  226
第9章  推荐系统  227
9.1  一个推荐系统的模型  227
9.1.1  效用矩阵  227
9.1.2  长尾现象  228
9.1.3  推荐系统的应用  230
9.1.4  效用矩阵的填充  230
9.2  基于内容的推荐  231
9.2.1  项模型  231
9.2.2  文档的特征发现  231
9.2.3  基于Tag的项特征获取  232
9.2.4  项模型的表示  233
9.2.5  用户模型  234
9.2.6  基于内容的项推荐  235
9.2.7  分类算法  235
9.2.8  习题  237
9.3  协同过滤  238
9.3.1  相似度计算  238
9.3.2  相似度对偶性  241
9.3.3  用户聚类和项聚类  242
9.3.4  习题  243
9.4  降维处理  243
9.4.1  UV分解  244
9.4.2  RMSE  244
9.4.3  UV分解的增量式计算  245
9.4.4  对任一元素的优化  247
9.4.5  一个完整UV分解算法的构建  248
9.4.6  习题  250
9.5  NetFlix竞赛  250
9.6  小结  251
9.7  参考文献  253
索引  254

下载地址:网盘下载

原文地址:https://www.cnblogs.com/longgg/p/8465399.html

时间: 2024-10-07 05:21:38

大数据:互联网大规模数据挖掘与分布式处理pdf的相关文章

大数据:互联网大规模数据挖掘与分布式处理 电子书 PDF 下载 制作 定制 服务

作者简介 Anand Rajaraman 数据库和Web技术领域权威,创业投资基金Cambrian联合创始人,斯坦福大学计算机科学系助理教授.Rajaraman职业生涯非常成功:1996年创办Junglee公司,两年后该公司被亚马逊以2.5亿美元收购,Rajaraman被聘为亚马逊技术总监,推动亚马逊从一个零售商转型为零售平台:2000年与人合创Cambrian,孵化出几个后来被谷歌收购的公司:2005年创办Kosmix公司并任CEO,该公司2011年被沃尔玛集团收购.Rajaraman生于印度

大数据和「数据挖掘」是何关系?---来自知乎

知乎用户,互联网 244 人赞同 在我读数据挖掘方向研究生的时候:如果要描述数据量非常大,我们用Massive Data(海量数据)如果要描述数据非常多样,我们用Heterogeneous Data(异构数据)如果要描述数据既多样,又量大,我们用Massive Heterogeneous Data(海量异构数据)--如果要申请基金忽悠一笔钱,我们用Big Data(大数据) 编辑于 2014-02-2817 条评论感谢 收藏没有帮助举报作者保留权利 刘知远,NLPer 4 人赞同 我觉得 大数据

大数据:正在到来的数据革命 电子书 PDF 下载 制作 定制 服务

作者简介 涂子沛,知名专栏作家.信息管理专家,先后为<南方都市报>.<IT经理世界>.艾瑞网等多个报刊网站撰写专栏,网易.财经网名博博主.毕业于华中科技大学.中山大学和卡内基梅隆大学.赴美留学之前,曾在省.市.县几级政府的不同部门磨砺10年,做过职业程序员,担任过公安边防巡逻艇的指挥官,也从事过政府统计工作.现任职于美国某软件公司数据中心,并担任中国旅美科技协会副主席.除了工作.写作,还热心公益,是匹兹堡华人社区的领袖. 本人背靠海量纸质图书,可以制作各种纸质书籍的电子化,有需要可

大数据技术分析:HDFS分布式系统介绍!

HDFS主要用于最初由Yahoo提出的分布式文件系统,以下它的主要用途: 1.保存大数据 2.提供快速读取大数据的能力 Heroop帧的主要特征是通过将数据和计算分布在集群中的各节点服务器来实现分布式计算的目的.在计算逻辑和所需数据接近这一点上,并行计算分区后进行汇总. 基本模块 HDFS:分布式文件系统(by Yahoo) Mpredues:分布式计算帧(by Google) HBCD:分布式.非关系型数据库(by Poerset ->Microsoft) Pig:HDoop的大规模数据分析工

素数的判断(大数据,大规模)

素数的判断其实谁都会,所以这篇跳过简单的素数判断,直接学习如何快速判断1到N的素数,以及判断大数据是否为素数. 现在我们先学习埃氏筛选法,此法实用与大规模判断素数,比如1到N的素数有那些啊,等等等等. 这个算法流弊哦,与辗转相除法一样古老哇. 首先,将2到n范围内的所有整数写下来.其中最小的数字2是素数,将表中2的倍数都划去.表中剩余的最小数字是3,不能被更小的数整除,是素数.如果表中最小的是m,m为素数,将m的倍数划去. 2 3 4 5 6 7 8 9 10 11 12 2 3 - 5 - 7

大数据技术原理与应用——分布式文件系统HDFS

分布式文件系统HDFS 分布式文件系统 分布式文件系统把文件分布存储到多个计算机节点上,成千上万的计算机节点构成计算机集群. 分布式文件系统在物理结构上是由计算机集群中的多个节点构成的,一类叫主节点(Master Node)或被称为名称节点(NameNode) 另一类叫从节点(Slave Node)或被称为数据节点(DataNode) HDFS简介 HDFS要实现以下目标: 兼容廉价的硬件设备 流数据读写 支持大数据集 简单的文件模式 强大的跨平台兼容性 HDFS的局限性 不适合低延迟数据访问(

大型技术网站的技术( 高并发、大数据、高可用、分布式....)(一)

面对高并发.大流量.高可用.海量数据.用户分布广泛.网络情况复杂这类网站系统我们如何应对??? 第一阶段   一台服务器不行就上多台服务器    1.应用程序与数据服务分离        将应用程序.数据库.文件等资源放在一台服务器上,面对海量用户的访问只可能是崩崩崩的挂掉. so? 我们知道的是应用服务器.数据库服务器.文件服务器这三块对服务器的要求是不同的,应用服务器就需要大大的CPU来处理复杂的业务逻辑,数据库服务器需要快速磁盘检索      和 数据缓存也就是要大内存,而文件服务器要求的

《OD大数据实战》hadoop伪分布式环境搭建

一.安装并配置Linux 8. 使用当前root用户创建文件夹,并给/opt/下的所有文件夹及文件赋予775权限,修改用户组为当前用户 mkdir -p /opt/modules mkdir -p /opt/software mkdir -p /opt/datas mkdir -p /opt/tools chmod 775 /opt/* chown beifeng:beifeng /opt/* 最终效果如下: [[email protected]02 opt]$ pwd /opt [[email

大数据技术学习:弹性分布式数据集RDD

今天给大家分享的技术学习是:浅谈弹性分布式数据集RDD. 一.RDD定义 RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中基本的数据抽象,它代表一个不可变(数据和元数据).可分区.里面的元素可并行计算的集合.其特点在于自动容错,位置感知性调度和可伸缩性. 二.RDD的属性 1.一组分片.即数据集的基本组成单位.对于RDD来说,每个分片都会被一个计算任务处理,并决定并行计算的粒度.用户可以在创建RDD时指定RDD的分片个数,如果没有指定,那么就会