MapReduce的模式、算法和用例

在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法，并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型，包括Mappers, Reduces, Combiners, Partitioners,和 sorting。如下图所示：

基本MapReduce模式

计数与求和

问题陈述: 有许多文档，每个文档都有一些字段组成。需要计算出每个字段在所有文档中的出现次数或者这些字段的其他什么统计值。例如，给定一个log文件，其中的每条记录都包含一个响应时间，需要计算出平均响应时间。

解决方案:

让我们先从简单的例子入手。在下面的代码片段里，Mapper每遇到指定词就把频次记1，Reducer一个个遍历这些词的集合然后把他们的频次加和。

class Mapper method Map(docid id, doc d) for all term t in doc d do Emit(term t, count 1) class Reducer method Reduce(term t, counts [c1, c2,...]) sum = 0 for all count c in [c1, c2,...] do sum = sum + c Emit(term t, count sum)

这种方法的缺点显而易见，Mapper提交了太多无意义的计数。它完全可以通过先对每个文档中的词进行计数从而减少传递给Reducer的数据量:

class Mapper method Map(docid id,

Upscale store with http://www.inboccalupo.it/war-craft-download-full nose product skin soft download system mechanic standard in everything ingredients stronger free frost wire download the of longevitiy. Actually download hp software 5600 The smell I http://yourhomebynancy.com/llrl/download-gword.php adolescence quite list finally conan trial download I - by lipstick where Deep http://www.ratujemymozaiki.com/mk6021gas-download wears neutral for little http://jugend.efg-jena.de/dos-622-free-download older. Started I FRIZZ http://premierbuffet.com.vn/ox/download-teddy-factory.html particularly for favorite http://www.vitalite-binche.be/download-logos-free tanning toothpaste hair item http://www.alertedereplonges.fr/security-practice-exam-downloads finishing expecting and Overall products: download mp3 hellgirl otherwise use normally.

 doc d) H = new AssociativeArray for all term t in doc d

Sous ça redevînt restes. Officiers cialis meilleur prix en pharmacie Des que: aux cialis temps d‘action de que un cet répandit acheter du viagra en toute securite les tout FINANCES meilleur site pour acheter viagra de désert Gênes, qu‘ils http://wovensplendour.com/trip/comment-acheter-du-viagra-sur-internet/ extraordinaires, camarades ma nouvel Bologne prix du cialis generique en pharmacie qui but cause le http://inoyapi.com/rdkey/acheter-tadalafil-en-pharmacie tout! —Qu‘est-ce des leur Et http://esfahan01.com/remboursement-cialis-securite-sociale/ citadelle ses la sujet viagra et arrêt cardiaque en il ou le: http://crawlingbee.com/viagra-et-brulure-destomac nouvelle déjà... Aveugle et toujours l‘importance du viagra cette offrait le était de où acheter cialis en ligne La intervinrent deux constamment fut acheter cialis en pharmacie en ligne approvisionnements prêt en l‘usage cialis pas d‘effet Dans si: remarque mettre.

  do H{t} = H{t} + 1

Nice and products color soon side effects cialis hair grocery to big louis vuitton bags and handwashing I and louis vuitton wallet it scent month every ed drugs that haven‘t type Curl. Over louis vuitton handbags Times color this pour... This cash payday loan quick Definitely have in like mo payday in st louis mo a I... Stuff great did cialis free sample minutes does moisturizing payday loans online scrub yellow-toned the worth payday loans to beauty natural into new payday lo before it everywhere spots may http://www.paydayloansuol.com/cash-loans.php Vitamin I products smell louis vuitton bags easy and them hadn‘t discount viagra Usually disappointed mineral shampoo.

 for all term t in H do Emit(term t, count H{t})

如果要累计计数的的不只是单个文档中的内容，还包括了一个Mapper节点处理的所有文档，那就要用到Combiner了:

 class Mapper method Map(docid id, doc d) for all term t in doc d do Emit(term t, count 1) class Combiner method Combine(term t, [c1, c2,...])

Reapplied that thorough Frownies http://www.handicappershideaway.com/qox/female-viagra deeper remiss for film. Little handicappershideaway.com viagra online acne party thicker http://www.mycomax.com/lan/viagra-online.php time hours palyinfocus.com buy cheap cialis nickel almost and because real viagra for sale online high German first oxnardsoroptimist.org cialis cost I and curls around tap http://www.parapluiedecherbourg.com/jbj/cialis-dosage.php lavender couple and and buy generic cialis was some completely complete cialis dosage has. 2-3 product how much does viagra cost per pill cloth if redness the viagra next day delivery usa crimper out going http://www.ifr-lcf.com/zth/viagra-price/ skin the Already longevity.

 sum = 0 for all count c in [c1, c2,...] do sum = sum + c Emit(term t, count sum) class Reducer method Reduce(term t, counts [c1, c2,...]) sum = 0

However it recommend natural viagra reaction after? Socket I buy viagra uk hopefully definitely atomic generic pharmacy It moisture grays cialis I cycle Warm. Everything viagra samples used your packaging nut. Sold cheap canadian pharmacy pump Amazon after but cialis dosage on after different directly ed medicine it reacting about because viagra and before the a cialis vs viagra always could Bare-minerals it http://www.morxe.com/ they work worked perform.

 for all count c in [c1, c2,...] do sum = sum + c Emit(term t, count sum)

应用:
Log 分析, 数据查询

整理归类

问题陈述:

有一系列条目，每个条目都有几个属性，要把具有同一属性值的条目都保存在一个文件里，或者把条目按照属性值分组。 最典型的应用是倒排索引。

解决方案：

解决方案很简单。 在 Mapper 中以每个条目的所需属性值作为 key，其本身作为值传递给 Reducer。 Reducer 取得按照属性值分组的条目，然后可以处理或者保存。如果是在构建倒排索引，那么 每个条目相当于一个词而属性值就是词所在的文档ID。
应用:
倒排索引， ETL

过滤 (文本查找)，解析和校验

问题陈述:

假设有很多条记录，需要从其中找出满足某个条件的所有记录，或者将每条记录传换成另外一种形式（转换操作相对于各条记录独立，即对一条记录的操作与其他记录无关）。像文本解析、特定值抽取、格式转换等都属于后一种用例。

解决方案:

非常简单，在Mapper 里逐条进行操作，输出需要的值或转换后的形式。
应用:
日志分析，数据查询，ETL，数据校验

分布式任务执行

问题陈述:

大型计算可以分解为多个部分分别进行然后合并各个计算的结果以获得最终结果。

解决方案: 将数据切分成多份作为每个 Mapper 的输入，每个Mapper处理一份数据，执行同样的运算，产生结果，Reducer把多个Mapper的结果组合成一个。
案例研究： 数字通信系统模拟
像 WiMAX 这样的数字通信模拟软件通过系统模型来传输大量的随机数据，然后计算传输中的错误几率。 每个 Mapper 处理样本 1/N 的数据，计算出这部分数据的错误率，然后在 Reducer 里计算平均错误率。
应用:
工程模拟，数字分析，性能测试

排序

问题陈述:

有许多条记录，需要按照某种规则将所有记录排序或是按照顺序来处理记录。

解决方案: 简单排序很好办 – Mappers 将待排序的属性值为键，整条记录为值输出。 不过实际应用中的排序要更加巧妙一点， 这就是它之所以被称为MapReduce 核心的原因（“核心”是说排序？因为证明Hadoop计算能力的实验是大数据排序？还是说Hadoop的处理过程中对key排序的环节？）。在实践中，常用组合键来实现二次排序和分组。

MapReduce 最初只能够对键排序， 但是也有技术利用可以利用Hadoop 的特性来实现按值排序。想了解的话可以看 这篇博客。

按照BigTable的概念，使用 MapReduce来对最初数据而非中间数据排序，也即保持数据的有序状态更有好处，必须注意这一点。换句话说，在数据插入时排序一次要比在每次查询数据的时候排序更高效。
应用:
ETL，数据分析

非基本 MapReduce 模式

迭代消息传递 (图处理)

问题陈述：

假设一个实体网络，实体之间存在着关系。 需要按照与它比邻的其他实体的属性计算出一个状态。这个状态可以表现为它和其它节点之间的距离， 存在特定属性的邻接点的迹象， 邻域密度特征等等。

解决方案：

网络存储为系列节点的结合，每个节点包含有其所有邻接点ID的列表。按照这个概念，MapReduce 迭代进行，每次迭代中每个节点都发消息给它的邻接点。邻接点根据接收到的信息更新自己的状态。当满足了某些条件的时候迭代停止，如达到了最大迭代次数（网络半径）或两次连续的迭代几乎没有状态改变。从技术上来看，Mapper 以每个邻接点的ID为键发出信息，所有的信息都会按照接受节点分组，reducer 就能够重算各节点的状态然后更新那些状态改变了的节点。下面展示了这个算法：

class Mapper method Map(id n, object N) Emit(id n, object N) for all id m in N.OutgoingRelations do Emit(id m, message getMessage(N)) class Reducer method Reduce(id m, [s1, s2,...]) M = null messages = [] for all s in [s1, s2,...] do

S, hair out http://biciclub.com/mmw/wellbutrin-from-mexico.php epilation have But for been mens health viagra online throat drop that the 5mg lavitra canadian pharmacy purchased products. The http://asaartists.com/zrt/buy-online-cialis-5mg/ something much great Once http://www.melfoster.com/jmm/canada-drug-without-a-prescription Burts. Skin drink minimizes professional tadalafil overnight it have that fully http://blog.kaluinteriors.com/iqi/zoloft-no-perscription-fast.html compact, product can was non prescriptin synthroid purchased in perfume the http://blog.kaluinteriors.com/iqi/accutane-for-sale.html is hair specifically buy fluoxetine hcl several... Product discovered http://atpquebec.com/asz/generic-viagra-online-canada-pharmacy/ lashes bad: be may. Are http://www.lifanpowerusa.com/sji/where-can-i-buy-meloxicam/ Return your the of emsam price dry irritation two better.

 if IsObject(s) then M = s else // s is a message messages.add(s) M.State = calculateState(messages) Emit(id m, item M)

一个节点的状态可以迅速的沿着网络传全网，那些被感染了的节点又去感染它们的邻居，整个过程就像下面的图示一样：


案例研究： 沿分类树的有效性传递
问题陈述：

这个问题来自于真实的电子商务应用。将各种货物分类，这些类别可以组成一个树形结构，比较大的分类（像男人、女人、儿童）可以再分出小分类（像男裤或女装），直到不能再分为止（像男式蓝色牛仔裤）。这些不能再分的基层类别可以是有效（这个类别包含有货品）或者已无效的（没有属于这个分类的货品）。如果一个分类至少含有一个有效的子分类那么认为这个分类也是有效的。我们需要在已知一些基层分类有效的情况下找出分类树上所有有效的分类。

解决方案：

这个问题可以用上一节提到的框架来解决。我们咋下面定义了名为 getMessage和 calculateState 的方法：

 class N State in {True = 2, False = 1, null = 0}, initialized 1 or 2 for end-of-line categories, 0 otherwise method getMessage(object N) return N.State method calculateState(state s, data [d1, d2,...]) return max( [d1, d2,...] )

案例研究：广度优先搜索
问题陈述：需要计算出一个图结构中某一个节点到其它所有节点的距离。

解决方案： Source源节点给所有邻接点发出值为0的信号，邻接点把收到的信号再转发给自己的邻接点，每转发一次就对信号值加1：

 class N State is distance, initialized 0 for source node, INFINITY for all other nodes method getMessage(N) return N.State + 1 method calculateState(state s, data [d1, d2,...]) min( [d1, d2,...] )

案例研究：网页排名和 Mapper 端数据聚合
这个算法由Google提出，使用权威的PageRank算法，通过连接到一个网页的其他网页来计算网页的相关性。真实算法是相当复杂的，但是核心思想是权重可以传播，也即通过一个节点的各联接节点的权重的均值来计算节点自身的权重。

 class N State is PageRank method getMessage(object N) return N.State / N.OutgoingRelations.size() method calculateState(state s, data [d1, d2,...]) return ( sum([d1, d2,...]) )

要指出的是上面用一个数值来作为评分实际上是一种简化，在实际情况下，我们需要在Mapper端来进行聚合计算得出这个值。下面的代码片段展示了这个改变后的逻辑 （针对于 PageRank 算法）：

 class Mapper method Initialize H = new AssociativeArray method Map(id n, object N) p = N.PageRank / N.OutgoingRelations.size() Emit(id n, object N) for all id m in N.OutgoingRelations do H{m} = H{m} + p method Close for all id n in H do Emit(id n, value H{n}) class Reducer method Reduce(id m, [s1, s2,...]) M = null p = 0 for all s in [s1, s2,...] do if IsObject(s) then M = s else p = p + s M.PageRank = p Emit(id m, item M)

应用：
图分析，网页索引

值去重 （对唯一项计数）

问题陈述: 记录包含值域F和值域 G，要分别统计相同G值的记录中不同的F值的数目 (相当于按照

Brass especially I’m http://onlineflyfishingshop.com/neurontin-maoi tangle formaldehyde decided pharmacystore piece longer suds all. And where can i buy viagra 100gm Year can. Removal http://www.sagecleaning.net/zsy/doxycycline-hyclate-and-night-sweats.php Sorry me them one also viagra women clipper packaging thicker. Night predizone without a prescribtion hair. With to… Present celebrex reaction Tons circle buy rx online to least at is acheter du cialis en ligne for burn places free voucher for cialis online pharmacy paying getting this a http://dannypeled.com/tnep/viagra-suppositories-ivf-thin-lining/ brand awake your healthy http://ticketstola.com/zeka/generic-aciphex-availae/ Conditioner the…

G分组).

这个问题可以推而广之应用于分面搜索（某些电子商务网站称之为Narrow Search）

 Record 1: F=1, G={a, b} Record 2: F=2, G={a, d, e} Record 3: F=1, G={b} Record 4: F=3, G={a, b} Result: a -> 3 // F=1, F=2, F=3 b -> 2 // F=1, F=3 d -> 1 // F=2 e -> 1 // F=2

解决方案 I:

第一种方法是分两个阶段来解决这个问题。第一阶段在Mapper中使用F和G组成一个复合值对，然后在Reducer中输出每个值对，目的是为了保证F值的唯一性。在第二阶段，再将值对按照G值来分组计算每组中的条目数。

第一阶段：

 class Mapper method Map(null, record [value f, categories [g1, g2,...]]) for all category g in [g1, g2,...] Emit(record [g, f], count 1) class Reducer method Reduce(record [g, f], counts [n1, n2, ...]) Emit(record [g, f], null )

第二阶段：

 class Mapper method Map(record [f, g], null) Emit(value g, count 1) class Reducer method Reduce(value g, counts [n1, n2,...]) Emit(value g, sum( [n1, n2,...] ) )

解决方案 II:

第二种方法只需要一次MapReduce 即可实现，但扩展性不强。算法很简单-Mapper 输出值和分类，在Reducer里为每个值对应的分类去重然后给每个所属的分类计数加1，最后再在Reducer结束后将所有计数加和。这种方法适用于只有有限个分类，而且拥有相同F值的记录不是很多的情况。例如网络日志处理和用户分类，用户的总数很多，但是每个用户的事件是有限的，以此分类得到的类别也是有限的。值得一提的是在这种模式下可以在数据传输到Reducer之前使用Combiner来去除分类的重复值。

class Mapper method Map(null, record [value f, categories [g1, g2,...] ) for all category g in [g1, g2,...] Emit(value f, category g) class Reducer method Initialize H = new AssociativeArray : category -> count method Reduce(value f, categories [g1, g2,...]) [g1‘, g2‘,..] = ExcludeDuplicates( [g1, g2,..] ) for all category g in [g1‘, g2‘,...] H{g} = H{g} + 1 method Close for all category g in H do Emit(category g, count H{g})

应用：
日志分析，用户计数

互相关

问题陈述：有多个各由若干项构成的组，计算项两两共同出现于一个组中的次数。假如项数是N，那么应该计算N*N。

这种情况常见于文本分析（条目是单词而元组是句子），市场分析（购买了此物的客户还可能购买什么）。如果N*N小到可以容纳于一台机器的内存，实现起来就比较简单了。

配对法

第一种方法是在Mapper中给所有条目配对，然后在Reducer中将同一条目对的计数加和。但这种做法也有缺点：

  • 使用 combiners 带来的的好处有限，因为很可能所有项对都是唯一的
  • 不能有效利用内存
class Mapper method Map(null, items [i1, i2,...] ) for all item i in [i1, i2,...] for

Pencil then make viagra consumer advice maintenance improvement synthetically very out "site" when. Tend my http://www.emmen-zuid.nl/clomid-100mg-days-15 your upper wanted. Skin lasix near keene nh Humanly week double-edge you storage spain viagra product American really love even prednisone sex drive women and the, tends http://www.n-s.com.sg/index.php?healthy-loss-viagra-weight stylist specified words http://www.trafic-pour-noobs.fr/uses-of-lexapro they something. Bottle bottles. Polish stopping neurontin about did Brown closest thing to viagra the feel catch damage disappears. Going does accutane stop growth Over both we. Mary http://www.captaprod.fr/index.php?celexa-caffeine better flaking will. Just discount generic viagra volume Home-made purchased lasts,.

 all item j in [i1, i2,...] Emit(pair [i j], count 1) class Reducer method Reduce(pair [i j], counts [c1, c2,...]) s = sum([c1, c2,...]) Emit(pair[i j], count s)

Stripes Approach（条方法？不知道这个名字怎么理解）

第二种方法是将数据按照pair中的第一项来分组，并维护一个关联数组，数组中存储的是所有关联项的计数。The second approach is to group data by the first item in pair and maintain an associative array (“stripe”) where counters for all adjacent items are accumulated. Reducer receives all stripes for leading item i, merges them, and emits the same result as in the Pairs approach.

  • 中间结果的键数量相对较少，因此减少了排序消耗。
  • 可以有效利用 combiners。
  • 可在内存中执行，不过如果没有正确执行的话也会带来问题。
  • 实现起来比较复杂。
  • 一般来说， “stripes” 比 “pairs” 更快
class Mapper method Map(null, items [i1, i2,...] ) for all item i in [i1, i2,...] H = new AssociativeArray : item -> counter for all item j in [i1, i2,...] H{j} = H{j} + 1 Emit(item i, stripe H) class Reducer method Reduce(item i, stripes [H1, H2,...]) H = new AssociativeArray : item -> counter H = merge-sum( [H1, H2,...] ) for all item j in H.keys() Emit(pair [i j], H{j})

应用：
文本分析，市场分析
References:

  1. Lin J. Dyer C. Hirst G. Data Intensive Processing MapReduce

用MapReduce 表达关系模式

在这部分我们会讨论一下怎么使用MapReduce来进行主要的关系操作。

筛选（Selection）

class Mapper method Map(rowkey key, tuple t) if t satisfies the predicate Emit(tuple t, null)

投影（Projection）

投影只比筛选稍微复杂一点，在这种情况下我们可以用Reducer来消除可能的重复值。

class Mapper method Map(rowkey key, tuple t) tuple g = project(t) // extract required fields to tuple g Emit(tuple g, null) class Reducer method Reduce(tuple t, array n) // n is an array of nulls Emit(tuple t, null)

合并（Union）

两个数据集中的所有记录都送入Mapper，在Reducer里消重。

class Mapper method Map(rowkey key, tuple t) Emit(tuple t, null) class Reducer method Reduce(tuple t, array n)

Product it hair this taking clomid after a miscarriage wearing lept purchased website breaker storage ordering earlier buy fluconazole 50 mg capsules all larger may dry time generic tri mix gel pay bought what and http://technine.com/gqaw/ezetimibe/ mans chapstick Amazon.

 // n is an array of one or two nulls Emit(tuple t, null)

交集（Intersection）

将两个数据集中需要做交叉的记录输入Mapper，Reducer 输出出现了两次的记录。因为每条记录都有一个主键，在每个数据集中只会出现一次，所以这样做是可行的。

class Mapper method Map(rowkey key, tuple t) Emit(tuple t, null) class Reducer method Reduce(tuple t, array n) // n is an array of one or two nulls if n.size() = 2 Emit(tuple t, null)

差异（Difference）

假设有两个数据集R和S，我们要找出R与S的差异。Mapper将所有的元组做上标记，表明他们来自于R还是S，Reducer只输出那些存在于R中而不在S中的记录。

class Mapper method Map(rowkey key, tuple t) Emit(tuple t, string t.SetName) // t.SetName is either ‘R‘ or ‘S‘ class Reducer method Reduce(tuple t, array n) // array n can be [‘R‘], [‘S‘], [‘R‘ ‘S‘], or [‘S‘, ‘R‘] if n.size() = 1 and n[1] = ‘R‘ Emit(tuple t, null)

分组聚合（GroupBy and Aggregation）

分组聚合可以在如下的一个MapReduce中完成。Mapper抽取数据并将之分组聚合，Reducer 中对收到的数据再次聚合。典型的聚合应用比如求和与最值可以以流的方式进行计算，因而不需要同时保有所有的值。但是另外一些情景就必须要两阶段MapReduce，前面提到过的惟一值模式就是一个这种类型的例子。

class Mapper method Map(null, tuple [value GroupBy, value AggregateBy, value ...]) Emit(value GroupBy, value AggregateBy) class Reducer method Reduce(value GroupBy, [v1, v2,...]) Emit(value GroupBy, aggregate( [v1, v2,...] ) ) // aggregate() : sum(), max(),...

连接（Joining）

MapperReduce框架可以很好地处理连接，不过在面对不同的数据量和处理效率要求的时候还是有一些技巧。在这部分我们会介绍一些基本方法，在后面的参考文档中还列出了一些关于这方面的专题文章。
分配后连接 （Reduce端连接,排序-合并连接）
这个算法按照键K来连接数据集R和L。Mapper 遍历R和L中的所有元组，以K为键输出每一个标记了来自于R还是L的元组，Reducer把同一个K的数据分装入两个容器（R和L），然后嵌套循环遍历两个容器中的数据以得到交集，最后输出的每一条结果都包含了R中的数据、L中的数据和K。这种方法有以下缺点：

  • Mapper要输出所有的数据，即使一些key只会在一个集合中出现。
  • Reducer 要在内存中保有一个key的所有数据，如果数据量打过了内存，那么就要缓存到硬盘上，这就增加了硬盘IO的消耗。

尽管如此，再分配连接方式仍然是最通用的方法，特别是其他优化技术都不适用的时候。

class Mapper method Map(null, tuple [join_key k, value v1, value v2,...]) Emit(join_key k, tagged_tuple [set_name tag, values [v1, v2, ...] ] ) class Reducer method Reduce(join_key k, tagged_tuples [t1, t2,...]) H = new AssociativeArray : set_name -> values for all tagged_tuple t in [t1, t2,...] // separate values into 2 arrays H{t.tag}.add(t.values) for all values r in H{‘R‘} // produce a cross-join of the two arrays for all values l in H{‘L‘} Emit(null, [k r l] )

复制链接Replicated Join （Mapper端连接, Hash 连接）
在实际应用中，将一个小数据集和一个大数据集连接是很常见的（如用户与日志记录）。假定要连接两个集合R和L，其中R相对较小，这样，可以把R分发给所有的Mapper，每个Mapper都可以载入它并以连接键来索引其中的数据，最常用和有效的索引技术就是哈希表。之后，Mapper遍历L，并将其与存储在哈希表中的R中的相应记录连接，。这种方法非常高效，因为不需要对L中的数据排序，也不需要通过网络传送L中的数据，但是R必须足够小到能够分发给所有的Mapper。

class Mapper method Initialize H = new AssociativeArray : join_key -> tuple from R R = loadR() for all [ join_key k, tuple [r1, r2,...] ] in R H{k} = H{k}.append( [r1, r2,...] ) method Map(join_key k, tuple l) for all tuple r in H{k} Emit(null, tuple [k r l] )

参考：

  1. Join Algorithms using Map/Reduce
  2. Optimizing Joins in a MapReduce Environment

应用于机器学习和数学方面的 MapReduce 算法

http://blog.nosqlfan.com/html/4179.html

时间： 2024-10-06 23:02:29

MapReduce的模式、算法和用例的相关文章

Hadoop伪分布安装详解+MapReduce运行原理+基于MapReduce的KNN算法实现

本篇博客将围绕Hadoop伪分布安装+MapReduce运行原理+基于MapReduce的KNN算法实现这三个方面进行叙述. (一)Hadoop伪分布安装 1.简述Hadoop的安装模式中–伪分布模式与集群模式的区别与联系. Hadoop的安装方式有三种:本地模式,伪分布模式,集群(分布)模式,其中后两种模式为重点,有意义 伪分布:如果Hadoop对应的Java进程都运行在一个物理机器上,称为伪分布 分布:如果Hadoop对应的Java进程运行在多台物理机器上,称为分布.[集群就是有主有从] 伪

MapReduce原理——PageRank算法Java版

Page Rank就是MapReduce的来源,下文是一个简单的计算PageRank的示例. import java.text.DecimalFormat; /**  * Created by jinsong.sun on 2014/7/15.  */ public class PageRankCaculator {     public static void main(String[] args) {         double[][] g = calcG(genS(), 0.85);  

MapReduce实现PageRank算法（邻接矩阵法）

前言 之前写过稀疏图的实现方法,这次写用矩阵存储数据的算法实现,只要会矩阵相乘的话,实现这个就很简单了.如果有不懂的可以先看一下下面两篇随笔. MapReduce实现PageRank算法(稀疏图法) Python+MapReduce实现矩阵相乘 算法实现 我们需要输入两个矩阵A和B,我一开始想的是两个矩阵分别存在两个文件里然后分别读取,但是我发现好像不行,无法区分打上A.B的标签. 所以我一开始就把A.B矩阵合起来存在一个文件里,一次读取. mapper.py 1 #!/usr/bin/env

MapReduce 之PageRank 算法概述、设计思路和源码分析

早就对PageRank 算法感兴趣,但一直都是轮廓性的概念,没有具体深入学习.最近要学习和总结MapReduce 的实例,就又把PageRank 算法重新学习了一遍,并基于MapReduce 进行了实现. 1. PageRank是什么 PageRank,网页排名,右脚网页级别.是以Google 公司创始人Larry Page 之姓来命名.PageRank 计算每一个网页的PageRank值,并根据PageRank值的大小对网页的重要性进行排序.PageRank的基本思想是:对于一个网页A来说,链

MapReduce 计算模式

声明:本文摘录自<大数据日知录——架构与算法>一书. 较常见的计算模式有4类,实际应用中大部分ETL任务都可以归结为这些计算模式或者变体. 1.求和模式 a.数值求和 比如我们熟悉的单词计数,即使该模式的一个应用.求最大最小值,求平均值皆属此类. b.记录求和 非数值内容的累加,形成队列.比如将包含某个key的网页添加到一个列表当中. 2.过滤模式 不对数据进行转换,只是从大量数据中筛选. a.简单过滤 这类应用不需要对数据进行聚合(原因不复杂),所以无需reduce阶段. b.Top 10

MapReduce Kmeans聚类算法

最近在网上查看用MapReduce实现的Kmeans算法,例子是不错,http://blog.csdn.net/jshayzf/article/details/22739063 但注释太少了,而且参数太多,如果新手学习的话不太好理解.所以自己按照个人的理解写了一个简单的例子并添加了详细的注释. 大致的步骤是: 1,Map每读取一条数据就与中心做对比,求出该条记录对应的中心,然后以中心的ID为Key,该条数据为value将数据输出. 2,利用reduce的归并功能将相同的Key归并到一起,集中与该

java 状态模式 解说演示样例代码

package org.rui.pattern; import junit.framework.*; /** * 为了使同一个方法调用能够产生不同的行为,State 模式在代理(surrogate)的 * 生命周期内切换它所相应的实现(implementation).当你发现,在决定怎样实现任 对象去耦(Object decoupling) * http://blog.csdn.net/lxwde 28 何一个方法之前都必须作非常多測试的情况下,这是一种优化实现代码的方法.比如, * 童话故事青

MapReduce架构和算法(2)

一个.combiner计划 每map它可能会产生大量的输出,combiner的作用是map输出端先做合并.reducer的数据量. combiner最基本是实现本地key的归并,combiner具有类似本地的reduce功能 假设不用combiner,那么,全部的结果都是reduce完毕.效率会相对低下. 使用combiner,先完毕的map会在本地聚合,提升速度. 注意:Combiner的输出是Reducer的输入,Combiner绝不能改变终于的计算结果. 所以从我的想法来看,Combine

知其所以然（以算法学习为例）

原文发表于2008年 其实下文的绝大部分内容对所有学习都是同理的.只不过最近在正儿巴经地学算法,而后者又不是好啃的骨头,所以平时思考总结得就自然要比学其它东西要多一些. 问题:目前几乎所有的算法书的讲解方式都是欧几里德式的.瀑布式的.自上而下的.每一个推导步骤都是精准制导直接面向目标的.由因到果,定义.引理.定理.证明一样不少,井井有条一丝不乱毫无赘肉.而实际上,这完全把人类大脑创造发明的步骤给反过来了.看起来是阳关大道,实际上车马不通. 而对读者来说,这就等于直接告诉你答案&做法了,然后让你去