python mongodb MapReduce

# -*- coding: utf-8 -*-
import os
import csv
import pymongo
from pymongo import MongoClient
from bson.code import Code
from pymongo import MongoClient

#建立连接
client = MongoClient(‘10.20.4.79‘, 27017)
#client = MongoClient(‘10.20.66.106‘, 27017)
db_name = ‘ta‘ #数据库名
db = client[db_name]

插入测试数据:

  for i in xrange(1000):
    rID=math.floor(random.random()*10); 
    price = round(random.random()*10,2); 
    if rID < 4:
      db.test.insert({"_id":i,"user":"Joe","product":rID,"price":price}); 
    elif rID>=4 and rID<7:
      db.test.insert({"_id":i,"user":"Josh","product":rID,"price":price}); 
    else:
      db.test.insert({"_id":i,"user":"Ken","product":rID,"price":price});

  结果数据为: 

  { "_id" : 0, "price" : 5.9, "product" : 9, "user" : "Ken" }
  { "_id" : 1, "price" : 7.59, "product" : 7, "user" : "Ken" }
  { "_id" : 2, "price" : 4.72, "product" : 0, "user" : "Joe" }
  { "_id" : 3, "price" : 1.35, "product" : 1, "user" : "Joe" }
  { "_id" : 4, "price" : 2.31, "product" : 0, "user" : "Joe" }
  { "_id" : 5, "price" : 5.29, "product" : 5, "user" : "Josh" }
  { "_id" : 6, "price" : 3.34, "product" : 1, "user" : "Joe" }
  { "_id" : 7, "price" : 7.2, "product" : 4, "user" : "Josh" }
  { "_id" : 8, "price" : 8.1, "product" : 6, "user" : "Josh" }
  { "_id" : 9, "price" : 2.57, "product" : 3, "user" : "Joe" }
  { "_id" : 10, "price" : 0.54, "product" : 2, "user" : "Joe" }
  { "_id" : 11, "price" : 0.66, "product" : 1, "user" : "Joe" }
  { "_id" : 12, "price" : 5.51, "product" : 1, "user" : "Joe" }
  { "_id" : 13, "price" : 3.74, "product" : 6, "user" : "Josh" }
  { "_id" : 14, "price" : 4.82, "product" : 0, "user" : "Joe" }
  { "_id" : 15, "price" : 9.79, "product" : 3, "user" : "Joe" }
  { "_id" : 16, "price" : 9.6, "product" : 5, "user" : "Josh" }
  { "_id" : 17, "price" : 4.06, "product" : 7, "user" : "Ken" }
  { "_id" : 18, "price" : 1.37, "product" : 5, "user" : "Josh" }
  { "_id" : 19, "price" : 6.77, "product" : 9, "user" : "Ken" }

测试1、每个用户各购买了多少个产品?用SQL语句实现为:select user,count(product) from test group by user

 mapper = Code("""function (){emit(this.user,{count:1})}""")

  reduce = Code("function (key, values) {"
    " var total = 0;"
    " for (var i = 0; i < values.length; i++) {"
    " total += values[i].count;"
    " }"
    " return {count:total};"
    "}")

    result=db.test.map_reduce(mapper,reduce,out =‘myresults‘)

  for doc in db.myresults.find():

    print doc

 测试 2、查询每个用户,买了多少商品,总价格,及评价价格   条件是价格大于5的 SQL实现:select user,count(sku),sum(price),      

   round(sum(price)/count(sku),2) as avgPrice from test where prince>5 group by user

  mapper=Code("""function (){emit(this.user,{amount:this.price,count:1,avgPrice:0})}""")

  reduce = Code("function (key, values) {"
    " var res={amount:0,count:0,avgPrice:0};"
    " for (var i = 0; i < values.length; i++) "
    " {"
      " res.count += values[i].count;"
      " res.amount += values[i].amount;"
    " }"
     " res.avgPrice = (res.amount/res.count).toFixed(2);"
    " return res;"
    "}")

  result = db.test.map_reduce(mapper,reduce,out =‘myresults‘,query={‘price‘:{‘$gt‘: 6}})

   for doc in db.myresults.find():
    print doc

 
时间: 2024-11-05 14:49:24

python mongodb MapReduce的相关文章

用python写MapReduce函数

尽管Hadoop框架是用java写的,但是Hadoop程序不限于java,可以用python.C++.ruby等.本例子中直接用python写一个MapReduce实例,而不是用Jython把python代码转化成jar文件. 例子的目的是统计输入文件的单词的词频. 输入:文本文件 输出:文本(每行包括单词和单词的词频,两者之间用'\t'隔开) 1. Python MapReduce 代码 使用python写MapReduce的"诀窍"是利用Hadoop流的API,通过STDIN(标准

Python mongoDB 的简单操作

#!/usr/bin/env python # coding:utf-8 # Filename:mongodb.py from pymongo import MongoClient,ASCENDING,DESCENDING import datetime # connection with mongoclient client=MongoClient() # getting a database db=client.test # getting a collection collection=d

【转】用python写MapReduce函数——以WordCount为例

本例中直接用python写一个MapReduce实例:统计输入文件的单词的词频 使用python写MapReduce的“诀窍”是利用Hadoop流的API,通过STDIN(标准输入).STDOUT(标准输出)在Map函数和Reduce函数之间传递数据. 我们唯一需要做的是利用Python的sys.stdin读取输入数据,并把我们的输出传送给sys.stdout.Hadoop流将会帮助我们处理别的任何事情. 1.map函数(mapper.py) #!/usr/bin/env python impo

mongodb mapreduce用法

mongoDB的MapReduce简介 分类:            MongoDB2012-12-06 21:378676人阅读评论(2)收藏举报 MongoDB MapReduce MapReduce是一种计算模型,简单的说就是将大批量的工作(数据)分解(MAP)执行,然后再将结果合并成最终结果(REDUCE).这样做的好处是可以在任务被分解后,可以通过大量机器进行并行计算,减少整个操作的时间. 上面是MapReduce的理论部分,下面说实际的应用,下面以MongoDB MapReduce为

mongodb mapreduce使用总结

文章来自本人个人博客: mongodb mapreduce使用总结 ? 大家都知道,mongodb是一个非关系型数据库,也就是说,mongodb数据库中的每张表是独立存在的,表与表之间没有任何依赖关系.在mongodb中,除了各种CRUD语句之外,还给我们提供了聚合和mapreduce统计的功能,这篇文章主要来跟大家聊聊mongodb的mapreduce的操作. ?mapreduce的概念我就不赘述了,大家自己去查查吧. ?在mongodb中,mapreduce的语法如下: ? db.table

Python Mongodb接口

Python Mongodb接口 MongoDB 是一个基于分布式文件存储的数据库.由 C++ 语言编写.旨在为 WEB 应用提供可扩展的高性能数据存储解决方案. 同时,MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是NoSQL的优秀实现. 本文记录使用PyMongo模块,用Python调用MongoDB 工具类实现 from pymongo import MongoClient mongodb_name = 'dev_map' client = MongoClient("mon

MongoDB MapReduce学习笔记

MapReduce应该算是MongoDB操作中比较复杂的了,自己开始理解的时候还是动了动脑子的,所以记录在此! 命令语法:详细看 db.runCommand( { mapreduce : 字符串,集合名, map : 函数,见下文 reduce : 函数,见下文 [, query : 文档,发往map函数前先给过渡文档] [, sort : 文档,发往map函数前先给文档排序] [, limit : 整数,发往map函数的文档数量上限] [, out : 字符串,统计结果保存的集合] [, ke

MongoDB:MapReduce基础及实例

背景 MapReduce是个非常灵活和强大的数据聚合工具.它的好处是可以把一个聚合任务分解为多个小的任务,分配到多服务器上并行处理. MongoDB也提供了MapReduce,当然查询语肯定是JavaScript.MongoDB中的MapReduce主要有以下几阶段: 1. Map:把一个操作Map到集合中的每一个文档 2. Shuffle: 根据Key分组对文档,并且为每个不同的Key生成一系列(>=1个)的值表(List of values). 3. Reduce: 处理值表中的元素,直到值

Python MongoDB使用

MongoDB介绍 MongoDB是一个面向文档的,开源数据库程序,它平台无关.MongoDB像其他一些NoSQL数据库(但不是全部!)使用JSON结构的文档存储数据.这是使得数据非常灵活,不需要的Schema. 一些比较重要的特点是: 支持多种标准查询类型,比如matching().comparison (, )或者正则表达式: 可以存储几乎任何类型的数据,无论是结构化,部分结构化,甚至是多态: 要扩展和处理更多查询,只需添加更多的机器: 它是高度灵活和敏捷,让您能够快速开发应用程序: 作为基