Python MongoDB使用

MongoDB介绍

MongoDB是一个面向文档的,开源数据库程序,它平台无关。MongoDB像其他一些NoSQL数据库(但不是全部!)使用JSON结构的文档存储数据。这是使得数据非常灵活,不需要的Schema。

一些比较重要的特点是:

  • 支持多种标准查询类型,比如matching()、comparison (, )或者正则表达式;
  • 可以存储几乎任何类型的数据,无论是结构化,部分结构化,甚至是多态;
  • 要扩展和处理更多查询,只需添加更多的机器;
  • 它是高度灵活和敏捷,让您能够快速开发应用程序;
  • 作为基于文档的数据库意味着您可以在单个文档中存储有关您的模型的所有信息;
  • 您可以随时更改数据库的Schema;
  • 许多关系型数据库的功能也可以在MongoDB使用(如索引)。

在运行方面,MongoDB中有相当多的功能在其他数据库中是没有的:

  • 无论您需要独立服务器还是完整的独立服务器集群,MongoDB都可以根据需要进行扩展;
  • MongoDB还通过在各个分片上自动移动数据来提供负载均衡支持;
  • 它具有自动故障转移支持,如果主服务器Down掉,新的主服务器将自动启动并运行;
  • MongoDB的管理服务(MMS)可以用于监控和备份MongoDB的基础设施服务;
  • 不像关系数据库,由于内存映射文件,你将节省相当多的RAM。

虽然起初MongoDB似乎是解决我们许多问题的数据库,但它不是没有缺点的。MongoDB的一个常见缺点是缺少对ACID事务的支持,MongoDB在特定场景下支持ACID事务,但不是在所有情况。在单文档级别,支持ACID事务(这是大多数事务发生的地方)。但是,由于MongoDB的分布式性质,不支持处理多个文档的事务。

MongoDB还缺少对自然join查询支持。在MongoDB看来:文档意在包罗万象,这意味着,一般来说,它们不需要参考其他文档。在现实世界中,这并不总是有效的,因为我们使用的数据是关系性的。因此,许多人认为MongoDB应该被用作一个SQL数据库的补充数据库,但是当你使用MongoDB是,你会发现这是错误的。

PyMongo

由MongoDB开发者发布的官方驱动程序PyMongo(https://pypi.python.org/pypi/pymongo/),这里通过一些例子介绍,但你也应该查看完整的文档(https://api.mongodb.com/python/current/)。

1、pip方式安装

pip install pymongo==3.4.0

2、模块引用

import pymongo

3、建立连接

使用MongoClient对象建立连接:
from pymongo import MongoClient
client = MongoClient()

使用上面的代码片段,将建立连接到默认主机(localhost)和端口(27017)。您还可以指定主机和/或使用端口:
client = MongoClient(‘localhost‘, 27017)

或者使用MongoURl格式:
client = MongoClient(‘mongodb://localhost:27017‘)

4、访问数据库

一旦你有一个连接的MongoClient实例,你可以在Mongo服务器中访问任何数据库。如果要访问一个数据库,你可以当作属性一样访问:
db = client.pymongo_test

或者你也可以使用字典形式的访问:
db = client[‘pymongo_test‘]

如果您的指定数据库已创建,实际上并不重要。通过指定此数据库名称并将数据保存到其中,您将自动创建数据库。

5、插入文档

在数据库中存储数据,就如同调用只是两行代码一样容易。第一行指定你将使用哪个集合。在MongoDB中术语中,一个集合是在数据库中存储在一起的一组文档(相当于SQL的表)。集合和文档类似于SQL表和行。第二行是使用集合插入数据insert_one()的方法:

posts = db.posts
post_data = {
    ‘title‘: ‘Python and MongoDB‘,
    ‘content‘: ‘PyMongo is fun, you guys‘,
    ‘author‘: ‘Scott‘
}
result = posts.insert_one(post_data)
print(‘One post: {0}‘.format(result.inserted_id))

我们甚至可以使用insert_one()同时插入很多文档,如果你有很多的文档添加到数据库中,可以使用方法insert_many()。此方法接受一个list参数:

post_1 = {
    ‘title‘: ‘Python and MongoDB‘,
    ‘content‘: ‘PyMongo is fun, you guys‘,
    ‘author‘: ‘Scott‘
}
post_2 = {
    ‘title‘: ‘Virtual Environments‘,
    ‘content‘: ‘Use virtual environments, you guys‘,
    ‘author‘: ‘Scott‘
}
post_3 = {
    ‘title‘: ‘Learning Python‘,
    ‘content‘: ‘Learn Python, it is easy‘,
    ‘author‘: ‘Bill‘
}
new_result = posts.insert_many([post_1, post_2, post_3])
print(‘Multiple posts: {0}‘.format(new_result.inserted_ids))

看到类似输出:

One post: 584d947dea542a13e9ec7ae6
Multiple posts: [
    ObjectId(‘584d947dea542a13e9ec7ae7‘),
    ObjectId(‘584d947dea542a13e9ec7ae8‘),
    ObjectId(‘584d947dea542a13e9ec7ae9‘)
]

注意: 不要担心,你和上面显示不一样。它们是在插入数据时,由Unix的纪元,机器标识符和其他唯一数据组成的动态标识。

6、检索文档

检索文档可以使用find_one()方法,比如要找到author为Bill的记录:

bills_post = posts.find_one({‘author‘: ‘Bill‘})
print(bills_post)

运行结果:
{
    ‘author‘: ‘Bill‘,
    ‘title‘: ‘Learning Python‘,
    ‘content‘: ‘Learn Python, it is easy‘,
    ‘_id‘: ObjectId(‘584c4afdea542a766d254241‘)
}

这篇文章的ObjectId是设置的_id,这是以后可以使用唯一标识。如果需要查询多条记录可以使用find()方法:

scotts_posts = posts.find({‘author‘: ‘Scott‘})
print(scotts_posts)

结果:
<pymongo.cursor.Cursor object at 0x109852f98>

他的主要区别在于文档数据不是作为数组直接返回给我们。相反,我们得到一个游标对象的实例。这Cursor是一个包含相当多的辅助方法,以帮助您处理数据的迭代对象。要获得每个文档,只需遍历结果:

for post in scotts_posts:
    print(post)

MongoEngine

虽然PyMongo是非常容易使用,总体上是一个伟大的轮子,但是许多项目使用它都可能太低水平。简而言之,你必须编写很多自己的代码来持续地保存,检索和删除对象。PyMongo之上提供了一个更高的抽象一个库是MongoEngine。MongoEngine是一个对象文档映射器(ODM),它大致相当于一个基于SQL的对象关系映射器(ORM)。MongoEngine提供的抽象是基于类的,所以你创建的所有模型都是类。虽然有相当多的Python的库可以帮助您使用MongoDB,MongoEngine是一个更好的,因为它有一个很好的组合的功能,灵活性和社区支持。

用户指南: http://docs.mongoengine.org/guide/index.html

1、pip方式安装

pip install mongoengine==0.10.7

2、连接

from mongoengine import *
connect(‘mongoengine_test‘, host=‘localhost‘, port=27017)

备注:和pymongo不同。MongoEngine需要制定数据库名称。

3、定义文档

建立文档之前,需要定义文档中要存放数据的字段。与许多其他ORM类似,我们将通过继承Document类,并提供我们想要的数据类型来做到这一点:

import datetime

class Post(Document):
    title = StringField(required=True, max_length=200)
    content = StringField(required=True)
    author = StringField(required=True, max_length=50)
    published = DateTimeField(default=datetime.datetime.now)

在这个简单的模型中,我们已经告诉MongoEngine,我们的Post实例有title、content、author、published。现在Document对象可以使用该信息来验证我们提供它的数据。

因此,如果我们试图保存Post的中没有title那么它会抛出一个Exception,让我们知道。我们甚至可以进一步利用这个并添加更多的限制:

  • required:设置必须;
  • default:如果没有其他值给出使用指定的默认值
  • unique:确保集合中没有其他document有此字段的值相同
  • choices:确保该字段的值等于数组中的给定值之一

4、保存文档

将文档保存到数据库中,我们将使用save()的方法。如果文档中的数据库已经存在,则所有的更改将在原子水平上对现有的文档进行。如果它不存在,但是,那么它会被创建。

这里是创建和保存一个文档的例子:

post_1 = Post(
    title=‘Sample Post‘,
    content=‘Some engaging content‘,
    author=‘Scott‘
)
post_1.save()       # This will perform an insert
print(post_1.title)
post_1.title = ‘A Better Post Title‘
post_1.save()       # This will perform an atomic edit on "title"
print(post_1.title)

调用save()的时候需要注意几点:

  • PyMongo将在您调用.save()时执行验证,这意味着它将根据您在类中声明的模式检查要保存的数据,如果违反模式(或约束),则抛出异常并且不保存数据;
  • 由于Mongo不支持真正的事务,因此没有办法像在SQL数据库中那样“回滚”.save()调用。

当你保存的数据没有title时:

post_2 = Post(content=‘Content goes here‘, author=‘Michael‘)
post_2.save()

raise ValidationError(message, errors=errors)
mongoengine.errors.ValidationError:
ValidationError (Post:None) (Field is required: [‘title‘])

5、向对象的特性

使用MongoEngine是面向对象的,你也可以添加方法到你的子类文档。例如下面的示例,其中函数用于修改默认查询集(返回集合的所有对象)。通过使用它,我们可以对类应用默认过滤器,并只获取所需的对象

class Post(Document):
    title = StringField()
    published = BooleanField()

    @queryset_manager
    def live_posts(clazz, queryset):
        return queryset.filter(published=True)

6、关联其他文档

你还可以使用ReferenceField对象来创建从一个文档到另一个文档的引用。MongoEngine在访问时自动惰性处理引用。

class Author(Document):
    name = StringField()

class Post(Document):
    author = ReferenceField(Author)

Post.objects.first().author.name

在上面的代码中,使用文档”外键”,我们可以很容易地找到第一篇文章的作者。其实还有比这里介绍的更多的字段类(和参数),所以一定要查看文档字段更多信息。

参考博客:https://realpython.com/blog/python/introduction-to-mongodb-and-python/

https://my.oschina.net/jhao104/blog/812002

时间: 2024-10-15 11:38:07

Python MongoDB使用的相关文章

Python mongoDB 的简单操作

#!/usr/bin/env python # coding:utf-8 # Filename:mongodb.py from pymongo import MongoClient,ASCENDING,DESCENDING import datetime # connection with mongoclient client=MongoClient() # getting a database db=client.test # getting a collection collection=d

Python Mongodb接口

Python Mongodb接口 MongoDB 是一个基于分布式文件存储的数据库.由 C++ 语言编写.旨在为 WEB 应用提供可扩展的高性能数据存储解决方案. 同时,MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是NoSQL的优秀实现. 本文记录使用PyMongo模块,用Python调用MongoDB 工具类实现 from pymongo import MongoClient mongodb_name = 'dev_map' client = MongoClient("mon

python&amp;MongoDB爬取图书馆借阅记录(没有验证码)

题外话:这个爬虫本来是想用java完成然后发布在博客园里的,但是一直用java都失败了,最后看到别人用了python,然后自己就找别人问了问关键的知识点,发现连接那部分,python只用了19行!!!!!好了,其他的就不多说,直接上需求和代码 首先是需要爬取的链接和网页:http://211.81.31.34/uhtbin/cgisirsi/x/0/0/57/49?user_id=LIBSCI_ENGI&password=LIBSC 登陆进去之后进入我的账号——借阅.预约及申请记录——借阅历史就

python+mongodb+flask的基本使用

最近在做一个设备管理系统的后端,需要用python结合mongodb来实现,查了一下flask框架是比较合适的,自己摸索了好久一步步慢慢实现基本功能. 在程序开始之前请确保mongodb服务是开启的,查看方式: 任务管理器 -->  服务,找到mongodb的服务,确定其正在运行 现在开始做一些介绍: 1.安装flask pip install flask 2.安装flask_mongoengine, MongoEngine是一个对象文档映射器(ODM),相当于一个基于SQL的对象关系映射器(O

Python MongoDB 合表

一.原始表结构 1.imsi表 MongoDB Enterprise > db.trs_action_dzwl_zm.findOne(){        "_id" : {                "imsi" : "460029380018855",                "start_time" : "2019-03-13 15:37:07"        },        &qu

python mongodb 读写CSV文件

# -*- coding: utf-8 -*-import osimport csvimport pymongofrom pymongo import MongoClient #建立连接client = MongoClient('10.20.4.79', 27017)#client = MongoClient('10.20.66.106', 27017)db_name = 'ta' #数据库名db = client[db_name] #读取CVS文件并插入到mongoDB数据库 的tvsplst

python&amp;MongoDB

1 #!/usr/bin/python 2 #-*- coding:utf-8 3 import pymongo 4 connection=pymongo.MongoClient() 5 tdb=connection.jikexueyuan 6 post_info=tdb.test 7 info={"name":"xiaoli","age":13,"sex":"gg"} 8 info2={"nam

python | mongodb 常用命令

MongoDB是NoSQL数据库系统中比较流行的数据库之一.它也是最接近关系型数据库的,一个数据库可以包含多个集合(Collection),类似于关系数据库中的表:而每个集合中可以存储一组由列标识的记录,列是可以自由定义的,非常灵活,这就类似于关系数据库表中的每一条记录.下面和大家一起熟悉下MongoDB的基本管理命令. 一.MongoDB数据库常用命令 1.Help查看命令提示helpdb.help();db.yourColl.help(); 2.切换/创建数据库use raykaeso; 当

python | MongoDB备份恢复与导出导入

说明:本文所有操作均在win7下的MongoDB3.4.4版本中进行. 一.备份与恢复 1. 备份: mongodump -h IP --port 端口 -u 用户名 -p 密码 -d数据库 -o 文件路径 (将使用某个用户账号将某个mongodb服务器上的某个数据库备份到某个路径下) 如果无需指定用户,可以去掉-u和-p:如果导出本机的数据库,可以去掉-h:如果是默认端口,可以去掉--port: 如果想导出所有数据库,可以去掉-d.如果只想备份某个集合,应在”-d 数据库”后添加”-c 集合名