生产环境使用了mongo数据库。
对mongo数据库垂涎已久,其高性能/开源/无模式/文档型数据库/...多么诱人的特性,之前也偶尔折腾着玩过,不过都没做笔记,趁此机会重新捡起来。
关于mongo
MongoDB is an open-source document database that provides high performance, high availability, and automatic scaling.
mongo支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能
mongo是一种NoSql数据库
NoSql,全称是 Not Only Sql,指的是非关系型的数据库。主要解决几个要点:非关系型的、分布式的、开源的、水平可扩展的。原始的目的是为了大规模web应用。通常特性应用如:模式自由、支持简易复制、简单的API、最终的一致性(非ACID)、大容量数据等。NoSQL被我们用得最多的当数key-value存储。
mongo特性
- 模式自由。
- 支持动态查询。
- 支持完全索引,包含内部对象。
- 支持查询。
- 支持复制和故障恢复。
- 文件存储格式为BSON(一种JSON的扩展)。
- 可通过网络访问。
- 支持Python,PHP,Ruby,Java,C,C#,Javascript,Perl及C++语言的驱动程序
- 使用高效的二进制数据存储,包括大型对象(如视频等)。
软件即服务
将mongo当做一个服务,通过接口CRUD我们的数据。
对于不同用户角色,对mongo所需的了解方面是不同的,我们的角色是Developers,我们主要将它作为服务来使用。
细节可以参考reference
而作为python开发者,我们使用mongo的python驱动来CRUD数据
安装
ubuntu下安装mongo比较简单,直接sudo apt-get install mongodb
就行。
当然也可以去官网下载安装
端口号是27017
进入mongo shell:mongo
基础
6个简单的概念
- MongoDB有着与您熟知的‘数据库’一样的概念。每一个数据库都是高层次的容器,用来储存其他的所有数据。
- 一个数据库可以有若干‘集合’(collection)。集合和传统概念中的‘表’有着足够多的共同点。
- 集合由若干‘文档’(document)组成,可以认为这里的文档就是‘行’。
- 文档又由若干‘域’(field)组成,域就像是‘列’。
索引
(index)在MongoDB中的意义就如同索引在RDBMS中一样。游标
(cursor)和以上5个概念不同.每当向MongoDB索要数据时,它总是返回一个游标。基于游标我们可以作诸如计数或是直接跳过之类的操作,而不需要真正去读数据。
小结一下,MongoDB由数据库
组成,数据库由集合
组成,集合由文档
组成。域
组成了文档,集合可以被索引
,从而提高了查找和排序的性能。最后,我们从MongoDB读取数据的时候是通过游标
进行的,除非需要,游标不会真正去作读的操作。
关系数据库是在表
这一层次定义列
的,而一个面向文档的数据库则是在文档
这一层次定义域
的。也就是说,集合中的每个文档都可以有独立的域。因此,虽说集合相对于表来说是一个简化了的容器,而文档则包含了比行要多得多的信息。
mongo shell
入口
help
。shell会返回全局可用的操作。比如show dbs
Mongo的shell运行在JavaScript之上.
您可以执行一些全局的指令,如help或者exit.
操作对象db来执行针对当前数据库的操作,例如db.help()或是db.stats()。
- 首先我们用全局命令use来切换数据库。输入
use learn
。这个数据库是否存在并没有关系,若不存在则新建.z执行完后您就已经在一个数据库里面了 db.unicorns.insert({name: ‘Aurora‘, gender: ‘f‘, weight: 450})
以上命令对unicorns对象执行insert操作,并传入一个参数。在MongoDB内部,数据是以二进制的串行JSON格式存储的。- 如果我们现在执行db.getCollectionNames(),将看到两个集合:unicorns以及system.indexes。system.indexes在每个数据库中都会创建,它包含了数据库中的索引信息。
- 现在您可以对unicorns对象执行find命令, 列出所有文档:
db.unicorns.find()
请注意,除了您在文档中输入的各个域,还有一个一个叫做_id的域。 - 往unicorns插入一个完全不同的文档。
db.unicorns.insert({name: ‘Leto‘, gender: ‘m‘, home: ‘Arrakeen‘, worm: false})
再次用find可以列出所有的文档
掌握选择器(selector)
MongoDB还有一个很实用的概念:查询选择器(query selector)。
MongoDB的查询选择器就像SQL代码中的where语句。
因此您可以用它在集合中查找,统计,更新或是删除文档。
选择器就是一个JSON对象,最简单的形式就是{},用来匹配所有的文档。
如果我们需要找到所有雌性的独角兽(unicorn),我们可以用选择器{gender:‘f‘}来匹配。
- 用
db.unicorns.remove
删除之前我们在unicorns集合中输入的所有数据 - 插入以下数据:
db.unicorns.insert({name: ‘Horny‘, dob: new Date(1992,2,13,7,47), loves: [‘carrot‘,‘papaya‘], weight: 600, gender: ‘m‘, vampires: 63}); db.unicorns.insert({name: ‘Aurora‘, dob: new Date(1991, 0, 24, 13, 0), loves: [‘carrot‘, ‘grape‘], weight: 450, gender: ‘f‘, vampires: 43}); db.unicorns.insert({name: ‘Unicrom‘, dob: new Date(1973, 1, 9, 22, 10), loves: [‘energon‘, ‘redbull‘], weight: 984, gender: ‘m‘, vampires: 182}); db.unicorns.insert({name: ‘Roooooodles‘, dob: new Date(1979, 7, 18, 18, 44), loves: [‘apple‘], weight: 575, gender: ‘m‘, vampires: 99}); db.unicorns.insert({name: ‘Solnara‘, dob: new Date(1985, 6, 4, 2, 1), loves:[‘apple‘, ‘carrot‘, ‘chocolate‘], weight:550, gender:‘f‘, vampires:80}); db.unicorns.insert({name:‘Ayna‘, dob: new Date(1998, 2, 7, 8, 30), loves: [‘strawberry‘, ‘lemon‘], weight: 733, gender: ‘f‘, vampires: 40}); db.unicorns.insert({name:‘Kenny‘, dob: new Date(1997, 6, 1, 10, 42), loves: [‘grape‘, ‘lemon‘], weight: 690, gender: ‘m‘, vampires: 39}); db.unicorns.insert({name: ‘Raleigh‘, dob: new Date(2005, 4, 3, 0, 57), loves: [‘apple‘, ‘sugar‘], weight: 421, gender: ‘m‘, vampires: 2}); db.unicorns.insert({name: ‘Leia‘, dob: new Date(2001, 9, 8, 14, 53), loves: [‘apple‘, ‘watermelon‘], weight: 601, gender: ‘f‘, vampires: 33}); db.unicorns.insert({name: ‘Pilot‘, dob: new Date(1997, 2, 1, 5, 3), loves: [‘apple‘, ‘watermelon‘], weight: 650, gender: ‘m‘, vampires: 54}); db.unicorns.insert({name: ‘Nimue‘, dob: new Date(1999, 11, 20, 16, 15), loves: [‘grape‘, ‘carrot‘], weight: 540, gender: ‘f‘}); db.unicorns.insert({name: ‘Dunx‘, dob: new Date(1976, 6, 18, 18, 18), loves: [‘grape‘, ‘watermelon‘], weight: 704, gender: ‘m‘, vampires: 165});
{field: value}用来查找所有field等于value的文档。通过{field1: value1, field2: value2}的形式可以实现与操作。$lt
、$lte
、$gt
、$gte
以及$ne
分别表示小于、小于或等于、大于、大于或等于以及不等于
。举个例子,查找所有体重超过700磅的雄性独角兽的命令是:
db.unicorns.find({gender: ‘m‘, weight: {$gt: 700}}) //或者 (效果并不完全一样,仅用来为了演示不同的方法) db.unicorns.find({gender: {$ne: ‘f‘}, weight: {$gte: 701}})
如果需要或而不是与,可以用$or操作符并作用于需要进行或操作的数组:
db.unicorns.find({gender: ‘f‘, $or: [{loves: ‘apple‘}, {loves: ‘orange‘}, {weight: {$lt: 500}}]})
pymongo
参考子资料
代码片段:
#首先pip install pymongo #连接mongodb import pymongo conn = pymongo.Connection(‘localhost‘, 27017) #获取数据库列表 conn.database_names() [u‘test1‘, u‘test2‘, u‘admin‘, u‘local‘] #连接数据库 db = conn.test1 #或者db = conn[‘test1‘] #权限验证 db.authenticate(‘username‘, ‘password‘) True #获取聚集列表 (聚集的概念类似于关系型数据库中的表) db.collection_names() [u‘account‘, u‘role‘, u‘item‘, u‘online‘] #连接聚集 account = db.account #或account = db[‘account‘] #查看聚集的一条记录 account.find_one() #查看聚集的所有key (类似于关系型数据库中的字段) account.find_one().keys() #查看聚集的所有记录 for i in account.find(): rint i #查看记录总数 account.find().count() #根据条件查询多条记录 for i in account.find({"name": "xxx"}): print i #对查询结果进行排序 (默认升序ASCENDING) account.find().sort("name", pymongo.ASCENDING) account.find().sort([("name", pymongo.ASCENDING), ("active_time", pymongo.DESCENDING)]) #新增记录 account.insert({"name": "mike", "active_time": "20130408"}) #更新记录 account.update({"name": "mike"}, {"$set": {"active_time": "20130408120000"}}) #删除记录 (不带条件表示全部删除) account.remove({"name": "mike"})