Python 数据库骚操作 — MongoDB

  • 前言
  • MongoDB GUI 工具
  • PyMongo(同步)
  • Motor(异步)
  • 后记

前言

最近这几天准备介绍一下 Python 与三大数据库的使用,这是第一篇,首先来介绍 MongoDB 吧,这里介绍 MongoDB 的两款操作库,走起!!

MongoDB GUI 工具

首先介绍一款 MongoDB 的 GUI 工具 Robo 3T,初学 MongoDB 用这个来查看数据真的很爽。可以即时看到数据的增删改查,不用操作命令行来查看。

PyMongo(同步)

PyMongo 是一个同步操作的数据存储库。可能大家都对 PyMongo 比较熟悉了,这里就简单介绍它的增删改查等操作。

连接

# 普通连接
client = MongoClient(‘localhost‘, 27017)
client = MongoClient(‘mongodb://localhost:27017/‘)
#
# 密码连接
client = MongoClient(‘mongodb://username:[email protected]:27017/dbname‘)
db = client.zfdb
# db = client[‘zfdb‘]

test = db.test

# 增加一条记录
person = {‘name‘: ‘zone‘,‘sex‘:‘boy‘}
person_id = test.insert_one(person).inserted_id
print(person_id)
# 批量插入
persons = [{‘name‘: ‘zone‘, ‘sex‘: ‘boy‘}, {‘name‘: ‘zone1‘, ‘sex‘: ‘boy1‘}]
result = test.insert_many(persons)
print(result.inserted_ids)

# 删除单条记录
result1 = test.delete_one({‘name‘: ‘zone‘})
pprint.pprint(result1)
# 批量删除
result1 = test.delete_many({‘name‘: ‘zone‘})
pprint.pprint(result1)

# 更新单条记录
res = test.update_one({‘name‘: ‘zone‘}, {‘$set‘: {‘sex‘: ‘girl girl‘}})
print(res.matched_count)
# 更新多条记录
test.update_many({‘name‘: ‘zone‘}, {‘$set‘: {‘sex‘: ‘girl girl‘}})

# 查找多条记录
pprint.pprint(test.find())

# 添加查找条件
pprint.pprint(test.find({"sex": "boy"}).sort("name"))

聚合

如果你是我的老读者,那么你肯定知道我之前的骚操作,就是用爬虫爬去数据之后,用聚合统计结合可视化图表进行数据展示。

aggs = [
    {"$match": {"$or" : [{"field1": {"$regex": "regex_str"}}, {"field2": {"$regex": "regex_str"}}]}}, # 正则匹配字段
    {"$project": {"field3":1, "field4":1}},# 筛选字段 
    {"$group": {"_id": {"field3": "$field3", "field4":"$field4"}, "count": {"$sum": 1}}}, # 聚合操作
]

result = test.aggregate(pipeline=aggs)

例子:以分组的方式统计 sex 这个关键词出现的次数,说白了就是统计有多少个男性,多少个女性。

test.aggregate([{‘$group‘: {‘_id‘: ‘$sex‘, ‘weight‘: {‘$sum‘: 1}}}])

聚合效果图:(秋招季,用Python分析深圳程序员工资有多高?
)文章配图)

Python 工年限要求Python 学历要求

Motor(异步)

Motor 是一个异步实现的 MongoDB 存储库 Motor 与 Pymongo 的配置基本类似。连接对象就由 MongoClient 变为 AsyncIOMotorClient 了。下面进行详细介绍一下。

连接

# 普通连接
client = motor.motor_asyncio.AsyncIOMotorClient(‘mongodb://localhost:27017‘)
# 副本集连接
client = motor.motor_asyncio.AsyncIOMotorClient(‘mongodb://host1,host2/?replicaSet=my-replicaset-name‘)
# 密码连接
client = motor.motor_asyncio.AsyncIOMotorClient(‘mongodb://username:[email protected]:27017/dbname‘)
# 获取数据库
db = client.zfdb
# db = client[‘zfdb‘]
# 获取 collection
collection = db.test
# collection = db[‘test‘]

增加一条记录

添加一条记录。

async def do_insert():
     document = {‘name‘: ‘zone‘,‘sex‘:‘boy‘}
     result = await db.test_collection.insert_one(document)
     print(‘result %s‘ % repr(result.inserted_id))
loop = asyncio.get_event_loop()
loop.run_until_complete(do_insert())

增加一条记录

批量增加记录

添加结果如图所暗示。

async def do_insert():
    result = await db.test_collection.insert_many(
        [{‘name‘: i, ‘sex‘: str(i + 2)} for i in range(20)])
    print(‘inserted %d docs‘ % (len(result.inserted_ids),))

loop = asyncio.get_event_loop()
loop.run_until_complete(do_insert())

批量增加记录

查找一条记录

async def do_find_one():
    document = await db.test_collection.find_one({‘name‘: ‘zone‘})
    pprint.pprint(document)

loop = asyncio.get_event_loop()
loop.run_until_complete(do_find_one())

查找一条记录

查找多条记录

查找记录可以添加筛选条件。

async def do_find():
    cursor = db.test_collection.find({‘name‘: {‘$lt‘: 5}}).sort(‘i‘)
    for document in await cursor.to_list(length=100):
        pprint.pprint(document)

loop = asyncio.get_event_loop()
loop.run_until_complete(do_find())

# 添加筛选条件,排序、跳过、限制返回结果数
async def do_find():
    cursor = db.test_collection.find({‘name‘: {‘$lt‘: 4}})
    # Modify the query before iterating
    cursor.sort(‘name‘, -1).skip(1).limit(2)
    async for document in cursor:
        pprint.pprint(document)

loop = asyncio.get_event_loop()
loop.run_until_complete(do_find())

查找多条记录

统计

async def do_count():
    n = await db.test_collection.count_documents({})
    print(‘%s documents in collection‘ % n)
    n = await db.test_collection.count_documents({‘name‘: {‘$gt‘: 1000}})
    print(‘%s documents where i > 1000‘ % n)

loop = asyncio.get_event_loop()
loop.run_until_complete(do_count())

统计

替换

替换则是将除 id 以外的其他内容全部替换掉。

async def do_replace():
    coll = db.test_collection
    old_document = await coll.find_one({‘name‘: ‘zone‘})
    print(‘found document: %s‘ % pprint.pformat(old_document))
    _id = old_document[‘_id‘]
    result = await coll.replace_one({‘_id‘: _id}, {‘sex‘: ‘hanson boy‘})
    print(‘replaced %s document‘ % result.modified_count)
    new_document = await coll.find_one({‘_id‘: _id})
    print(‘document is now %s‘ % pprint.pformat(new_document))

loop = asyncio.get_event_loop()
loop.run_until_complete(do_replace())

替换

更新

更新指定字段,不会影响到其他内容。

async def do_update():
    coll = db.test_collection
    result = await coll.update_one({‘name‘: 0}, {‘$set‘: {‘sex‘: ‘girl‘}})
    print(‘更新条数: %s ‘ % result.modified_count)
    new_document = await coll.find_one({‘name‘: 0})
    print(‘更新结果为: %s‘ % pprint.pformat(new_document))

loop = asyncio.get_event_loop()
loop.run_until_complete(do_update())

更新

删除

删除指定记录。

async def do_delete_many():
    coll = db.test_collection
    n = await coll.count_documents({})
    print(‘删除前有 %s 条数据‘ % n)
    result = await db.test_collection.delete_many({‘name‘: {‘$gte‘: 10}})
    print(‘删除后 %s ‘ % (await coll.count_documents({})))

loop = asyncio.get_event_loop()
loop.run_until_complete(do_delete_many())

后记

后台回复「MongoDB」获取源码。MongoDB 的骚操作就介绍到这里,后面会继续写 MySQL 和 Redis 的骚操作,你也可以留言告诉我你想看的知识点,我会抽时间看看,尽可能写一篇。尽请期待。

原文地址:https://www.cnblogs.com/syncnavigator/p/10193493.html

时间: 2024-11-06 16:24:17

Python 数据库骚操作 — MongoDB的相关文章

python数据库(mysql)操作

一.软件环境 python环境默认安装了sqlite3,如果需要使用sqlite3我们直接可以在python代码模块的顶部使用import sqlite3来导入该模块.本篇文章我是记录了python操作mysql数据库,mysql数据库下载 由于我之前安装的是wampserver,默认安装了php.mysql和apache这3个环境,因此我没有在单独安装mysql数据库,只是下载了一个mysql管理工具Navicat for MySQL.在使用Navicat for MySQL连接本地mysql

Python 使用pymongo操作mongodb库

1,安装python3.5 如果python还没有安装,可以直接用yum安装, [python] view plain copy # 不过安装的是2.6 version yum install -y python 源码安装3.5 [python] view plain copy wget https://www.python.org/ftp/python/3.5.0/Python-3.5.0.tgz tar -xvf Python-3.5.0.tgz cd Python-3.5.0 ./conf

python 数据库表操作

语法: 1. 修改表名 ALTER TABLE 表名 RENAME 新表名; 2. 增加字段 ALTER TABLE 表名 ADD 字段名 数据类型 [完整性约束条件…], ADD 字段名 数据类型 [完整性约束条件…]; 3. 删除字段 ALTER TABLE 表名 DROP 字段名; 4. 修改字段 ALTER TABLE 表名 MODIFY 字段名 数据类型 [完整性约束条件…]; ALTER TABLE 表名 CHANGE 旧字段名 新字段名 旧数据类型 [完整性约束条件…]; ALTE

Python 操作 mongodb 数据库

原文地址:https://serholiu.com/python-mongodb 这几天在学习Python Web开发,于 是做准备做一个博客来练练手,当然,只是练手的,博客界有WordPress这样的好玩意儿,何必还自己造车呢?决定使用Tornado这个框架,然后数 据库方面决定顺便熟悉一下MongoDB这样的非关系型数据库.Python让我觉得轻松,再和MongoDB搭配上,那感觉真是好. 下面就谈谈Python操作MongoDB的一些基本用法,先介绍一下MongoDB,这是现在风头正劲的N

python 操作mongoDB数据库

网上关于python 操作mongoDB的相关文章相对不是很多,并且质量也不是很高!下面给出一个完整的 增删改查示例程序! #!/usr/bin/python # -*- coding: utf-8 -*- import pymongo import re connection = pymongo.MongoClient('10.38.164.80',27017) tdb = connection.test collection = tdb.article #插入数据 try: insert_d

Python删除mongodb数据库和用户,查看Python操作mongodb的方法

#!/usr/bin/env python #coding:utf-8 from pymongo import MongoClient client = MongoClient('192.168.6.243', 27017) db=client['admin'] db.authenticate('root','123456') #help(db) #查看python操作mongodb的方法 for i in range(2,900): try: db = client['s%s' % i] db

python操作MONGODB数据库,提取部分数据再存储

目标:从一个数据库中提取几个集合中的部分数据,组合起来一共一万条.几个集合,不足一千条数据的集合就全部提取,够一千条的就用一万减去不足一千的,再除以大于一千的集合个数,得到的值即为所需提取文档的个数.从每个集合中提取的数据存放到新的对应集合中,新集合名称为原先集合加"_col". 用到相关技术点: 操作MONGODB: 先通过IP和端口号连接到MONGODB所在的机器,得到一个MONGODB客户端对象,然后认证某个数据库的账号密码连接到该数据库,得到一个该数据库的对象.一个数据库下有很

python操作MongoDB部分翻译

python操作MongoDB http://api.mongodb.org/python/current/index.html This tutorial is intended as an introduction to working with MongoDB and PyMongo . Prerequisites[前提条件] Before we start, make sure that you have the PyMongo distribution installed . In t

8.3 操作MongoDB数据库

一项权威调查显示,在大数据时代软件开发人员必备的十项技能中MongoDB数据库名列第二,仅次于HTML5.MongoDB是一个基于分布式文件存储的文档数据库,可以说是非关系型(Not Only SQL,NoSQL)数据库中比较像关系型数据库的一个,具有免费.操作简单.面向文档存储.自动分片可扩展性强.查询功能强大等特点,对大数据处理支持较好,旨在为Web应用提供可扩展的高性能数据存储解决方案.MongoDB将数据存储为一个文档,数据结构由键值(key -> value)对组成.MongoDB文档