Python操作SQLite/MySQL/LMDB

1.概述

1.1前言

　　最近在存储字模图像集的时候，需要学习LMDB，趁此机会复习了SQLite和MySQL的使用，一起整理在此。

1.2环境

　　使用win7，Python 3.5.2。

2.SQLite

2.1准备

　　SQLite是一种嵌入式数据库，它的数据库就是一个文件。Python 2.5x以上版本内置了SQLite3，使用时直接import sqlite3即可。

2.2操作流程

　　概括地讲，操作SQLite的流程是：

　　　　·通过sqlite3.open()创建与数据库文件的连接对象connection

　　　　·通过connection.cursor()创建光标对象cursor

　　　　·通过cursor.execute()执行SQL语句

　　　　·通过connection.commit()提交当前的事务，或者通过cursor.fetchall()获得查询结果

　　　　·通过connection.close()关闭与数据库文件的连接

　　详细的sqlite3模块API可以看这里：SQLite - Python

　　总结起来就是用cursor.execute()执行SQL语句，改变数据（插入、删除、修改）时用connection.commit()提交变更，查询数据时用cursor.fetchall()得到查询结果。

2.3操作实例

2.3.1建立数据库与建立表

#! /usr/bin/env python3
# -*- coding:utf-8 -*-

# Author   : MaYi
# Blog     : http://www.cnblogs.com/mayi0312/
# Date     : 2019-11-07
# Name     : test01
# Software : PyCharm
# Note     :
import sqlite3

# 创建连接
conn = sqlite3.connect("test.db")
# 创建光标
cur = conn.cursor()
# 执行（创建数据表的）SQL语句
cur.execute("CREATE TABLE IF NOT EXISTS students (sid INTEGER PRIMARY KEY, name TEXT)")
# 提交
conn.commit()
# 关闭连接
conn.close()

　　这里conn是与数据库文件test.db的连接对象，cur是conn的光标对象，通过cur.execute()执行建表操作，创建了简单的学生信息表（学号, 名字），通过conn.commit()提交，最后用conn.close()关闭连接。

　　创建连接时，发现数据库文件不存在时会自动创建，这里使用了文件“test.db”，也可以使用“:memory:”建立内存数据库。

2.3.2插入、删除、修改

　　为了便于多次运行，直接使用了内存数据库：

#! /usr/bin/env python3
# -*- coding:utf-8 -*-

# Author   : MaYi
# Blog     : http://www.cnblogs.com/mayi0312/
# Date     : 2019-11-07
# Name     : test01
# Software : PyCharm
# Note     :
import sqlite3

# 创建链接
conn = sqlite3.connect(":memory:")
# 创建光标
cur = conn.cursor()
# 执行（创建数据表的）SQL语句
cur.execute("CREATE TABLE students (sid INTEGER PRIMARY KEY, name TEXT)")
# 执行（插入）SQL语句
cur.execute("INSERT INTO students VALUES(?, ?)", (1, "Alice"))
cur.execute("INSERT INTO students VALUES(?, ?)", (2, "Bob"))
cur.execute("INSERT INTO students VALUES(?, ?)", (3, "Peter"))
# 执行（查询）SQL语句
cur.execute("SELECT * FROM students")
print(cur.fetchall())  # [(1, ‘Alice‘), (2, ‘Bob‘), (3, ‘Peter‘)]
# 执行（删除）SQL语句
cur.execute("DELETE FROM students WHERE sid = ?", (1,))
# 执行（查询）SQL语句
cur.execute("SELECT * FROM students")
print(cur.fetchall())  # [(2, ‘Bob‘), (3, ‘Peter‘)]
# 执行（修改）SQL语句
cur.execute("UPDATE students SET name = ? WHERE sid = ?", ("Mark", 3))
# 执行（查询）SQL语句
cur.execute("SELECT * FROM students")
print(cur.fetchall())  # [(2, ‘Bob‘), (3, ‘Mark‘)]
# 关闭链接
conn.close()

　　做的事情还就非常简单易懂的，向学生信息表中插入(1, Alice)、(2, Bob)、(3, Peter)三条记录，删除(1, Alice)，修改(3, Peter)为(3, Mark)。插入、删除、修改后查询数据库中的内容并打印出来。

“?”是sqlite3中的占位符，execute时会用第二个参数元组里的元素按顺序替换。官方文档里建议出于安全考虑，不要直接用Python做字符串拼接。

　　另外，注意不需要每次execute后调用commit。

2.3.3查询

　　直接用上面的代码：

# 执行（查询）SQL语句
cur.execute("SELECT * FROM students")
print(cur.fetchall())  # [(2, ‘Bob‘), (3, ‘Peter‘)]

　　fetchall()返回的是记录数组，可能通过WHERE子句做更细致的选择。

3.MySQL

3.1准备

　　安装MySQL：略（百度）

　　安装pymysql：

pip install PyMySQL

3.2操作流程

　　同为关系型数据库，MySQL的操作方法与SQLite是大同小异的。建立连接对象与光标对象，用execute()执行SQL语句，commit()提交事物，fetchall()获得所有查询结果。

3.3操作实例

3.3.1建立与数据库连接与建立表

　　准备工作：

　　　　-   已经创建了数据库TESTDB

　　　　-   连接数据库TESTDB使用的用户名为“mayi”，密码为“test123”，你可以自己设定或者直接使用root用户名及其密码。

　　·数据库连接

#! /usr/bin/env python3
# -*- coding:utf-8 -*-

# Author   : MaYi
# Blog     : http://www.cnblogs.com/mayi0312/
# Date     : 2019-11-07
# Name     : test02
# Software : PyCharm
# Note     :
# 导入模块
import pymysql

# 创建数据库连接
conn = pymysql.connect(
    host="localhost",
    port=3306,
    db="testdb",
    user="mayi",
    password="test123",
    charset="utf8")
# 创建游标
cur = conn.cursor()
# 执行SQL语句（查询Mysql版本）
cur.execute("SELECT VERSION()")
# 获取单条数据
data = cur.fetchone()
# 打印：Database version: 5.7.17-log
print("Database version: %s " % data)
# 关闭数据库连接
conn.close()

　　·建立表

　　如果数据库连接存在我们可以使用execute()方法来为数据库创建表，如下所示创建表students

#! /usr/bin/env python3
# -*- coding:utf-8 -*-

# Author   : MaYi
# Blog     : http://www.cnblogs.com/mayi0312/
# Date     : 2019-11-07
# Name     : test02
# Software : PyCharm
# Note     :
# 导入模块
import pymysql

# 创建数据库连接
conn = pymysql.connect(
    host="localhost",
    port=3306,
    db="testdb",
    user="mayi",
    password="test123",
    charset="utf8")
# 创建游标
cur = conn.cursor()
# 执行SQL语句，如果表存在则删除
cur.execute("DROP TABLE IF EXISTS students")
# 使用预处理语句创建表
cre_sql = """CREATE TABLE students (
        sid INT(4) PRIMARY KEY,
        name VARCHAR(10)
        )"""
# 执行SQL语句（建表）
cur.execute(cre_sql)

# 关闭数据库连接
conn.close()

3.3.2插入、删除、修改

#! /usr/bin/env python3
# -*- coding:utf-8 -*-

# Author   : MaYi
# Blog     : http://www.cnblogs.com/mayi0312/
# Date     : 2019-11-07
# Name     : test02
# Software : PyCharm
# Note     :
# 导入模块
import pymysql

# 创建数据库连接
conn = pymysql.connect(
    host="localhost",
    port=3306,
    db="testdb",
    user="mayi",
    password="test123",
    charset="utf8")
# 创建游标
cur = conn.cursor()

# 执行（插入）SQL语句
cur.execute("INSERT INTO students(sid, name) VALUES(%s, ‘%s‘)" % (1, ‘Alice‘))
cur.execute("INSERT INTO students(sid, name) VALUES(%s, ‘%s‘)" % (2, ‘Bob‘))
cur.execute("INSERT INTO students(sid, name) VALUES(%s, ‘%s‘)" % (3, ‘Peter‘))
# 执行（查询）SQL语句
cur.execute("SELECT * FROM students")
print(cur.fetchall())  # ((1, ‘Alice‘), (2, ‘Bob‘), (3, ‘Peter‘))
# 执行（删除）SQL语句
cur.execute("DELETE FROM students WHERE sid = %s" % (1,))
# 执行（查询）SQL语句
cur.execute("SELECT * FROM students")
print(cur.fetchall())  # ((2, ‘Bob‘), (3, ‘Peter‘))
# 执行（修改）SQL语句
cur.execute("UPDATE students SET name = ‘%s‘ WHERE sid = %s" % (‘Mark‘, 3))
# # 执行（查询）SQL语句
cur.execute("SELECT * FROM students")
print(cur.fetchall())  # ((2, ‘Bob‘), (3, ‘Mark‘))
# 提交
conn.commit()
# 关闭数据库连接
conn.close()

3.3.3查询

　　Python查询MySQL使用fetchone()方法获取单条数据，使用fetchall()方法获取多条数据。

　　　　·fetchone()：该方法获取下一个查询结果集。结果集是一个对象。

　　　　·fetchall()：接收全部的返回结果条。

　　　　·rowcount：这是一个只读属性，并返回执行execute()方法后影响的行数。

#! /usr/bin/env python3
# -*- coding:utf-8 -*-

# Author   : MaYi
# Blog     : http://www.cnblogs.com/mayi0312/
# Date     : 2019-11-07
# Name     : test02
# Software : PyCharm
# Note     :
# 导入模块
import pymysql

# 创建数据库连接
conn = pymysql.connect(
    host="localhost",
    port=3306,
    db="testdb",
    user="mayi",
    password="test123",
    charset="utf8")
# 创建游标
cur = conn.cursor()

# 执行（查询）SQL语句
cur.execute("SELECT * FROM students")
# 返回影响的行数
print(cur.rowcount)  # 2
# 取一条数据
print(cur.fetchone())  # (2, ‘Bob‘)
# 取剩下所有数据
print(cur.fetchall())  # ((3, ‘Mark‘),)
# 关闭数据库连接
conn.close()

4.LMDB

4.1准备

　　LMDB和SQLite/MySQL等关系型数据库不同，属于key-value数据库（把LMDB想成dict会比较容易理解），键key与值value都是字符串。

　　安装：

pip install lmdb

　　使用时import lmdb

4.2操作流程

　　概况地讲，操作LMDB的流程是：

　　　　·通过env = lmdb.open()打开环境

　　　　·通过txn = env.begin()建立事务

　　　　·通过txn.put(key, value)进行插入和修改

　　　　·通过txn.delete(key)进行删除

　　　　·通过txn.get(key)进行查询

　　　　·通过txn.cursor()进行遍历

　　　　·通过txn.commit()提交更改

4.3操作实例

4.3.1建立环境

#! /usr/bin/env python3
# -*- coding:utf-8 -*-

# Author   : MaYi
# Blog     : http://www.cnblogs.com/mayi0312/
# Date     : 2019-11-07
# Name     : test03
# Software : PyCharm
# Note     :
import lmdb

# 打开环境
env = lmdb.open("students")

　　运行一下，查看当前目录的变化：

　　可以看到当前目录下多了students目录，里面有data.mdb和lock.mdb两个文件。

4.3.2插入、删除、修改

　　插入与修改都用put实现，删除用delete实现。

import lmdb

# 打开环境
env = lmdb.open("students")
# 建立事务
txn = env.begin(write=True)
# 插入三条记录
txn.put(b"1", b"Alice")
txn.put(b"2", b"Bob")
txn.put(b"3", b"Peter")
# 删除key="1"的记录
txn.delete(b"1")
# 修改key="3"的值为"Mark"
txn.put(b"3", b"Mark")
# 提交更改
txn.commit()

　　注意用txn=env.begin()创建事务时，有write=True才能够写数据库。

4.3.3查询

　　查音箱记录用get(key)，遍历数据库用cursor。

import lmdb

# 打开环境
env = lmdb.open("students")
# 建立事务
txn = env.begin()
# 查询单条记录
print(txn.get(b"3"))  # b‘Mark‘
# b‘2‘ b‘Bob‘
# b‘3‘ b‘Mark‘
for key, value in txn.cursor():
    print(key, value)
# 提交更改
txn.commit()

5.学习总结

　　最后回顾一下，SQLite与MySQL都是关系型数据库，操作时创建连接对象connection与光标对象cursor，通过execute执行SQL语句，commite提交变更，fetch得到查询结果；LMDB是key-value数据库，操作时建立与数据库的连接，用put/delete改变数据，用get获取数据。

原文地址：https://www.cnblogs.com/mayi0312/p/11811205.html

时间： 2024-10-10 04:08:56

Python操作SQLite/MySQL/LMDB的相关文章

Python 操作 SQLite 数据库

写在之前 SQLite 是一个小型的关系型数据库,它最大的特点在于不需要单独的服务.零配置.我们在之前讲过的两个数据库,不管是 MySQL 还是 MongoDB,都需要我们安装.安装之后,然后运行起来,其实这就相当于已经有一个相应的服务在跑着. SQLite 与前面所说的两个数据库不同.首先Python 已经将相应的驱动模块作为了标准库的一部分,只要是你安装了 Python,就可以使用:再者它可以类似于操作文件那样来操作 SQLite 数据库文件.还有一点,SQLite 源代码不受版权限制. 建

8.1 使用Python操作SQLite数据库

SQLite是内嵌在Python中的轻量级.基于磁盘文件袋额数据库管理系统,不需要安装和配置服务,支持使用SQL语句来访问数据库.该数据库使用C语言开发,支持大多数SQL91标准,支持原子的.一致的.独立的和持久的事务,不支持外键限制:通过数据库级的独占性和共享性锁定来实现独立事务,当多个线程同时访问同一个数据库并试图写入数据时,每一时刻只有一个线程可以写入数据. SQLite支持最大140TB大小的单个数据库,每个数据库完全存储在单个磁盘文件中,以B+树数据结构的形式存储,一个数据库就是一个文

Python操作SQLite数据库

连接数据库 从2.5版本开始,Python的标准库中就有了一个专门用于SQLite的sqlite3模块.连接SQLite数据库方式如下: import sqlite3 as dbapi con = dbapi.connect('population.db') cur = con.cursor() 第一个语句用于引用数据库API: 第二个语句创建了一个到数据库的连接(connection):调用数据库模块的connect方法.该方法的参数是一个字符串,它定义了我们所要连接的那个数据库.由于SQLi

python 操作sqlite数据库

'''SQLite数据库是一款非常小巧的嵌入式开源数据库软件,也就是说 没有独立的维护进程,所有的维护都来自于程序本身. 在python中,使用sqlite3创建数据库的连接,当我们指定的数据库文件不存在的时候 连接对象会自动创建数据库文件:如果数据库文件已经存在,则连接对象不会再创建 数据库文件,而是直接打开该数据库文件. 连接对象可以是硬盘上面的数据库文件,也可以是建立在内存中的,在内存中的数据库 执行完任何操作后,都不需要提交事务的(commit) 创建在硬盘上面: conn = sqli

python 操作数据库(mysql)

1.安装插件网上很多不在啰嗦. 2.连接数据库后创建一个表 MySQLdb conn = MySQLdb.connect(         =,         =,         =,         =,         =,         ) cur = conn.cursor() cur.execute() 3.增加一条数据 MySQLdb conn = MySQLdb.connect(         =,         =,         =,         =,     

Python操作SQLite

1. 导入sqlite3数据库模块,从python2.5以后,sqlite3成为内置模块,不需要额外安装,只需要导入即可. import sqlite3 2.创建/打开数据库 使用connect方法打开数据库 con = sqlite3.connect('D:\test.db') 不仅可以在硬盘上创建数据库文件,还可以在内存中创建. con = sqlite3.connect(':memory:') 3.数据库连接对象 上面通过connect方法返回con对象.即是数据库对象,提供以下方法: c

Windows下安装MySQLdb, Python操作MySQL数据库的增删改查

这里的前提是windows上已经安装了MySQL数据库,且配置完毕,能正常建表能操作.在此基础上只需安装MySQL-python-1.2.4b4.win32-py2.7.exe就ok了,只有1M多.这个有点类似jdbc里的那个jar包. 下载链接:http://sourceforge.net/projects/mysql-python/ , 百度云盘 :http://pan.baidu.com/s/1dDgnfpR 密码:7bna 接着import MySQLdb就能使用了,下面给出测试代码:

用Python进行SQLite数据库操作

用Python进行SQLite数据库操作 -----转自:http://www.cnblogs.com/yuxc/archive/2011/08/18/2143606.html 简单的介绍 SQLite数据库是一款非常小巧的嵌入式开源数据库软件,也就是说没有独立的维护进程,所有的维护都来自于程序本身.它是遵守ACID的关联式数据库管理系统,它的设计目标是嵌入式的,而且目前已经在很多嵌入式产品中使用了它,它占用资源非常的低,在嵌入式设备中,可能只需要几百K的内存就够了.它能够支持Windows/L

Python数据库相关（SQLServer/sqlite/MySQL/access）

1.用pymssql连接SQL Server. 1).pymssql的pypi地址:https://pypi.python.org/pypi/pymssql. 2).pymssql官网:http://pymssql.org/ . 3).python 使用pymssql连接sql server数据库. 2.用sqlite3模块连接sqlite.从Python 2.5开始,sqlite3成为内置模块,无需额外安装. 1).官方文档:https://docs.python.org/2/library/