[转载]提升SQLite数据插入效率低、速度慢的方法

转载地址:http://blog.csdn.net/majiakun1/article/details/46607163,如果有侵犯原创,请留言告知,本人会及时删除。

前言

SQLite数据库由于其简单、灵活、轻量、开源,已经被越来越多的被应用到中小型应用中。甚至有人说,SQLite完全可以用来取代c语言中的文件读写操作。因此我最近编写有关遥感数据处理的程序的时候,也将SQLite引入进来,以提高数据的结构化程度,并且提高大数据的处理能力(SQLite最高支持2PB大小的数据)。但是最开始,我发现,直接使用SQL语句的插入效率简直低的令人发指的。后来不断查文档、查资料,才发现了一条快速的“数据插入”之路。本文就以插入数据为例,整合网上和资料书中的各种提高SQLite效率的方法,给出提高SQLite数据插入效率的完整方法。(大神们勿喷)

1 数据

我使用的电脑是Win7 64位系统,使用VC2010编译,SQLIte版本为3.7.15.2 ,电脑CPU为二代i3处理器,内存6G。

实验之前,先建立要插入数据的表:

  1. create table t1 (id integer , x integer , y integer, weight real)

2 慢速——最粗暴的方法

SQLite的API中直接执行SQL的函数是:

  1. int sqlite3_exec(  sqlite3*,    const char *sql,   int (*callback)(void*,int,char**,char**),   void *,   char **errmsg)

直接使用INSERT语句的字符串进行插入,程序部分代码(完整代码见后文),如下:

  1. for(int i=0;i<nCount;++i)
  2. {
  3. std::stringstream ssm;
  4. ssm<<"insert into t1 values("<<i<<","<<i*2<<","<<i/2<<","<<i*i<<")";
  5. sqlite3_exec(db,ssm.str().c_str(),0,0,0);
  6. }

这个程序运行的太慢了,我已经没时间等待了,估算了一下,基本上是 7.826 条/s

3 中速——显式开启事务

所谓”事务“就是指一组SQL命令,这些命令要么一起执行,要么都不被执行。在SQLite中,每调用一次sqlite3_exec()函数,就会隐式地开启了一个事务,如果插入一条数据,就调用该函数一次,事务就会被反复地开启、关闭,会增大IO量。如果在插入数据前显式开启事务,插入后再一起提交,则会大大提高IO效率,进而加数据快插入速度。

开启事务只需在上述代码的前后各加一句开启与提交事务的命令即可:

  1. sqlite3_exec(db,"begin;",0,0,0);
  2. for(int i=0;i<nCount;++i)
  3. {
  4. std::stringstream ssm;
  5. ssm<<"insert into t1 values("<<i<<","<<i*2<<","<<i/2<<","<<i*i<<")";
  6. sqlite3_exec(db,ssm.str().c_str(),0,0,0);
  7. }
  8. sqlite3_exec(db,"commit;",0,0,0);

显式开启事务后,这个程序运行起来明显快很多,估算效率达到了34095条/s,较原始方法提升约5000倍。

4 高速——写同步(synchronous)

我要使用一个遥感处理算法处理10000*10000的影像,中间有一步需要插入100000000条数据到数据库中,如果按照开启事务后的速度34095条/s,则需要100000000÷34095 = 2932秒 = 48.9分,仍然不能够接受,所以我接着找提升速度的方法。终于,在有关讲解SQLite配置的资料中,看到了“写同步”选项。

在SQLite中,数据库配置的参数都由编译指示(pragma)来实现的,而其中synchronous选项有三种可选状态,分别是full、normal、off。这篇博客以及官方文档里面有详细讲到这三种参数的设置。简要说来,full写入速度最慢,但保证数据是安全的,不受断电、系统崩溃等影响,而off可以加速数据库的一些操作,但如果系统崩溃或断电,则数据库可能会损毁。

SQLite3中,该选项的默认值就是full,如果我们再插入数据前将其改为off,则会提高效率。如果仅仅将SQLite当做一种临时数据库的话,完全没必要设置为full。在代码中,设置方法就是在打开数据库之后,直接插入以下语句:

  1. sqlite3_exec(db,"PRAGMA synchronous = OFF; ",0,0,0);

此时,经过测试,插入速度已经变成了41851条/s,也就是说,插入100000000条数据,需要2389秒 = 39.8分。

5 极速——执行准备

虽然写同步设为off后,速度又有小幅提升,但是仍然较慢。我又一次踏上了寻找提高SQLite插入效率方法的道路上。终于,我发现,SQLite执行SQL语句的时候,有两种方式:一种是使用前文提到的函数sqlite3_exec(),该函数直接调用包含SQL语句的字符串;另一种方法就是“执行准备”(类似于存储过程)操作,即先将SQL语句编译好,然后再一步一步(或一行一行)地执行。如果采用前者的话,就算开起了事务,SQLite仍然要对循环中每一句SQL语句进行“词法分析”和“语法分析”,这对于同时插入大量数据的操作来说,简直就是浪费时间。因此,要进一步提高插入效率的话,就应该使用后者。

“执行准备”主要分为三大步骤:

1.调用函数

  1. int sqlite3_prepare_v2( sqlite3 *db,  const char *zSql,  int nByte,  sqlite3_stmt **ppStmt,  const char **pzTail);

并且声明一个指向sqlite3_stmt对象的指针,该函数对参数化的SQL语句zSql进行编译,将编译后的状态存入ppStmt中。

2.调用函数 sqlite3_step() ,这个函数就是执行一步(本例中就是插入一行),如果函数返回的是SQLite_ROW则说明仍在继续执行,否则则说明已经执行完所有操作;

3.调用函数 sqlite3_finalize(),关闭语句。

关于执行准备的API的具体语法,详见官方文档。本文中执行准备的c++代码如下:

  1. sqlite3_exec(db,"begin;",0,0,0);
  2. sqlite3_stmt *stmt;
  3. const char* sql = "insert into t1 values(?,?,?,?)";
  4. sqlite3_prepare_v2(db,sql,strlen(sql),&stmt,0);
  5. for(int i=0;i<nCount;++i)
  6. {
  7. sqlite3_reset(stmt);
  8. sqlite3_bind_int(stmt,1,i);
  9. sqlite3_bind_int(stmt,1,i*2);
  10. sqlite3_bind_int(stmt,1,i/2);
  11. sqlite3_bind_double(stmt,1,i*i);
  12. }
  13. sqlite3_finalize(stmt);
  14. sqlite3_exec(db,"commit;",0,0,0);

此时测试数据插入效率为:265816条/s,也就是说,插入100000000条数据,需要376秒 = 6.27分。这个速度已经很满意了。

5 总结

综上所述啊,SQLite插入数据效率最快的方式就是:事务+关闭写同步+执行准备(存储过程),如果对数据库安全性有要求的话,就开启写同步。

参考资料:

1. SQLite官方文档:http://www.sqlite.org/docs.html

2.《解决sqlite3插入数据很慢的问题》:http://blog.csdn.net/victoryknight/article/details/7461703

3.《The Definitive Guide to SQLite》Apress出版:http://www.apress.com/9781430232254 (这是本好书)

附最终完整代码:

  1. #include <iostream>
  2. #include <string>
  3. #include <sstream>
  4. #include <time.h>
  5. #include "sqlite3.h"
  6. const int nCount = 500000;
  7. int main (int argc,char** argv)
  8. {
  9. sqlite3* db;
  10. sqlite3_open("testdb.db" ,&db);
  11. sqlite3_exec(db,"PRAGMA synchronous = OFF; ",0,0,0);
  12. sqlite3_exec(db,"drop table if exists t1",0,0,0);
  13. sqlite3_exec(db,"create table t1(id integer,x integer,y integer ,weight real)",0,0,0);
  14. clock_t t1 = clock();
  15. sqlite3_exec(db,"begin;",0,0,0);
  16. sqlite3_stmt *stmt;
  17. const char* sql = "insert into t1 values(?,?,?,?)";
  18. sqlite3_prepare_v2(db,sql,strlen(sql),&stmt,0);
  19. for(int i=0;i<nCount;++i)
  20. {
  21. // std::stringstream ssm;
  22. // ssm<<"insert into t1 values("<<i<<","<<i*2<<","<<i/2<<","<<i*i<<")";
  23. // sqlite3_exec(db,ssm.str().c_str(),0,0,0);
  24. sqlite3_reset(stmt);
  25. sqlite3_bind_int(stmt,1,i);
  26. sqlite3_bind_int(stmt,2,i*2);
  27. sqlite3_bind_int(stmt,3,i/2);
  28. sqlite3_bind_double(stmt,4,i*i);
  29. sqlite3_step(stmt);
  30. }
  31. sqlite3_finalize(stmt);
  32. sqlite3_exec(db,"commit;",0,0,0);
  33. clock_t t2 = clock();
  34. sqlite3_close(db);
  35. std::cout<<"cost tima: "<<(t2-t1)/1000.<<"s"<<std::endl;
  36. return 0;
  37. }

时间: 2024-10-05 18:01:09

[转载]提升SQLite数据插入效率低、速度慢的方法的相关文章

解决 C++ 操作 MySQL 大量数据插入效率低下问题

往 Mysql 中,插入10000条简单数据,速度非常缓慢,居然要5分钟左右, 但是打开事务的话,一秒不到就搞定了 代码: #include <iostream> #include <winsock2.h> #include <string> #include "mysql.h" #pragma comment(lib, "libmysql.lib"); using namespace std; int main() { MYSQ

C++操作MySQL大量数据插入效率低下的解决方法

#include <iostream> #include <winsock2.h> #include <string> #include "mysql.h" #pragma comment(lib, "libmysql.lib"); using namespace std; int main() { MYSQL mysql; mysql_init(&mysql); // 初始化 MYSQL *ConnStatus = my

android sqlite批量插入数据速度慢解决方案

android使用的是sqlite数据库,sqlite是比较轻量级的数据库,sqlite默认在插入数据的时候默认一条语句就是一个事务,有多少条数据就有多少次磁盘操作.一次插入10000条记录也就是要10000次读写磁盘操作,导致速度慢. 解决方法: 添加事务处理,把5000条插入作为一个事务 dataBase.beginTransaction();        //手动设置开始事务 //数据插入操作循环 dataBase.setTransactionSuccessful();        /

android sqlite批量插入数据速度解决方案

转自 http://hi.baidu.com/hfutonline/blog/item/62b1e4de8bdf4b2e5882dd28.html 最近在做android项目的时候遇到一个问题,应用程序初始化时需要批量的向sqlite中插入大量数,导致应用启动过慢. android使用的是sqlite数据库,sqlite是比较轻量级的数据库,在Google了之后发现,sqlite事务处理的问题,在sqlite插入数据的时候默认一条语句就是一个事务,有多少条数据就有多少次磁盘操作.我的应用初始50

数据库一次性插入10w条数据,怎么插入效率快

在SQL Server 中插入一条数据使用Insert语句,但是如果想要批量插入一堆数据的话,循环使用Insert不仅效率低,而且会导致SQL一系统性能问题 下面介绍SQL Server支持的两种批量数据插入方法:Bulk和表值参数(Table-Valued Parameters). bulk方法主要思想是通过在客户端把数据都缓存在Table中,然后利用SqlBulkCopy一次性把Table中的数据插入到数据库 代码如下: public static void BulkToDB(DataTab

android提高SQLite大容量数据存储效率

SQLite中插入的时候非常耗时,原因是没有使用事务,默认是每插入一次使用 一次事务,这样如果插入1000条数据,就要开启1000次事务,非常耗时,所以我们可以利用代码来通过手动开启和关闭的方式控制事务. ? 1 2 3 4 5 6 7 8 9 10 11 12 public void insertAll(String databaseName,             ArrayList<ContentValues> valuesArr) {         SQLiteDatabase d

Android开发时,sqlite创建表成功,insert不报错,但没有数据插入的原因

在android开发过程中,经常要通过sqlite来存储一些数据,这种应用应该是再平常不过了,但是有时难免一时疏忽,就会出现sqlite创建表成功,insert不报错,但没有数据插入. 具体问题详见如下代码: Context ctx;        SQLiteDatabase db = dbOpenHelper.getWritableDatabase(); // 开启事务        db.beginTransaction();        try{                // 数

sqlite学习笔记9:C语言中使用sqlite之插入数据

前面创建了一张表,现在给他插入一些数据,插入数据跟创建表差不多,仅仅是SQL语言不一样而已,完整代码如下: #include <stdio.h> #include <stdlib.h> #include "sqlite/sqlite3.h" #define DB_NANE "sqlite/test.db" sqlite3 *db = NULL; char* sql = NULL; char *zErrMsg = NULL; int ret =

sqlite expert导入excel表格 (包括使用问题、以及把 一个表的数据插入到另一个表中)

一.sqlite导入excel 1.打开要导入的excel --- 另存为(2007版点击左上角OFFICE图标即可找到) --- 保存类型:CSV类型 (提示什么不兼容什么的,一律点确定.) 2.打开sqlite expert ,选择建好的数据库文件(或者是导入的已存在的db文件,或者是自己新建一个.db数据库文件). 右击文件名---选择最后一个import text file(CSV,TSV) 3.(如果没有建过和这个excel名相同的表)右边Destination选择第一项new tab