Sqlite3文件数据库与内存数据库的性能差异

这不是一个有说服力的测试,算是我的体验吧

通过pandas.read_csv函数将总共1.44GB的164个csv文件依次(转为dataframe对象,并新增2条series,再将该dataframe通过 pandas.to_sql函数写成1.23GB的sqlite数据库文件,从导入第四个文件后,就越来越慢,怀疑是缓存不足,总共花费两个多小时。

而sqlite3.connect(‘:memory:‘)写入内存数据库仅需2分钟多,当然还没转储到磁盘,相信转储花的时间应该也不多。

时间: 2025-01-22 21:00:54

Sqlite3文件数据库与内存数据库的性能差异的相关文章

SQLite文件数据库、内存数据库建立及导入导出

一.初识sqlite 偶然的机会接触到sqlite,不禁惊叹sqlite的体型小巧而功能强大(看来软件也不可貌相哦),Sqlite 是开源的内存数据库(也可以称之为内嵌式数据库),大量无私的程序员为sqlite发展贡献了自己的力量.Sqlite 应用极广,手机.mp3,机顶盒可能存在sqlite身影,Apple的Mac os,linux,或者windows在安装第三方软件时也可以应用sqlite. Sqlite技术优点: 1.  Sqlite轻量级.跨平台的关系型开源内存数据库,使用sqlite

使用ab.exe监测100个并发/100次请求情况下同步/异步访问数据库的性能差异

ab.exe介绍 ab.exe是apache server的一个组件,用于监测并发请求,并显示监测数据 具体使用及下载地址请参考:http://www.cnblogs.com/gossip/p/4398784.html 本文的目的 通过webapi接口模拟100个并发请求下,同步和异步访问数据库的性能差异 创建数据库及数据 --创建表结构 CREATE TABLE dbo.[Cars] ( Id INT IDENTITY(1000,1) NOT NULL, Model NVARCHAR(50) 

MySQL性能调优与架构设计——第9章 MySQL数据库Schema设计的性能优化

MySQL性能调优与架构设计——第9章 MySQL数据库Schema设计的性能优化 前言: 很多人都认为性能是在通过编写代码(程序代码或者是数据库代码)的过程中优化出来的,其实这是一个非常大的误区.真正影响性能最大的部分是在设计中就已经产生了的,后期的优化很多时候所能够带来的改善都只是在解决前妻设计所遗留下来的一些问题而已,而且能够解决的问题通常也比较有限.本章将就如何在 MySQL 数据库 Schema 设计的时候保证尽可能的高效,尽可能减少后期的烦恼. 9.1 高效的模型设计 最规范的就一定

Mysql数据库调优和性能优化

1. 简介 在Web应用程序体系架构中,数据持久层(通常是一个关系数据库)是关键的核心部分,它对系统的性能有非常重要的影响.MySQL是目前使用最多的开源数据库,但是mysql数据库的默认设置性能非常的差,仅仅是一个玩具数据库.因此在产品中使用MySQL数据库必须进行必要的优化. 优化是一个复杂的任务,本文描述MySQL相关的数据库设计和查询优化,服务器端优化,存储引擎优化. 2. 数据库设计和查询优化 在MySQL Server性能调优中,首先要考虑的就是Database Schema设计,和

[转] 剖析 epoll ET/LT 触发方式的性能差异误解(定性分析)

http://blog.chinaunix.net/uid-17299695-id-3059078.html PS:Select和Poll都是水平触发,epoll默认也是水平触发 ET模式仅当状态发生变化的时候才获得通知,这里所谓的状态的变化并不包括缓冲区中还有未处理的数据,也就是说,如果要采用ET模式,需要一直read/write直到出错为止,很多人反映为什么采用ET模式只接收了一部分数据就再也得不到通知了,大多因为这样;而LT模式是只要有数据没有处理就会一直通知下去的.    LT(leve

database——sqlite3单机版数据库

sqlite3: 1. 开源的数据库 2. 嵌入式,单文件数据库,免安装(此特点类似Access,不用安装): 3. 跨平台(window,linux,android,IOS)的数据库 4. 不支持存储过程,遵循绝大部分的sql92标准!(不支持的部分:http://www.sqlite.org/omitted.html)

C#实现XML文件数据库

C#实现文件数据库 http://www.cnblogs.com/gaochundong/archive/2013/04/24/csharp_file_database.html#3100076 应用XML作为数据库的快速开发框架 http://www.cnblogs.com/wardensky/p/4170605.html?ADUIN=422159763&ADSESSION=1418987900&ADTAG=CLIENT.QQ.5317_.0&ADPUBNO=26342

is和as在类型转换时的性能差异

is和as是.NET中常用的操作,两者都可以实现类型的安全转换,但两者却有所不同. 如 public class Employee { } public void Add(object obj)//写法一 { Employee e=null; if(obj is Employee) { e=(Employee)obj; //正常处理 } else { //其他处理 } } public void Add(object obj)//写法二 { Employee e=obj as Employee;

MS SQL Server分析数据库的I/O性能

系统有的时候响应会明显很慢,有的时候可以是因为访问人数增加导致,有的时候可能因为数据库的磁盘I/O访问次数频繁导致.MS SQL Server提供了一些动态管理视图和函数供我们分析磁盘I/O性能. 1.sys.dm_io_virtual_file_stats SELECT DB_NAME(vfs.database_id) AS database_name , vfs.database_id , vfs.FILE_ID , io_stall_read_ms / NULLIF(num_of_read