net快速写入/读取大量数据Postgresql

Postgresql快速写入/读取大量数据

http://www.cnblogs.com/podolski/p/7152144.html

环境及测试
使用.net驱动npgsql连接post数据库。配置:win10 x64, i5-4590, 16G DDR3, SSD 850EVO.

postgresql 9.6.3,数据库与数据都安装在SSD上,默认配置,无扩展。

CREATE TABLE public.mesh
(
x integer NOT NULL,
y integer NOT NULL,
z integer,
CONSTRAINT prim PRIMARY KEY (x, y)
)

  1. 导入
    使用数据备份,csv格式导入,文件位于机械硬盘上,480MB,数据量2500w+。

使用COPY
copy mesh from ‘d:/user.csv‘ csv
运行时间107s

使用insert
单连接,c# release any cpu 非调试模式。

class Program
{
static void Main(string[] args)
{
var list = GetData("D:\user.csv");
TimeCalc.LogStartTime();
using (var sm = new SqlManipulation(@"Strings", SqlType.PostgresQL))
{
sm.Init();
foreach (var n in list)
{
sm.ExcuteNonQuery($"insert into mesh(x,y,z) values({n.x},{n.y},{n.z})");
}
}
TimeCalc.ShowTotalDuration();

    Console.ReadKey();
}

static List<(int x, int y, int z)> GetData(string filepath)
{
    List<ValueTuple<int, int, int>> list = new List<(int, int, int)>();
    foreach (var n in File.ReadLines(filepath))
    {
        string[] x = n.Split(',');
        list.Add((Convert.ToInt32(x[0]), Convert.ToInt32(x[1]), Convert.ToInt32(x[2])));
    }
    return list;
}

}
Postgresql CPU占用率很低,但是跑了一年,程序依然不能结束,没有耐性了...,这么插入不行。

multiline insert
使用multiline插入,一条语句插入约100条数据。

var bag = GetData("D:\user.csv");
//使用时,直接执行stringbuilder的tostring方法。
List listbuilder = new List();
StringBuilder sb = new StringBuilder();
for (int i = 0; i < bag.Count; i++)
{
if (i % 100 == 0)
{
sb = new StringBuilder();
listbuilder.Add(sb);
sb.Append("insert into mesh(x,y,z) values");
sb.Append($"({bag[i].x}, {bag[i].y}, {bag[i].z})");
}
else
sb.Append($",({bag[i].x}, {bag[i].y}, {bag[i].z})");
}
Postgresql CPU占用率差不多27%,磁盘写入大约45MB/S,感觉就是在干活,最后时间217.36s。
改为1000一行的话,CPU占用率提高,但是磁盘写入平均来看有所降低,最后时间160.58s.

prepare语法
prepare语法可以让postgresql提前规划sql,优化性能。

使用单行插入 CPU占用率不到25%,磁盘写入63MB/S左右,但是,使用单行插入的方式,效率没有改观,时间太长还是等不来结果。

使用多行插入 CPU占用率30%,磁盘写入50MB/S,最后结果163.02,最后的时候出了个异常,就是最后一组数据长度不满足条件,无伤大雅。

static void Main(string[] args)
{
var bag = GetData("D:\user.csv");
List listbuilder = new List();
StringBuilder sb = new StringBuilder();
for (int i = 0; i < bag.Count; i++)
{
if (i % 1000 == 0)
{
sb = new StringBuilder();
listbuilder.Add(sb);
//sb.Append("insert into mesh(x,y,z) values");
sb.Append($"{bag[i].x}, {bag[i].y}, {bag[i].z}");
}
else
sb.Append($",{bag[i].x}, {bag[i].y}, {bag[i].z}");
}
StringBuilder sbp = new StringBuilder();
sbp.Append("PREPARE insertplan (");
for (int i = 0; i < 1000; i++)
{
sbp.Append("int,int,int,");
}
sbp.Remove(sbp.Length - 1, 1);
sbp.Append(") AS INSERT INTO mesh(x, y, z) values");
for (int i = 0; i < 1000; i++)
{
sbp.Append($"(${i3 + 1},${i 3 + 2},${i*3+ 3}),");
}
sbp.Remove(sbp.Length - 1, 1);
TimeCalc.LogStartTime();

using (var sm = new SqlManipulation(@"string", SqlType.PostgresQL))
{
    sm.Init();
    sm.ExcuteNonQuery(sbp.ToString());
    foreach (var n in listbuilder)
    {
        sm.ExcuteNonQuery($"EXECUTE insertplan({n.ToString()})");
    }
}
TimeCalc.ShowTotalDuration();

Console.ReadKey();

}
使用Transaction
在前面的基础上,使用事务改造。每条语句插入1000条数据,每1000条作为一个事务,CPU 30%,磁盘34MB/S,耗时170.16s。
改成100条一个事务,耗时167.78s。

使用多线程
还在前面的基础上,使用多线程,每个线程建立一个连接,一个连接处理100条sql语句,每条sql语句插入1000条数据,以此种方式进行导入。注意,连接字符串可以将maxpoolsize设置大一些,我机器上实测,不设置会报连接超时错误。

CPU占用率上到80%, 磁盘这里需要注意,由于生成了非常多个Postgresql server进程,不好统计,累积算上应该有小100MB/S,最终时间,98.18s。

使用TPL,由于Parallel.ForEach返回的结果没有检查,可能导致时间不是很准确(偏小)。

var lists = new List>();
var listt = new List();
for (int i = 0; i < listbuilder.Count; i++)
{
if (i % 1000 == 0)
{
listt = new List();
lists.Add(listt);
}
listt.Add(listbuilder[i].ToString());
}
TimeCalc.LogStartTime();
Parallel.ForEach(lists, (x) =>
{
using (var sm = new SqlManipulation(@";string;MaxPoolSize=1000;", SqlType.PostgresQL))
{
sm.Init();
foreach (var n in x)
{
sm.ExcuteNonQuery(n);
}
}
});
TimeCalc.ShowTotalDuration();
写入方式 耗时(1000条/行)
COPY 107s
insert N/A
多行insert 160.58s
prepare多行insert 163.02s
事务多行insert 170.16s
多连接多行insert 98.18s

  1. 写入更新
    数据实时更新,数量可能继续增长,使用简单的insert或者update是不行的,操作使用postgresql 9.5以后支持的新语法。

insert into mesh on conflict (x,y) do update set z = excluded.z
吐槽postgresql这么晚才支持on conflict,mysql早有了...

在表中既有数据2500w+的前提下,重复往数据库里面写这些数据。这里只做多行插入更新测试,其他的结果应该差不多。

普通多行插入,耗时272.15s。
多线程插入的情况,耗时362.26s,CPU占用率一度到了100%。猜测多连接的情况下,更新互锁导致性能下降。

  1. 读取
    Select方法
    标准读取还是用select方法,ADO.NET直接读取。

使用adapter方式,耗时135.39s;使用dbreader方式,耗时71.62s。

Copy方法
postgresql的copy方法提供stdout binary方式,可以指定一条查询进行输出,耗时53.20s。

public List<(int x, int y, int z)> BulkIQueryNpg()
{
List<(int, int, int)> dict = new List<(int, int, int)>();
using (var reader = ((NpgsqlConnection)_conn).BeginBinaryExport("COPY (select x,y,z from mesh) TO STDOUT (FORMAT BINARY)"))
{
while (reader.StartRow() != -1)
{
var x = reader.Read(NpgsqlDbType.Integer);
var y = reader.Read(NpgsqlDbType.Integer);
var z = reader.Read(NpgsqlDbType.Integer);
dict.Add((x, y, z));
}
}
return dict;
}
结论
总结测试结果,对于较多数据的情况下,可以得出以下结论:

向空数据表导入或者没有重复数据表的导入,优先使用COPY语句(为什么有这个前提详见P.S.);
使用一条语句插入多条数据的方式能够大幅度改善插入性能,可以实验确定最优条数;
使用transaction或者prepare插入,在本场景中优化效果不明显;
使用多连接/多线程操作,速度上有优势,但是把握不好容易造成资源占用率过高,连接数太大也容易影响其他应用;
写入更新是postgresql新特性,使用会造成一定的性能消耗(相对直接插入);
读取数据时,使用COPY语句能够获得较好的性能;
ado.net dbreader对象由于不需要fill的过程,读取速度也较快(虽然赶不上COPY),也可优先考虑。
P.S.
为什么不用mysql
没有最好的,只有最合适的,讲道理我也是挺喜欢用mysql的。使用postgresql的原因主要在于:

postgresql导入导出的sql指令“copy”直接支持Binary模式到stdin和stdout,如果程序想直接集成,那么用这个是比较方便的;相比较,mysql的sql语法(load data infile)并不支持到stdin或者stdout,导出可以通过mysqldump.exe实现,导入暂时没什么特别好的办法(mysqlimport或许可以)。

相较于mysql缺点
postgresql使用copy导入的时候,如果目标表已经有数据,那么在有主键约束的表遇到错误时,COPY自动终止,而且可能导致不完全插入的情况,换言之,是不支持导入的过程进行update操作;mysql的load语法可以显式指定出错之后的动作(IGNORE/REPLACE),不会打断导入过程。

其他
如果需要使用mysql从程序导入数据,可以考虑先通过程序导出到文件,然后借助文件进行导入,据说效率也要比insert高出不少。

原文地址:https://www.cnblogs.com/Leo_wl/p/9023013.html

时间: 2024-11-08 14:03:58

net快速写入/读取大量数据Postgresql的相关文章

[C#]使用Process的StandardInput与StandardOutput写入读取控制台数据

本文为原创文章.源代码为原创代码,如转载/复制,请在网页/代码处明显位置标明原文名称.作者及网址,谢谢! 开发工具:VS2017 语言:C# DotNet版本:.Net FrameWork 4.0及以上 一.为了演示使用程序读取控制台数据,现在需要编写一个控制台程序,代码如下: using System; namespace Test { class Program { static void Main(string[] args) { Console.WriteLine("Hello Worl

EXCEL页面数据快速写入SQL数据库

将EXCEL数据存入SQL表, 一万行记录大概5秒 Dim conn As New ADODB.Connection Dim CNN As New ADODB.Connection 'Dim rst As New ADODB.Recordset Dim Sql As String Dim j, v As Integer Const cnnstr = "Provider = SQLOLEDB;" & _ "Data Source = ip;" & _

往Excel中快速写入数据的又一种方法

往Excel写入数据的方法比较多,但实际应用场景及对性能的要求决定了需要对方法有所取舍.一些具体情形和方法可以参见https://blog.csdn.net/u013109267/article/details/52651647?locationNum=2&fps=1 但受到.Net framework及Excel版本的影响,一些比较旧的方法不再有效.比如上面网页中快速写入的关键方法get_Range和set_Value在新的VSTO环境中就受到影响.但原帖中的思路跟方法是可以借鉴的: //将T

Java读取CSV数据并写入txt文件

读取CSV数据并写入txt文件 package com.vfsd; import java.io.BufferedWriter; import java.io.File; import java.io.FileWriter; import java.io.IOException; import com.csvreader.CsvReader; /****************************************************************************

0016-Avro序列化&反序列化和Spark读取Avro数据

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看. 1.简介 本篇文章主要讲如何使用java生成Avro格式数据以及如何通过spark将Avro数据文件转换成DataSet和DataFrame进行操作. 1.1Apache Arvo是什么? Apache Avro 是一个数据序列化系统,Avro提供Java.Python.C.C++.C#等语言API接口,下面我们通过java的一个实例来说明Avro序列化和反序列化数据. 支持丰富的数据结构 快速可压缩的二进制数据格式 存储持久数据的

asp.net读取Excel数据

先通过控件FileUpload获取excel文件路径 protected void btnReadExcelFromFileUpload_Click(object sender, EventArgs e) { if (fupExcel.PostedFile.ContentLength > 0) { //获取全路径 string fullFileName = fupExcel.PostedFile.FileName.ToString(); //获取文件名 string fileName = fup

java的poi技术读取Excel数据

这篇blog主要是讲述java中poi读取excel,而excel的版本包括:2003-2007和2010两个版本, 即excel的后缀名为:xls和xlsx. 读取excel和MySQL相关: java的poi技术读取Excel数据到MySQL 你也可以在 : java的poi技术读取和导入Excel了解到写入Excel的方法信息 使用JXL技术 :java的jxl技术导入Excel  下面是本文的项目结构: 项目中所需要的jar文件: 所用的Excel数据(2003-2007,2010都是一

iOS彩票项目--第七天,初次读取json数据、KVC转模型技巧、运行时字典转模型以及初步对显示网页的操作并且跟踪标签

一.初次读取json数据 二.KVC转模型技巧,这里的技巧主要解决的是字典中的key 与 模型中有的属性对应不起来的时候 的解决办法 <方法1> <方法2>运行时字典转模型,运行时自己一直很晕.不过还是整理下来,方便以后用. 这里直接创建了一个分类. 头文件代码 1 // 2 // NSObject+Model.h 3 // Chaos_G 4 // 5 6 #import <Foundation/Foundation.h> 7 8 @interface NSObjec

java的poi技术读取Excel数据到MySQL

这篇blog是介绍java中的poi技术读取Excel数据,然后保存到MySQL数据中. 你也可以在 : java的poi技术读取和导入Excel了解到写入Excel的方法信息 使用JXL技术可以在 :java的jxl技术导入Excel  项目结构: Excel中的测试数据: 数据库结构: 对应的SQL: 1 CREATE TABLE `student_info` ( 2 `id` int(11) NOT NULL AUTO_INCREMENT, 3 `no` varchar(20) DEFAU