MySqlBulkLoader 中文乱码

原文:MySqlBulkLoader 中文乱码

MySQL驱动:MySqlConnector

GitHub地址:https://github.com/mysql-net/MySqlConnector.git

文档地址:https://mysql-net.github.io/MySqlConnector/

代码插入之后发现出现中文乱码现象。

原来的代码逻辑简略版

实现逻辑梳理,将数组写入csv,通过MySqlBulkLoader批量插入

        public async Task BulkLoadLocalCsvFile<T>(IEnumerable<T> dataSource, string tableName)
        {
            using (var connection = new MySqlConnection(GetLocalConnectionString()))
            {
                await connection.OpenAsync();
                var path = Path.GetTempFileName();
                MySqlBulkLoader bl = new MySqlBulkLoader(connection);
                bl.FileName = path;
                bl.TableName = tableName;
                bl.FieldTerminator = ",";
                bl.FieldQuotationCharacter = '"';
                bl.FieldQuotationOptional = true;
                bl.Local = true;
                using (var writer = new StreamWriter(path))
                {
                    var configuration = new Configuration
                    {
                        HasHeaderRecord = false,
                    };
                    using (var csv = new CsvWriter(writer, configuration))
                    {
                        csv.WriteRecords(dataSource);
                        var writerConfiguration = csv.Context.WriterConfiguration;
                        var map = writerConfiguration.Maps.Find<T>();
                        foreach (var memberMap in map.MemberMaps)
                        {
                            var memberName = memberMap.Data.Member.Name;
                            loader.Columns.Add(memberName);
                        }
                    }
                }
                int rowCount = await bl.LoadAsync();
                File.Delete(path);
            }
        }

分析乱码原因

  • 需要指定csv文件的字符集
  • 需要指定StreamWriter字符集
  • 需要指定MySqlBulkLoader字符集

指定csv文件的字符集

写CSV文件借助的是开源包CsvHelper。

CsvHelper

指定 CsvHelper.Configuration.Configuration字符集

var configuration = new Configuration
{
     Encoding = Encoding.UTF8
 };

没能解决。

指定StreamWriter字符集

var writer = new StreamWriter(path, true, Encoding.UTF8)

不行。

指定MySqlBulkLoader字符集

bl.CharacterSet = "UTF8";

乱码解决。

原文地址:https://www.cnblogs.com/lonelyxmas/p/11106073.html

时间: 2024-10-11 19:55:59

MySqlBulkLoader 中文乱码的相关文章

centos6.7下安装mysql5.6.22同时解决中文乱码问题

1.下载 http://dev.mysql.com/downloads/mysql/ 或者使用wget下载: wget http://dev.mysql.com/get/Downloads/MySQL-5.6/MySQL-5.6.22-1.el6.i686.rpm-bundle.tar 2.安装 2.1.  检测是否已经安装了mysql rpm -qa | grep mysql 如果已经安装了,将其卸载,如: rpm -e --nodeps  mysql-libs-5.1.71-1.el6.x8

XShell连接CentOS 7.2显示中文乱码问题的解决方法

背景 使用U盘往Windows主机.Linux主机传文件还是经常的事,但有时候文件名有中文, 传到Linux机器会有乱码,选择起来也很麻烦,最近刚好遇到,写下解决方法. 环境 Linux [[email protected] ~]# cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) [[email protected]-base ~]# echo $LANG en_US.UTF-8 [[email protected]-ba

[oracle]解决centos 7下oracle的中文乱码问题

首先在形成中文乱码的原因是由于字符集不统一导致的,不同的字符集在转换的过程中必然要出现乱码,当然不排除可以转换.所以要解决中文乱码问题,思路是将输入.存储.显示等流程中涉及到字符集都统一为一种,对于oracle首先必须满足的先决条件是要服务端和客户段的字符集统一,若还不能解决问题,同时还要将系统的字符集与之统一,甚至导入或输入数据所使用的字符集统一. 看了网上的一些资料后,都说修改服务器的字符集风险比较大,确实,测试开发用还好说,假若是上线项目的服务器,那修改服务器字符集所带来的后果是不堪的,废

Oracle数据库中文乱码问题

最近碰到Oracle乱码问题,刚开始甚是头疼,以前在合肥出差的时候,这种问题也碰到过,当时直接抛给了“乌压压一片”(一个搞数据的同事儿),这次没办法躲过,只好硬着头皮上.虽然我这次碰到的是Oracle乱码问题中的一个,但是我决定将这个乱码问题整理清楚(不整清楚,就觉得身边有个定时炸弹,怕下次整数据库的时候会突然又爆炸). 解决这个问题的关键在于理解字符集的概念,所以在正文开始之前,有必要先提一下字符集的相关知识!(这部分知识,对于解决j2ee中文参数传递过程中出现的乱码,也非常具有参考意义) 一

linux下birt 图表中文乱码问题

birtChart 在linux下中文乱码的问题是Java虚拟机找不到中文字库字体文件造成的. 步骤: 1.把.bash_profile中的export LANG=zh_CN.GB2312修改为: export LANG=zh_CN.GB18030.因为gb2312不支持一些特殊的汉字. 2.在在生成的chart图表的XML Source里修改字体:把SansSerif修改为SimSun. 3.找到一个能在linux下使用的中文字体,可以是Windows 7下的c:\windows\fonts\

source insight3.5中文乱码解决方案

source insight3.5中文乱码,网上看别人说改变宽字体.宋体等方法都不起效.根本原因是,source insight 3.5 不支持Unicode编码,所以导致中文的乱码,将文件转为gb2312编码即可正常显示. 转码命令: iconv -c  -f utf-8 -t gb2312  utf8FileName  >>  newGb2321FileName

JSP学习笔记(三):解决JSP中文乱码问题

JSP开发应用过程中中文乱码是个比较常见的问题,其根源是:Web容器默认的字符编码格式是ISO-8859-1. 一.ISO-8859-1是不支持中文的.假如在保存JSP页面源码时遇到该错误,只要把JSP命令标签中的键值对"pageEncoding"的值ISO-8859-1改成"utf-8"(或UTF-8),当然是建议改成这样的编码格式,也可以改成GBK.这样就可以顺利保存源代码了. 二.get和post提交表单时遇到中文乱码问题的解决方案: (1)post提交:po

【中文乱码】jsp页面传值到后台中文乱码情况.

作为一名程序员,在项目中偶尔会遇到jsp传到后台出现中文乱码而不知所措.下面将讲解出现中文乱码的几种情况. 一.jsp页面没有设置编码格式, 二,后台没有在web.xml中字符编码过滤器, 三,在ajax提交的时候用get提交, 四,数据库连接的时候也可以试着加上字符编码, 五,所有的前台和后台字符编码必须一致.

zabbix中文乱码问题解决方法(Zabbix 2.2.3)

我把zabbix安装完成后,调整为中文界面,出现乱码. 原因:因为没有中文字体,没有设置显示字体为中文. 解决方法(网络整理收集): 1.获取一个字体文件,上传至zabbixServer的web目录fonts文件夹(/data/www/zabbix/fonts), Windows → 控制面板 → 字体 命名为小写字母 2.修改配置文件,/www/zabbix/include/defines.inc.php //define('ZBX_FONT_NAME', 'DejaVuSans'); def