MySql 8+版本 load data出错的问题

MySql数据库升级到8以上时,对于开发人员来说非常好用的数据批量导入的工具loaddata使用会出现一些小问题。

这里简单总结一下,如果可以帮大家省时间最好不过

简单粗暴,围绕出啥错,为什么,怎么解决三点开始正文

错误:ERROR 1148: The used command is not allowed with this MySQL version

为啥:load data local可被利用为高危漏洞,所以8以上mysql默认关闭改功能

咋办:修改全局变量启用load data

set global local_infile = 1;

修改config启用load data local

[client]
loose-local-infile = 1

错误:MySqlBulkLoader 报 promissions deny

为啥:5.6之前,这代码没问题,5.6之后的版本,默认local = false

咋办:代码加一段就可以了

var bulk = new MySqlBulkLoader(conn)
                    {
                        CharacterSet = "utf8mb4",
                        Local = true, #加这个,参考官方文档,文末有链接
                        FieldTerminator = ",",
                        FieldQuotationCharacter = ‘"‘,
                        EscapeCharacter = ‘"‘,
                        LineTerminator = "\r\n",
                        FileName = csvFileItemPath,
                        NumberOfLinesToSkip = 1,
                        TableName = cacheTableName
                    }

错误:MySqlBulkLoader 报 The used command is not allowed with this MySQL version;设置了local_infile = 1也没啥用

为啥:猜测mysqlconnection,默认关闭这个功能的。至于为啥全局变量启用load data还是无效,我没有深究,有知道的小伙伴能告诉我最好了 [手动狗头]

咋办:修改链接字符串,加上allowLoadLocalInfile

Data Source=***.***.***.*;Initial Catalog=******;user id=*****;pwd=*******;allowLoadLocalInfile=true;

错误:万一手贱,以为是包的问题,把mysql.data.ef6包给升级了,发现咋跑都报错

为啥:mysql.data.ef6迁了,最新版到包mysql.data.entityframework。如果还是有问题(具体啥错我就不贴了),把下面的这个config招呼上

  <entityFramework codeConfigurationType="MySql.Data.EntityFramework.MySqlEFConfiguration, MySql.Data.EntityFramework">
    <defaultConnectionFactory type="System.Data.Entity.Infrastructure.LocalDbConnectionFactory, EntityFramework">
      <parameters>
        <parameter value="mssqllocaldb" />
      </parameters>
    </defaultConnectionFactory>
    <providers>
      <provider invariantName="System.Data.SqlClient" type="System.Data.Entity.SqlServer.SqlProviderServices, EntityFramework.SqlServer" />
      <provider invariantName="MySql.Data.MySqlClient" type="MySql.Data.MySqlClient.MySqlProviderServices, MySql.Data.EntityFramework, Version=8.0.18.0, Culture=neutral, PublicKeyToken=c5687fc88969c44d" />
    </providers>
  </entityFramework>

参考:

Mysql8以上版本默认禁用load data命令官宣

https://dev.mysql.com/doc/refman/8.0/en/load-data-local.html

LoadData命令相关

https://dev.mysql.com/doc/refman/5.7/en/load-data.html

命令报错:ERROR 1148: The used command is not allowed with this MySQL version

https://stackoverflow.com/questions/18437689/error-1148-the-used-command-is-not-allowed-with-this-mysql-version

MySqlBulkLoader官方实例

https://dev.mysql.com/doc/connector-net/en/connector-net-programming-bulk-loader.html

原文地址:https://www.cnblogs.com/Thancoo/p/mysql8loaddatadisable.html

时间: 2024-10-08 18:30:56

MySql 8+版本 load data出错的问题的相关文章

mysql导入数据load data infile用法

mysql导入数据load data infile用法 基本语法: load data [low_priority] [local] infile 'file_name txt' [replace | ignore] into table tbl_name [fields [terminated by't'] [OPTIONALLY] enclosed by ''] [escaped by'\' ]] [lines terminated by'n'] [ignore number lines]

mysql导入数据load data infile用法整理

有时候我们需要将大量数据批量写入数据库,直接使用程序语言和Sql写入往往很耗时间,其中有一种方案就是使用MySql Load data infile导入文件的形式导入数据,这样可大大缩短数据导入时间. 假如是从MySql客户端调用,将客户端的文件导入,则需要使用 load local data infile. LOAD DATA INFILE 语句以很高的速度从一个文本文件中读取行到一个表中.文件名必须是一个文字字符串. 1,开启load local data infile. 假如是Linux下

关于MySQL中使用LOAD DATA INFILE导入csv文件时的日期格式问题

在使用MySQL时,常常会用到Load Data Infile来导入数据,在遇到Date类型的列时,有时会遇到格式转换的问题: 首先创建一张简单的people表,包含名字,生日,年龄三个字段: mysql> create table people( -> name varchar(10) NOT NULL, -> birthday date NOT NULL, -> age int NOT NULL); Query OK, 0 rows affected (0.18 sec) 构造

mysql 的load data infile

LOAD DATA INFILE语句从一个文本文件中以很高的速度读入一个表中.如果指定LOCAL关键词,从客户主机读文件.如果LOCAL没指定,文件必须位于服务器上.(LOCAL在MySQL3.22.6或以后版本中可用.) 为了安全原因,当读取位于服务器上的文本文件时,文件必须处于数据库目录或可被所有人读取.另外,为了对服务器上文件使用LOAD DATA INFILE,在服务器主机上你必须有file的权限. 头 一回用load data infile,以为只是把插入语句写到一个文件里,然后用lo

load data ERROR 1197 (HY000)错误

有一份csv格式的文件,大小在14G左右.max_binlog_cache_size=4G. 登录mysql实例,选择对应的表通过load data往指定表里导数.大概20分钟左右,报以下错误: ERROR 1197 (HY000) at line 2: Multi-statement transaction required more than 'max_binlog_cache_size' bytes of storage; increase this mysqld variable and

mysql数据库LOAD DATA INFILE Syntax

1.LOAD DATA INFILE用来把一个文本文件里的内容高速写入到MySQL表里,它和SELECT ... INTO FILE的操作是对应的,一个导入.一个导出.使用LOAD DATA INFILE需要MySQL对要导入的文件有读权限,其语法如下: LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name' [REPLACE | IGNORE] INTO TABLE tbl_name [PARTITION (partit

mysql文件导入到数据库load data infile into table 的使用例子

load data infile "C:/Users/Administrator/Desktop/1.txt"into table 要一个已经存的表名 字段默认用制表符隔开 文件 我爱你 20 相貌平常李奎 21 相貌1平常王二米 210 相貌3平常老三 24 很强老四 34 XXXXX 常用如下: Load Data InFile 'C:/Data.txt' Into Table `TableTest` Lines Terminated By '\r\n';这个语句,字段默认用制表符

Mysql load data 命令解析、处理 error 29 (ErrCode: 13) 错误(在ubuntu环境下)

在 mysql 服务器上,可以通过 load data infile 'file_name' into table table_name; 命令将一个文本文件中的所有数据存到指定表中.最粗略形式的例子: load data infile 'test.txt' into table test_table; 默认情况下,load data infile 对于文本中行为是: 一行对应数据库表中的一条记录 各个字段之间以tab键分开 每个字段的值没有被任何字符括起来 行没有前缀可以忽略 比如某一行文本:

mysql 的load data infile的用法

LOAD DATA INFILE语句从一个文本文件中以很高的速度读入一个表中. 1.基本语法 LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name.txt' [REPLACE | IGNORE] INTO TABLE tbl_name [FIELDS [TERMINATED BY 'string'] [[OPTIONALLY] ENCLOSED BY 'char'] [ESCAPED BY 'char' ] ] [LINE