解决datax处理csv文件时总是提示脏数据问题

此处为csv至mysql代码

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "txtfilereader",
                    "parameter": {
                    "path": ["D:/file/test.csv"],
                    "encoding":"gbk",
                        "column": [
                            {
                                "index": 0,
                                "type": "string"
                            },
                            {
                                "index": 1,
                                "type": "string"
                            },
                            {
                                "index": 2,
                                "type": "string"
                            },
                        ],
                    "fieldDelimiter":","
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "column": [
                        "id",
                        "name",
                        "age",
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://localhost:3306/data?useUnicode=true&characterEncoding=utf8",
                                "table": ["test2"]
                            }
                        ],
                        "password": "root",
                        "username": "root",
                        "writeMode":"insert"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

截图所示,若我在此处 将type改为int类型 与mysql数据库中的数据类型对应,则会出现脏数据的提示并且插入失败,原因未找到。

解决方法就是全部改成string

原文地址:https://www.cnblogs.com/1061321925wu/p/12385327.html

时间: 2024-07-31 12:01:52

解决datax处理csv文件时总是提示脏数据问题的相关文章

【 D3.js 进阶系列 — 1.2 】 读取 CSV 文件时乱码的解决方法

在 D3 中使用 d3.csv 读取 CSV 文件时,有时会出现乱码问题.怎么解决呢? 1. 乱码问题 使用 d3.csv 读取 xxx.csv 文件时,如果 xxx.csv 文件使用的是 UTF-8 编码,不会有什么问题.当然,个人认为尽量使用 UTF-8 编码,可以在同一编码内使用各国文字. 但是,如果 xxx.csv 文件使用的是 utf-8 编码,使用 Microsoft Excel 打开的时候,可能会出现乱码,因为国内的 Excel 默认使用 GB2312 打开,而且在打开的时候不能选

关于上传文件时,提示控制台信息存取失败的解决方法

 如下图所示,用户在上传文件时,提示控制台信息存储失败,无法继续操作. 1.原因分析: ①上传服务异常,可能是数据中心的传服务出现异常 ②查看相关日志,可能的原因,一般是读取加密狗失败,或者服务器IIS未允许ISAPI和CGI限制. 2.根据上述分析,解决方法如下: ①数据中心快速检测:浏览器输入http://IP/viewgood_dcs ②上传服务快速检测:浏览器输入http://IP/viewgood_cdn/1.cdn 总结,在产品正常的使用过程中,难免会遇到各种大大小小的问题,尤其

在生成.psm文件时,提示: CREATE SYMBOL BEGUN.

在生成.psm文件时,提示: CREATE SYMBOL BEGUN.  Symbol is missing a refdes.  Symbol is missing a refdes.  CREATE SYMBOL ABORTED.  Create Symbol Aborted, error = Symbol is missing a refdes. 的解决方法: 选择:LAYOUT-->Label-->RefDes 然后在右边Options的Active Class and Subclas

写csv文件时遇到的错误

1.错误 在许多文件中,写入csv文件时都加"wb",w指写入,b指二进制 如: csvwrite=csv.writer(open("output.csv","wb")) Temp=["row1","row2","row3",] csvwrite.writerow(Temp) 或者是 #!/usr/bin/env python #coding:utf-8 import csv #csv写

【转】Windows10删除文件时却提示文件不存在的解决方案

Windows10系统使用一段时间后用户都会定期进行删除清理系统垃圾,减少系统盘的容量占用,但在删除的过程中许多用户都有可能遇到无法删除的情况,如下为删除文件时却提示文件不存在的解决方案. 1.新建一个记事本文件,并输入以下内容: DEL /F /A /Q \\?\%1 RD /S /Q \\?\%1 2.保存文件,并修改扩展名为.bat,此处把文件命名为:"delete.bat",方便记住操作方法. 3.把要删除的文件(hap),拖动到上一步创建的文件(delete.bat)上即可删

Mysql中使用FIND_IN_SET解决IN条件为字符串时只有第一个数据可用的问题

今天在使用Mysql的存储过程处理数据的批量删除时,遇到了WHERE条件中使用IN(strlist)时(strlist为逗号分隔的字符串),只有strlist的第一个元素才有效的问题,现在将问题和解决方法做下记录. 我们首先创建两张表userinfo(用户信息表)和userextinfo(用户扩展信息表),其中userextinfo表的UserID字段为外键对应userinfo表中的UserID字段 用户信息表userinfo 初始数据 用户扩展信息表userextinfo 初始数据 现在表中有

关于MySQL中使用LOAD DATA INFILE导入csv文件时的日期格式问题

在使用MySQL时,常常会用到Load Data Infile来导入数据,在遇到Date类型的列时,有时会遇到格式转换的问题: 首先创建一张简单的people表,包含名字,生日,年龄三个字段: mysql> create table people( -> name varchar(10) NOT NULL, -> birthday date NOT NULL, -> age int NOT NULL); Query OK, 0 rows affected (0.18 sec) 构造

删除文件时,提示没权限删除文件怎么办

做了个东西老提示删除文件没权限,郁闷 if (File.Exists("D://phone//headImages//" + this.txtNumber.Text.Trim() + ".jpg")) { File.Delete("D://phone//headImages//" + this.txtNumber.Text.Trim() + ".jpg"); } 当文件存在之后,无法删除,而是告诉我 另一个进程正在使用该文件什

解决pyinstaller在单一文件时无法正确添加权限清单问题,(UAC,uac_admin,manifest,asInvoker,python,requireAdministrator)

做了3天的win10的兼容性测试,大部分时间都卡权限获取这了. 以下废话很多,想直接找解决方法,请跳至红字 首先,简单说下uac,自vista后windows再次加严了权限管理,uac (账户控制) ,就是程序对访问一些敏感资源时的限制,当程序需要访问限制资源时会弹窗让用户选择.现在系统主要分两种权限管理员权限和标准权限,当你点击一个程序时只会调用标准权限,这时对windows文件夹,Program文件夹和部分关键的注册表的修改都会报错,访问应该还可以.当你需要安装驱动或者程序时可以使用右键后点