DataX windows安装及基本使用

datax:

Data是阿里巴巴公司开发的,为解决异构数据源同步问题

它的设计理念:

安装:

datax下载地址:https://github.com/alibaba/DataX

由于datax需要python2.x版本,而本机装的是python3.x 所以要安装python2 并且两个版本互不影响

装两个python方法:https://blog.csdn.net/qq_27089287/article/details/79114441

使用方法:

  1.查询使用模板

  

  2.使用(以csv到mysql为例)

  源码如下:

{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
               "reader": {
                    "name": "txtfilereader",
                    "parameter": {
                        "path": ["E:/xinfang_data.csv"],
                        "encoding": "gbk",
                        "column": [
                            {
                                "index": 0,
                                "type": "string"
                            },
                            {
                                "index": 1,
                                "type": "string"
                            },
                            {
                                "index": 2,
                                "type": "string"
                            },
                            {
                                "index": 3,
                                "type": "string"
                            }
                        ],
                        "fieldDelimiter": ",",
                        "skipHeader": "true"
                    }
                },

               "writer": {

                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "kind",
                            "time",
                            "processingDepartment",
                            "content"
                        ],

                        "session": [],

                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/datax?useUnicode=true&characterEncoding=utf8&useSSL=false&serverTimezone=GMT%2B8",
                                "table": ["csv1"]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

csv_mysql.json

  执行方法

  

  至此,数据就已经从csv文件导入mysql数据库。

原文地址:https://www.cnblogs.com/jmdd/p/12389278.html

时间: 2024-08-02 09:26:08

DataX windows安装及基本使用的相关文章

windows安装python包管理工具pip

windows安装python包管理工具pip     pip 是一个Python包管理工具,主要是用于安装 PyPI 上的软件包,可以替代 easy_install 工具. 一.前期准备 首先确认windows机器上面是否已经安装好了python.在cmd中输入python --version和python看看是否有反应 如上面所示,表示已经在windows平台上面搭建好了python环境. 二.下载安装 1.到官网去https://pypi.python.org/pypi/pip#downl

Github for Windows安装

使用Git时,有GUI的版本可以实现各种操作,比命令行方便点,安装链接如下:http://git-scm.com/downloads/guis,里面有各种版本,我选择的是GitHub for Windows: 系统是windows7 旗舰版 32位,下面详细介绍安装过程,略麻烦: 1.安装前的各种操作: (1)打开控制面板→ Internet 选项→"安全"选项卡: (2)选择"可信的站点"→点击"站点"按钮: (3)弹出的窗口中的文本框中输入点

Dell 服务器 安装报错"无法继续进行windows安装,因为无法安装所需的驱动程序"

现象: Dell服务器 Windows2008R2安装到100%时报错"无法继续进行windows安装,因为无法安装所需的驱动程序" 原因: 1,安装镜像有问题. 2,BIOS设置问题. 本次我这里问题第二种情况 由于我服务器含有HBA光纤卡,BIOS默认设置针对这项有问题. 解决办法: 1,开机F2->system setup->system bios settings->Integrated Devices 2,slot2修改为disable 3,安装系统 4,s

binwalk windows安装和使用方法

binwalk是一个文件的分析工具,旨在协助研究人员对文件进行分析,提取及逆向工程.简单易用,完全自动化脚本,并通过自定义签名,提取规则和插件模块,还重要一点的是可以轻松地扩展. 以上是binwalk的介绍.binwalk在kali中默认就安装了,在其他版本的linux的安装方法也是十分简单的,而在windows里就犯困了,新手百度下“binwalk windows安装”等字样也不见得有解决法子. 而我也在网上搜了很久,基本没见到过windows常见的exe.msi形式,只有找到tar.gz形式

MySql5.7.11 for Windows 安装(二)

原文:MySql5.7.11 for Windows 安装(二) 安装之后,首先创建data文件夹(旧版本本来就有),管理员打开cmd,cd到bin文件夹,输入 mysqld –initialize-insecure –user=mysql,data文件夹就愉快的生成了. 安装后退出之后,再次登录时候,遇到密码处回车,就会出错 这就相当于忘记root密码 -关闭服务 net stop mysql 我们在my.ini中添加一行代码,在[mysqld]下面添加: skip-grant-tables

MySql5.7.11 for Windows 安装精简版(一)

原文:MySql5.7.11 for Windows 安装精简版(一) 从官网下载压缩包,我下载的是64位的.解压. 精简: -Bin下只保留 mysqladmin.exe mysqld.exe mysql.exe Share目录下 保留charsets english 没有data文件夹一会告诉怎么生成 添加环境变量,mysql bin文件夹的路径 (如:C:\Program Files\MySQL\MySQL Server 5.6\bin )添加到Path中,当然之前的不要删了,用:隔开就好

01 Windows安装Tensorflow

1.安装Python. 点击此处下载Python3.5.2.安装Python时一定要选择安装pip. 2.配置Python环境变量. 将%安装路径%\Scripts添加到Path下面. 3.修改Pip国内源. 在C:\Users\l{你的用户名}\AppData\Local下面创建pip文件夹,在pip文件夹中新建pip.conf文件,写入以下内容. [global] index-url = http://mirrors.aliyun.com/pypi/simple/ [install] tru

windows安装SNMP

OpenNMS监控windows系统时需要安装snmp客户端,而windows系统已经自带了snmp,下面我们就来安装snmp 1.开始→控制面板 点击程序 打开或关闭Windows功能 勾选SNMP复选框,等待一会就会安装完成. 计算机右击,选择管理→服务 找到SNMP Service 双击SNMP Service,找到安全栏,并设置团体字名称,权限为只读就够了,在下面添加允许接受的SNMP数据包的ip地址 设置SNMP trap为关闭,会影响OpenNMS数据采集 现在只要在OpenNMS中

Windows安装mapnik

windows安装mapnik,首先去官网下载windows压缩包:http://mapnik.org/,解压位置C:\mapnik-v2.2.0 然后下载安装python2.7,安装位置  C:\Python27 设置环境变量path: C:\Python27;  C:\mapnik-v2.2.0\lib;  C:\mapnik-v2.2.0\bin; 新建系统变量  PYTHONPATH  值为 : C:\mapnik-v2.2.0\python\2.7\site-packages 在命令提