DataX的安装

DataX的安装

1. 可下载tar包

https://github.com/alibaba/DataX/blob/master/userGuid.md

2. 下载源码自己编译

git clone https://github.com/alibaba/DataX.git
打包
mvn -U clean package assembly:assembly -Dmaven.test.skip=true

遇到错误
[ERROR] Failed to execute goal on project otsstreamreader: Could not resolve dependencies for project com.alibaba.datax:otsstreamreader:jar:1.0.0-SNAPSHOT: Could not find artifact com.aliyun.openservices:tablestore-streamclient:jar:1.0.0-SNAPSHOT -> [Help 1]
快照版本不一致，由于ots基本不会被用到，直接把pom.xml中的<module>ots</module>去掉
也可以更改版本otsstreamreader中的默认版本为0.0.1，改为1.0.0

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-jar-plugin:2.4:jar (default-jar) on project ocswriter: Error assembling JAR: /Users/FengZhen/Desktop/Hadoop/DataX/源码/DataX/ocswriter/pom.xml isn‘t a file. -> [Help 1]
ocs注释掉

继续打包即可。

原文地址：https://www.cnblogs.com/EnzoDin/p/9979583.html

时间： 2024-08-02 09:25:59

DataX的安装的相关文章

DataX编译安装

1.  手动安装ant. 1. 到Apache官网下载最新版本的ant:http://ant.apache.org/bindownload.cgi 2. 解压下载下来的.tar.gz文件: tar -zxvfapache-ant-1.8.2-bin.tar.gz(可能会要求输入密码) 3.将解压出来的文件移动到/home/下:sudo mvapache-ant-1.8.2 /home/ (sudo不能省,否则没有权限) 4.配置环境变量:sudogedit /etc/profile,在最后添加以

DataX部署安装

一.准备系统环境:Windows Server 2008Python2.7.14.msidatax.tar.gz二.安装Python 打开cmd,输入python回车进行测试DataX解压datax.tar.gz到指定文件夹.三.配置JOB到D:\datax\job创建*.json文件,配置需要进行数据抽取的表{    "job":{        "content":[            {                "reader":

DataX windows安装及基本使用

datax: Data是阿里巴巴公司开发的,为解决异构数据源同步问题 它的设计理念: 安装: datax下载地址:https://github.com/alibaba/DataX 由于datax需要python2.x版本,而本机装的是python3.x 所以要安装python2 并且两个版本互不影响 装两个python方法:https://blog.csdn.net/qq_27089287/article/details/79114441 使用方法: 1.查询使用模板 2.使用(以csv到mys

datax的安装使用

大数据同步技术datax安装链接https://github.com/alibaba/DataX 配置 python2,jdk1.8 第一步命令查看配置模板: cd D:\DataX\datax\bin    d:      python2 datax.py -r mysqlreader -w mysqlwriter json模板 { "job": { "setting": { "speed": { "channel": 1

datax的安装和使用（windows）

github官方文档和项目:https://github.com/alibaba/DataX 下载后在windows环境下是可以直接用python编译执行的,但从github上下载的版本只支持python2.x版本,而现在python3.x正流行,这给我们带来不少麻烦. 在查找资料后我找到了解决办法: datax 支持Python3需要修改替换datax/bin下面的三个python文件,替换文件地址:https://github.com/WeiYe-Jing/datax-web/tree/ma

阿里巴巴的哪些年开源的代码

服务框架 Dubbo Dubbo 是阿里巴巴公司开源的一个高性能优秀的服务框架,使得应用可通过高性能的 RPC 实现服务的输出和输入功能,可以和 Spring框架无缝集成. 主要核心部件:   Remoting: 网络通信框架,实现了 sync-over-async 和 request-response 消息机制. RPC: 一...更多Dubbo信息 最近更新: [每日一博]JFinal 中使用 Dubbo -- 3 集群 发布于 1年前 JDBC连接池.监控组件 Druid Druid是一个

datax安装（Windows版）

一.安装datax 下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 将其解压即可. 二.测试安装是否成功   1,打开cmd界面(同时按下Windows键+R键) 2,输入CHCP 65001 防止中文乱码 3,跳转到datax的bin目录下 命令行:d: cd D:\BigDataTools\datax\datax\bin 4,查看模板 命令行: python datax.py -r streamre

异构数据源海量数据交换工具-Taobao DataX 下载和使用

DataX介绍 DataX是一个在异构的数据库/文件系统之间高速交换数据的工具,实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem)之间的数据交换. 目前成熟的数据导入导出工具比较多,但是一般都只能用于数据导入或者导出,并且只能支持一个或者几个特定类型的数据库. 这样带来的一个问题是,如果我们拥有很多不同类型的数据库/文件系统(Mysql/Oracle/Rac/Hive/Other…), 并且经常需要在它们之间导入导出数据,那么我们可能需要开发/维护/学习使用一批

datax中oracleWriter

在使用datax的oraclewriter时,由于对oracle的不熟悉,以及c++编译的不熟悉,颇费了一些周折.在此,记录一下,供再次使用的人参考. 1.oracleWriter :oracle提供了OCCI接口,便于直接往oracle里load数据,但是是c++的接口,所以,datax的oracleWriter通过对cpp代码的包装,使用JNI的方式去调用. 2.oracleJdbcWriter使用起来就简单多了,后面附上代码,不再赘述. 准备工作为:oracle客户端的安装和liborac