DataX编译安装

1、  手动安装ant、

1. 到Apache官网下载最新版本的ant:http://ant.apache.org/bindownload.cgi

2. 解压下载下来的.tar.gz文件: tar -zxvfapache-ant-1.8.2-bin.tar.gz(可能会要求输入密码)

3.将解压出来的文件移动到/home/下:sudo mvapache-ant-1.8.2 /home/ (sudo不能省,否则没有权限)

4.配置环境变量:sudogedit /etc/profile,在最后添加以下内容:

exportANT_HOME=opt/apache-ant-1.8.4

exportJAVA_HOME=/usr/jdk           (这是你自己jdk所在的路径)

export PATH=$JAVA_HOME/bin:$PATH:$ANT_HOME/bin

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

5.然后执行命令:source /etc/profile

6.Ant就配置成功了,可以通过命令:ant -version  进行检测是否配置成功。

2、安装g++,rpm

Sudo apt-getinstall g++

Sudo apt-getinstall rpm

3、请确保安装DataX的机器已经安装上了Hdfs客户端,并能够正常访问Hdfs文件系统,例如使用命令行: hadoop fs -ls /

同时请确保在执行DataX的用户/home目录下,链接Hadoopconfig目录文件,例如在用户目录下执行

ln  -s  /home/$user/datax/ conf  /hadoop/conf

4、安装mysql

Sudo apt-get install mysql-server

登录mysql -uroot –p密码(p后面紧跟mysql密码)

grant all privileges on *.* to [email protected]‘localhost‘ identified by ‘woody‘with grant option;

create database xdata;

use xdata;

create table test_datax(user_id int,user_name varchar(30));

insert into test_datax values(111, ‘peterlee‘);

insert into test_datax values(111, ‘peterlee‘);

insert into test_datax values(111, ‘peterlee‘);

FLUSH PRIVILEGES;

执行\q保存并退出mysql

5、安装hadoop(本文为伪分布式安装)

1)安装

tar xf hadoop-1.0.3.tar.gz

mv hadoop-1.0.3 /home/sunlylorn/hadoop

2)修改环境变量

vim ~/.bashrc

添加:

export PATH=/home/sunlylorn/hadoop/bin:$PATH

保存退出,输入以下命令使之立即生效。

source ~/.bashrc

3)修改conf/hadoop-env.sh文件

export JAVA_HOME=/usr/lib/jvm/java-7-sun

4)编辑配置文件

a)修改conf/core-site.xml:

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000/</value>

</property>

</configuration>

b)修改conf/mapred-site.xml:

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

c)修改conf/hdfs-site.xml:

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

5)格式化HDFS系统

hadoop namenode -format

6)启动守护进程

/home/sunlylorn/hadoop/bin/start-all.sh --config /home/sunlylorn/hadoop/conf

7)测试

执行

hadoop version

如果输出以下信息则表明安装成功

Hadoop 1.0.3

Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1335192

Compiled by hortonfo on Tue May  8 20:19:10 UTC 2012

From source with checksum e6b0c1e23dcf76907c5fecb4b832f3be

6、安装编译datax

从淘宝的开源svn上checkout一份代码

svn co http://code.taobao.org/svn/datax/trunk datax

用当前系统hadoop中的hadoop-core-xxxx.jar 替换(或者直接复制到)datax/libs下面的jar包

在datax/rpm下面有spec文件,rpm打包的配置文件

rpmbuild --ba XXXXX.spec (例如,t_dp_datax_engine.spec,记得修改spec文件中的路径问题,路径问题还存在于下面的xml文件中以及后面编译过程中需要自己创建部分路径e.g xxxxxxxxxxxxi386之类)

要想完成一个读写至少需要打包编译3个文件:engine.spec+reader.spec+writer.spec

编译完成后会在datax/plugins中生成相应的文件(这里也可能涉及到自己创建路径的问题)

Rpm 制作完成后,即可分发、安装,例如使用

rpm -ivh  t_dp_datax_engine.rpm (这里可能需要添加一个参数-nodeps,即rpm –ivh –nodeps   xxxxx.rpm)

即可安装 DataXengine  包,需要注意的是 engine 的 rpm 地址源自于上图的截图

中信息(即生成的路径为RPMS中的xxx.rpm文件)。

在datax/bin目录下执行 pythondatax.py -e true 生成一个job配置文件 XXXXXXXXXXXXXX.xml   (这里的xml文件中的部分内容需要修改e.g数据库的的ip及数据库名字等信息,配置时需要注意hadoop.job.ugi=woody,supergroup及hdfs://localhost:9000/test_in及hadoop_conf=/home/woody/hadoop/conf/core-site.xml)

ptyhon datax.py  /home/$user/datax/jobs/XXXXXXXXXXX.xml

时间: 2024-11-05 12:20:37

DataX编译安装的相关文章

DataX的安装

DataX的安装 1. 可下载tar包 https://github.com/alibaba/DataX/blob/master/userGuid.md 2. 下载源码自己编译 git clone https://github.com/alibaba/DataX.git打包mvn -U clean package assembly:assembly -Dmaven.test.skip=true 遇到错误[ERROR] Failed to execute goal on project otsst

LNMP编译安装遇到问题归总

LNMP编译安装遇到问题归总 1.错误:configure: error: freetype-config not found. 解决:yum install freetype-devel 2.错误:configure: error: libevent >= 1.4.11 could not be found  解决:yum -y install libevent libevent-devel 3.错误:configure: error: Please reinstall the mysql d

dbrd 8.4.6 源代码编译安装

---------------------------- 0.系统环境 ---------------------------- db01 192.168.50.10 /dev/sdb1 主节点 db02 192.168.50.20 /dev/sdb1 备节点 # grep -v "#" /etc/hosts 192.168.50.10 db01 db01.mysql.com 192.168.50.20 db02 db02.mysql.com #一块新硬盘 ll /dev/sd* ll

编译安装php

在编译安装php时需要安装一下软件 yum install -y zlib libxml libjpeg freetype libpng gd curl libiconv zlib-devel libxml2-devel libjpeg-devel freetype-devel libpng-devel gd-devel curl-devel 安装好后需要编译安装libiconv-1.14.tar    这里版本以1.14为列       yum安装不上 ./configure --prefix

linux编译安装mssql客户端和配置php连接mssql

凡是连接数据库,必须安装客户端,我一般写博客都不写原理,但是后来发现回头看自己写的自己都看不懂,所以这章博客会多一点原理性的东西. 数据库的连接一般都是在客户端上完成的,MySQL也不例外,安装mysql时一般都会这么安装: #yum install mysql mysql-server 上面的mysql就是安装的客户端,mysql-server就是服务端,不安装客户端(mysql)就没办法执行mysql连接命令:mysql -u user -p pass -h -P port 而sqlserv

CentOS6.8下编译安装GCC

关于 GCC 在 CentOS 下通过 yum 安装默认版本号,CentOS 5 是 4.1.2:CentOS 6 是 4.4.7:CentOS 7 是 4.8.3.很多时候在编译安装软件都需要高版本的 GCC,否则就会报错.那么如何升级 GCC 的版本呢? 首先要确认升级到的 GCC 版本号.目前 GCC 的最新版已经到了 5.2,而 CentOS 7 则依然使用其 4.8,所以基于兼容性考虑,我选择升级到 4.8.5.GCC 官网:https://gcc.gnu.org 下面开始一步一步来编

MySQL5.5.52编译安装

一.MySQL介绍MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,目前属于 Oracle 旗下公司.MySQL 最流行的关系型数据库管理系统,在 WEB 应用方面MySQL是最好的 RDBMS (Relational Database Management System,关系数据库管理系统) 应用软件之一.MySQL是一种关联数据库管理系统,关联数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性.MySQL所使用的 SQL 语言

编译安装lamp

软件包链接: http://pan.baidu.com/s/1mijn44g     密码:abja 系统环境:centos 7 开发环境:Development tools.Server Platform Development http+php的方式:PHP模块化 个程序版本: mariadb mariadb-5.5.46-linux-x86_64.tar.gz http httpd-2.4.10.tar.bz2 PHP php-5.4.40.tar.bz2 一.编译安装mariadb ①创

keepalived编译安装

编译安装keepalived 使用源码先安装keepalived 1.2.6 cd/usr/local/src wget http://www.keepalived.org/software/keepalived-1.2.6.tar.gz tarzxf keepalived-1.2.6.tar.gz cdkeepalived-1.2.6 ./configure--prefix=/usr/local/keepalived make makeinstall 所设keepalived安装到/usr/l