Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
1、下载sqoop2的某个版本sqoop-1.99.6-bin-hadoop200.tar
2、解压缩至/usr/local/sqoop
3、修改文件server/conf中的catalina.properties,修改其中的common.loader属性,
将hadoop安装文件夹下share文件夹中的所有jar包全部引入。
即
common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/usr/lib/hadoop/*.jar,/usr/lib/hadoop/lib/*.jar,/usr/lib/hadoop-hdfs/*.jar,/usr/lib/hadoop-hdfs/lib/*.jar,/usr/lib/hadoop-mapreduce/*.jar,/usr/lib/hadoop-mapreduce/lib/*.jar,/usr/lib/hadoop-yarn/*.jar,/usr/lib/hadoop-yarn/lib/*.jar,/usr/lib/hive/lib/*.jar,
/usr/local/hadoop/share/hadoop/common/*.jar,
/usr/local/hadoop/share/hadoop/hdfs/*.jar,
/usr/local/hadoop/share/hadoop/httpfs/*.jar,
/usr/local/hadoop/share/hadoop/kms/*.jar/,
/usr/local/hadoop/share/hadoop/mapreduce/*.jar,
/usr/local/hadoop/share/hadoop/tools/*.jar,
/usr/local/hadoop/share/hadoop/yarn/*.jar
4、修改环境变量,在~/.bashrc中增加
export SQOOP_HOME=/usr/local/sqoop
export PATH=$SQOOP_HOME/bin:$PATH
export CATALINA_HOME=$SQOOP_HOME/server
export LOGDIR=$SQOOP_HOME/logs
5、运行sqoop2-tool verify检查配置文件是否正确。(我运行的时候提示了一堆错误,没仔细看)
6、启动sqoop server:sqoop2-server start
7、启动sqoop client,进入shell环境:sqoop2-shell
Client连接到服务端:set server --host 127.0.0.1 --port 12000 --webapp sqoop
可用浏览器在12000端口查看。
server未能运行成功,12000端口无法查看。