Sqoop2安装记录

我是采用的源码编译的包安装的, 主要是考虑到会对部分功能做裁剪或增强, 具体源码编译方式可以参考另外一篇博文《编译Sqoop2错误解决》。然后从dist/target目录下拷贝sqoop-1.99.3.tar.gz压缩包的内容到/usr/lib/sqoop目录中。

接下来便是开始对相关配置文件进行配置,注意sqoop2是区分了server和client端的,我们首先安装服务端,记得服务端需要安装到可以执行hadoop命令行的机器上,最直接的方式就是安装到hadoop集群某个节点上,而客户端可以在任何机器上,只要能与sqoop server进行通信的机器就行。

1、服务端安装配置

进入/usr/lib/sqoop/server/conf目录,可以看到里面有几个配置文件, 有关于tomcat容器的还有sqoop本身的,首先我们配置catilina.properties,需要将hadoop的jar包依赖进来,当然,如果还需要导入hive或hbase,对应的jar包也需要照这样加入:

common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/home/cdh/hadoop-2.3.0-cdh5.1.2/share/hadoop/common/*.jar,/home/cdh/hadoop-2.3.0-cdh5.1.2/share/hadoop/common/lib/*.jar,/home/cdh/hadoop-2.3.0-cdh5.1.2/share/hadoop/hdfs/*.jar,/home/cdh/hadoop-2.3.0-cdh5.1.2/share/hadoop/hdfs/lib/*.jar,/home/cdh/hadoop-2.3.0-cdh5.1.2/share/hadoop/mapreduce/*.jar,/home/cdh/hadoop-2.3.0-cdh5.1.2/share/hadoop/mapreduce/lib/*.jar,/home/cdh/hadoop-2.3.0-cdh5.1.2/share/hadoop/tools/*.jar,/home/cdh/hadoop-2.3.0-cdh5.1.2/share/hadoop/tools/lib/*.jar,/home/cdh/hadoop-2.3.0-cdh5.1.2/share/hadoop/yarn/*.jar,/home/cdh/hadoop-2.3.0-cdh5.1.2/share/hadoop/yarn/lib/*.jar

然后修改sqoop.properties,里面可以配置日志输出路径, 元数据内嵌数据库deby的信息等,需要注意的是修改deby库名为SQOOP,默认不是这个,而代码中却写死的这个,囧, 我们最主要修改以下位置:

<pre name="code" class="html"># JDBC repository provider configuration
org.apache.sqoop.repository.jdbc.handler=org.apache.sqoop.repository.derby.DerbyRepositoryHandler
org.apache.sqoop.repository.jdbc.transaction.isolation=READ_COMMITTED
org.apache.sqoop.repository.jdbc.maximum.connections=10
org.apache.sqoop.repository.jdbc.url=jdbc:derby:@[email protected]/repository/SQOOP;create=true
org.apache.sqoop.repository.jdbc.driver=org.apache.derby.jdbc.EmbeddedDriver
org.apache.sqoop.repository.jdbc.user=sa
org.apache.sqoop.repository.jdbc.password=

#
# Configuration for Mapreduce submission engine (applicable if it's configured)
#

# Hadoop configuration directory
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/cdh/hadoop/etc/hadoop/

另外配置暂时不用怎么特殊配置,保持默认就行, 如果需要可以进一步特殊配置即可, 毕竟先玩起来是要事!

最后需要做的一件事情就是将mysql-connector-java-5.1.20.jar这个MySQL驱动放入/usr/lib/sqoop/server/lib目录下:

最后便是启动服务端(我是安装到192.168.69.16):

/usr/lib/sqoop/bin/sqoop.sh server start

而作为客户端不需要任何配置,直接将压缩分发包发送到相应机器上解压,执行 bin/sqoop.sh client即可进入shell命令行界面,具体使用可以参考官方文档:

Command Line Client

遗留问题, 启动老是报一个错误,应该是日志jar冲突导致的,一直没搞定,如果有知道如何处理的,可以一起交流哈:

log4j: Finished configuring.
log4j:ERROR A "org.apache.log4j.xml.DOMConfigurator" object is not assignable to a "org.apache.log4j.spi.Configurator" variable.
log4j:ERROR The class "org.apache.log4j.spi.Configurator" was loaded by
log4j:ERROR [[email protected]] whereas object of type
log4j:ERROR "org.apache.log4j.xml.DOMConfigurator" was loaded by [WebappClassLoader^M
  context: /sqoop^M
  delegate: false^M
  repositories:^M
    /WEB-INF/classes/^M
----------> Parent Classloader:^M
[email protected]^M
].
log4j:ERROR Could not instantiate configurator [org.apache.log4j.xml.DOMConfigurator].
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
时间: 2024-10-03 15:48:42

Sqoop2安装记录的相关文章

k2 4.6.9安装记录-够复杂了

首先需要准备一台Windows server 2008R2 系统.可以从微软官方下载. 下载地址: http://www.microsoft.com/zh-cn/download/confirmation.aspx?id=11093 然后使用VMware Workstation打开此镜像文件. 安装K2 server 需要.NET FRAMEWORK 4.0 以及域环境. .NetFrameWork4.0 安装就不要我说了,大家自己下载一个安装即可. 域环境安装: 运行CMD 输入 dcprom

Linux环境下Tivoli Directory Server v6.3安装记录_步骤2:安装TDS软件

IBM Tivoli Directoy Server是对轻量级目录访问协议(Lightweight Directory Access Protocol,LDAP)的一个完整实现,功能强大.稳定可靠,是构建企业门户的基础磐石: 本系列文章以图文方式讲解TDS安装的相关知识: 系列文章目录如下: 1.安装DB2数据库: 2.安装TDS软件: 3.创建TDS实例: 4.解决因GSKIT版本引起的TDS实例无法启动的故障: 本文为TDS安装记录系列文章的第二篇<安装TDS软件>: 环境说明: 硬件环境

开源备份软件bacula安装记录--含备份-恢复演练

公司原来的备份机器用的是oracle-linux 5.7 运行的不是很稳定,经常出现死机,新装了一个centos6.5, 准备使用bacula来对数据进行备份,在这里记录一下安装过错,备忘. 操作系统:centos6.5 1.安装mysql 用yum安装 yum install mysql mysql-server mysql-devel 这里要注意的是一定要安装mysql-devel,否则在等下configure bacula的时候会报找不到mysql.h文件--这里折腾了我好久,差点想去编译

对于最近测试LYNC2013的安装记录

最近上班,突然想测试下微软最新的lync2013系统,于是说做就做,在虚机下准备了下环境,此次测试是前后端的架构,暂时未测试Edge的架构,测试的架构如下图 本次测试环境 DC为windows server2012系统的域架构 后端数据库安装的SQL2008 R2,采用的是默认实例 Lync2013的前端是安装的Windows server2012系统 1:首先配置机器的网络及系统的权限,此次使用的是最高管理员权限登陆各系统. 2:由于我们安装的是前后端架构,我这边先准备了SQL后端数据库,先单

linux下MySQL5.6安装记录

MySQL下载地址: ftp://mirror.switch.ch/mirror/mysql/Downloads/MySQL-5.6/http://mirrors.sohu.com/mysql/ 1.查看服务器版本: [[email protected] ~]# cat /etc/redhat-releaseCentOS release 6.4 (Final) [[email protected] ~]# rpm -qa|grep mysql mysql-libs-5.1.66-2.el6_3.

惠普(HP) LaserJet Pro M1136 MFP 黑白多功能激光一体机 (打印 复印 扫描)驱动安装记录

惠普(HP) LaserJet Pro M1136 MFP 黑白多功能激光一体机 (打印 复印 扫描) 新入手的打印机,如果没有安装经验,不要急着开箱组装! 先打开电脑,放入驱动光盘,运行安装向导,会有动画安装指南,一步一步的教你如何操作. 考虑买这款打印机的可以去产品官方商品页面看看. 如果没有驱动光盘,可以去官方产品支持页面下载. 下面是我的安装过程: 从官网上下载的驱动程序,由于下图中没有完全对应打印机正面显示的LaserJet M1136 MFP型号的驱动,纠结了半天到底应该安装哪一个型

Ubuntu软件安装记录1

接着之前Ubuntu安装记录,下边是一些简单软件的安装过程记录. 1.gcc安装:gcc --version命令查看.使用apt-get install gcc命令安装即可. 2.rz/sz安装:rz/sz通过apt-get install lrzsz命令安装即可. 3.jdk/ant/maven安装:ant官方地址为:http://ant.apache.org下载tar.gz包到本地,然后上传到Ubuntu机器上.tar -xf *.tar.gz解压放到:/usr/local/apache-a

lnmp环境源码编译安装记录

系统:Cenos 6.5 X64 软件: tengine-2.0.3.tar.gz pcre-8.33.tar.bz2 mysql-5.6.12.tar.gz php-5.5.14.tar.bz2 一.安装nginx 1.1 安装nginx所需的pcre-devel库,使nginx支持HTTP Rewrite模块 [[email protected]]# ./configure --prefix=/home/webserver/pcre  && make && make i

W81安装记录

安装Windows 8.1之前先断网!!! 在x86的WinPE环境中安装Windows 8.1 x64的方法: 1.格式化硬盘的第一主分区C盘,将x64的ISO解压到其他分区里: 2.复制ISO解压出的boot/efi/bootmgr/bootmgr.efi到C盘根目录下: 在C盘根目录下创建sources文件夹,将ISO源里sources\boot.wim复制到里面. 3.使用x86的bootsect.exe运行以下命令:bootsect.exe /nt60 C: /mbr 4.重启后进入W