sqoop的安装使用

#解压包  从http://sqoop.apache.org/ 下载。

tar -xvf sqoop-1.4.5.tar.gz

ln -s sqoop-1.4.5.bin__hadoop-2.5.0 sqoop

#设置环境变量  加到~/.bashrc中

export SQOOP_HOME=/opt/huawei/hbase/sqoop

export PATH=$SQOOP_HOME/bin:$PATH

# 将oracle的 jdbc jar导入进来即可。

cp /opt/oracle/product/11g/db/sqldeveloper/jdbc/lib/ojdbc14.jar /opt/huawei/hbase/sqoop/lib/

#修改配置文件


cd /home/mycluster/sqoop/conf

cp sqoop-env-template.sh sqoop-env.sh

vi sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/huawei/hbase/hadoop-2.5.0

export HADOOP_MAPRED_HOME=/opt/huawei/hbase/hadoop-2.5.0/share/hadoop/mapreduce

#测试链接oracle是否正常，如果返回数据库列表即可

sqoop list-databases --connect jdbc:oracle:thin:@192.168.193.37:1521:hispacedb --username hwmarket --password hwmarket37

====  常见错误 =======

# 当报错找不到NoSuchMethod 等错误时 表示找不到mapreduce的jar包 是环境变量导致的。 就直接把mapreduce的jar copy过去。

copy ~/hadoop-2.5.0/share/hadoop/mapreduce/*.jar ~/sqoop/lib/

参考： http://blog.csdn.net/zhangzhaokun/article/details/44313531

#出现下面错误：

Error: Could not find or load main class org.apache.sqoop.Sqoop

解决办法： http://blog.chinaunix.net/uid-22948773-id-3563685.html

缺少JAR 包， 将sqoop-1.4.5.jar 包放入到 sqoop/lib/ 目录下。

jar 可以从

http://mirror.bit.edu.cn/apache/sqoop/1.4.5/sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz 里面找。

时间： 2024-11-12 22:57:19

sqoop的安装使用的相关文章

hadoop伪分布下的sqoop基本安装配置

1.环境工具版本介绍 centos6.4(Final) jdk-7u60-linux-i586.gz hadoop-1.1.2.tar.gz sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz mysql-5.6.11.tar.gz 2.安装centos 参照网上Ultra的使用制作了U盘启动,直接格式化安装系统,具体做法网上资料很多,但注意最好不要在安装时改主机名称,也最好不要利用图形化界面添加用户,因为我出过问题重做了系统,这些terminal中都能完成的 3.安装jd

大数据学习之十五——sqoop的安装和使用

1.概念了解 sqoop主要用于hadoop与传统的数据库(mysql.postgresql...)间进行数据的传递,可以将一个关系型数据库(例如:MYSQL,Oracle,Postgrep等)中的数据导到hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中. 2.sqoop的安装 (1)将压缩包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.jar放在Linux的路径下,并修改配置文件/etc/profile export SQOOP_HOME=该压缩包

Sqoop环境安装

环境下载 首先将下载的 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz放到 /usr/hadoop/目录下(该目录可以自定义,一般为Hadoop集群安装目录),然后对安装包解压.修改文件名和修改用户权限. [[email protected] /]$ cd /usr/hadoop/ [[email protected] hadoop]$ ls flume hadoop-2.6.0 [[email protected] hadoop]$ rz //上传安装包

Sqoop的安装和验证

Sqoop是一个用来完成Hadoop和关系型数据库中的数据相互转移的工具,它可以将关系型数据库中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中. Kafka是一个开源的分布式消息订阅系统 一.Sqoop的安装 1.http://www-eu.apache.org/dist/sqoop/1.4.7/下载sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz并解压到/home/jun下 [[email protected] sqoop-1.4.7.

Hive/Hbase/Sqoop的安装教程

Hive/Hbase/Sqoop的安装教程 HIVE INSTALL 1.下载安装包:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.3/2.上传到Linux指定目录,解压: mkdir hive mv apache-hive-2.3.3-bin.tar.gz hive tar -zxvf apache-hive-2.3.3-bin.tar.gz mv apache-hive-2.3.3-bin apache-hive-2.3.

【sqoop】安装配置测试sqoop1

1.1.1 下载sqoop1:sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 1.1.2 解压并查看目录: [[email protected] ~]$ tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz --解压 [[email protected] ~]$ cd sqoop-1.4.7.bin__hadoop-2.6.0 [[email protected] sqoop-1.4.7.bin__hadoop-2.6.0]$ l

sqoop的安装和使用

在sqoop使用前,应先安装好hive和zookeeper,还要在一台虚拟机里安装好mysql 1.先将zookeeper启动:zkServer.sh start,集群启动起来:start-all.sh 2.启动mysql:service mysql  start 然后进入mysql的客户端: 3.在windows下安装mysql的客户端(可在西西软件园下载) 下载完成后,进入客户端 4.接下来安装sqoop-1.4.6 具体代码可参考: tar -zxvf sqoop-1.4.6.bin__h

Sqoop的安装部署

1.下载  sqoop-1.4.6-cdh5.7.6.tar.gz 2.在linux中进行安装, tar -zxvf /opt/tools/spark-1.6.1-bin-2.6.0-cdh5.7.6.tgz  -C /opt/cdh-5.7.6/ 3.进入sqoop安装目录,我装在/opt/cdh-5.7.6/sqoop-1.4.6-cdh5.7.6目录中 4.进入conf目录,为确保数据源,复制sqoop-env.template.cmd 同时重命名为sqoop-env.sh启用配置,cp 

sqoop的安装与使用

1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传输,发展至今主要演化了二大版本,Sqoop1和Sqoop2. Sqoop工具是hadoop下连接关系型数据库和Hadoop的桥梁,支持关系型数据库和hive.hdfs,hbase之间数据的相互导入,可以使用全表导入和增量导入. 那么为什么选择Sqoop呢? 高效可控的利用资源,任务并行度,超时时间. 数据类型映

Sqoop的安装与测试

[部署安装] # Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中. # 部署Sqoop到13.33,参考文档: Sqoop安装配置及演示 http://www.micmiu.com/bigdata/sqoop/sqoop-setup-and-demo/ # Sqoop只需要部署一份,目前部署在13.33,和