sqoop-1.99.3-bin-hadoop200

因为用的hadoop2.20所以下载sqoop-1.99.3-bin-hadoop200使用

随便找一个hadoop node节点做sqoop server:

1.下载安装

[[email protected] ~]$ wget  http://mirror.bit.edu.cn/apache/sqoop/1.99.3/sqoop-1.99.3-bin-hadoop200.tar.gz

[[email protected] ~]$ tar xvf  sqoop-1.99.3-bin-hadoop200.tar.gz

2.配置环境变量

[[email protected] ~]$ vi ~/.bash_profile

添加:

export SQOOP_HOME=/home/sqoop-1.99.3-bin-hadoop200

export PATH=${SQOOP_HOME}/bin:$PATH

[[email protected] ~]$ .  ~/.bash_profile

3.配置包的依赖

[[email protected] ~]$ cd  sqoop-1.99.3-bin-hadoop200/server/conf

[[email protected] conf]$ vi catalina.properties

修改common.loader

common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/home/hadoop/hadoop-2.2.0/share/hadoop/mapreduce/*.jar

4.修改hadoop配置文件路径

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/hadoop/hadoop-2.2.0/etc/hadoop

5.添加驱动jar包到SQOOP_HOME/lib/下面

我现在用的是mysql-server-5.1.73

http://dev.mysql.com/downloads/connector/j/下载mysql-connector-java-5.1.30.tar.gz

[[email protected] ~]$ tar xvf  mysql-connector-java-5.1.30.tar.gz

[[email protected]1 ~]$ mkdir  sqoop-1.99.3-bin-hadoop200/lib

[[email protected] ~]$ cp mysql-connector-java-5.1.30/mysql-connector-java-5.1.30-bin.jar   sqoop-1.99.3-bin-hadoop200/lib/

[[email protected] ~]$ sqoop.sh server start

[[email protected] ~]$ sudo netstat -tnlp | grep java

tcp        0      0 :::12000                    :::*                        LISTEN      2922/java

tcp        0      0 ::ffff:127.0.0.1:12001      :::*                        LISTEN      2922/java

sqoop-1.99.3-bin-hadoop200,布布扣,bubuko.com

时间: 2024-08-24 19:13:50

sqoop-1.99.3-bin-hadoop200的相关文章

sqoop 1.99.7 安装及配置

一  下载sqoop 1.99.7 http://mirror.bit.edu.cn/apache/sqoop/1.99.7/ 二 解压安装文件 三 配置Sqoop 环境变量 最后把mysql的驱动jar文件复制到extera这个目录下. 四 配置Hadoop代理访问 因为sqoop访问Hadoop的MapReduce使用的是代理的方式,必须在Hadoop中配置所接受的proxy用户和组.找到Hadoop的core-site.xml配置文件(本例是$HADOOP_HOME/etc/hadoop/

Sqoop2从Mysql导入Hdfs (hadoop-2.7.1,Sqoop 1.99.6)

一.环境搭建 1.Hadoop http://my.oschina.net/u/204498/blog/519789 2.Sqoop2.x http://my.oschina.net/u/204498/blog/518941 3. mysql 二.从mysql导入hdfs 1.创建mysql数据库.表.以及测试数据 xxxxxxxx$  mysql -uroot -p Enter password:  mysql> show databases; +--------------------+ |

Hadoop2.2.0环境下Sqoop1.99.3安装

本文转载自http://blog.csdn.net/liuwenbo0920/article/details/40504045 1.安装准备工作: 已经装好的hadoop环境是hadoop 2.2.0下载的sqoop安装包(注意是hadoop200) 下载sqoop  wget  http://mirrors.cnnic.cn/apache/sqoop/1.99.6/sqoop-1.99.3-bin-hadoop200.tar.gz 2.解压文件到工作目录: 将sqoop解压到目标目录,我的是 

【甘道夫】Ubuntu14 server + Hadoop2.2.0环境下Sqoop1.99.3部署记录

第一步.下载.解压.配置环境变量: 官网下载sqoop1.99.3 http://mirrors.cnnic.cn/apache/sqoop/1.99.3/ 将sqoop解压到目标文件夹,我的是 /home/fulong/Sqoop/sqoop-1.99.3-bin-hadoop200 配置环境变量: export SQOOP_HOME=/home/fulong/Sqoop/sqoop-1.99.3-bin-hadoop200 export PATH=$PATH:$SQOOP_HOME/bin

安装hadoop下的sqoop1.99.3及配置问题全解决

2016年8月27日,解决sqoop 先下载的是sqoop1.99.7,结果配置的时候,出现了没有server/conf目录,以及启动时出现无法配置错误 ./bin/sqoop.sh server start [email protected]:/opt/sqoop-1.99.7$ ./bin/sqoop.sh server start Setting conf dir: ./bin/../conf Sqoop home directory: /opt/sqoop-1.99.7 Starting

hadoop(2): 安装&使用 sqoop

本文的原文连接是: http://blog.csdn.net/freewebsys/article/details/47722393 未经博主允许不得转载. 1,关于sqoop Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中. 官网:http://sqoop.apache.org/ 一个1.4.6 版本,一

apache sqoop1.99.3+hadoop2.5.2+mysql5.0.7环境构筑以及数据导入导出

概要 为了调查hadoop生态圈里的制品,特地的了解了一下RDBMS和hdfs之间数据的导入和导出工具,并且调查了一些其他同类的产品,得出来的结论是:都是基于sqoop做的二次开发或者说是webUI包装,实质还是用的sqoop.比如pentaho的PDI,Oracle的ODI,都是基于此,另外,Hortnetwork公司的sandbox,Hue公司的Hue webUI,coulder的coulder manger,做个就更不错了,差不多hadoop下的制品都集成了,部署也不是很复杂,还是很强大的

sqoop安装部署(笔记)

sqoop是一个把关系型数据库数据抽向hadoop的工具.同时,也支持将hive.pig等查询的结果导入关系型数据库中存储.由于,笔者部署的hadoop版本是2.2.0,所以sqoop的版本是:sqoop-1.99.3-bin-hadoop2001.下载sqoop  wget  http://mirrors.cnnic.cn/apache/sqoop/1.99.3/sqoop-1.99.3-bin-hadoop200.tar.gz2.解压sqoop安装文件  tar -zxvf sqoop-1.

sqoop数据迁移(基于Hadoop和关系数据库服务器之间传送数据)

1:sqoop的概述: (1):sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具.(2):导入数据:MySQL,Oracle导入数据到Hadoop的HDFS.HIVE.HBASE等数据存储系统:(3):导出数据:从Hadoop的文件系统中导出数据到关系数据库 (4):工作机制: 将导入或导出命令翻译成mapreduce程序来实现: 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制: (5):Sqoop的原理: Sq