sqoop 安装

Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目。
总之Sqoop是一个转换工具,用于在关系型数据库与HDFS之间进行数据转换。

sqoop 安装步骤如下:

1.下载,指定到目录下

下载路径:https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/

选择版本:sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

安装在master主节点上。

解压:gunzip -d sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar

mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7

cd sqoop-1.4.7/

cp sqoop-env-template.sh  sqoop-env.sh

vi sqoop-env.sh     --根据具体内容填写

# Set Hadoop-specific environment variables here.

#Set path to where bin/hadoop is available
#export HADOOP_COMMON_HOME=/home/hadoop/hadoop-2.7.3

#Set path to where hadoop-*-core.jar is available
#export HADOOP_MAPRED_HOME=/home/hadoop/hadoop-2.7.3

#set the path to where bin/hbase is available
#export HBASE_HOME=/home/hadoop/hbase

#Set the path to where bin/hive is available
#export HIVE_HOME=/home/hadoop/hive

#Set the path for where zookeper config dir is
#export ZOOCFGDIR=/home/hadoop/zookeeper

2.添加环境变量:

vi .bash_profile

export SQOOP_HOME=/home/hadoop/sqoop-1.4.7
export PATH=$PATH:${SQOOP_HOME}/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export CLASSPATH=$CLASSPATH:${SQOOP_HOME}/lib

使文件生效:

source .bash_profile

3.复制相关依赖包$SQOOP_HOME/lib

下载MySQL的依赖包

mysql-connector-java-5.1.46-bin.jar 点击打开链接

上传解压后,把mysql-connector-java-5.1.46-bin.jar 移动到/home/hadoop/sqoop-1.4.7/lib 下

cd /home/hadoop/hadoop-2.7.3/share/hadoop/common

cp hadoop-common-2.7.3.jar /home/hadoop/sqoop-1.4.7/lib/

4.修改$SQOOP_HOME/bin/configure-sqoop

注释掉HCatalog,Accumulo检查(除非你准备使用HCatalog,Accumulo等HADOOP上的组件)

## Moved to be a runtime check in sqoop.
#if [ ! -d "${HCAT_HOME}" ]; then
#  echo "Warning: $HCAT_HOME does not exist! HCatalog jobs will fail."
#  echo ‘Please set $HCAT_HOME to the root of your HCatalog installation.‘
#fi

#if[ ! -d "${ACCUMULO_HOME}" ]; then
#  echo "Warning: $ACCUMULO_HOME does notexist! Accumulo imports will fail."
#  echo ‘Please set $ACCUMULO_HOME to the rootof your Accumulo installation.‘
#fi

#Add HCatalog to dependency list
#if[ -e "${HCAT_HOME}/bin/hcat" ]; then
# TMP_SQOOP_CLASSPATH=${SQOOP_CLASSPATH}:`${HCAT_HOME}/bin/hcat-classpath`
#  if [ -z "${HIVE_CONF_DIR}" ]; then
#   TMP_SQOOP_CLASSPATH=${TMP_SQOOP_CLASSPATH}:${HIVE_CONF_DIR}
#  fi
#  SQOOP_CLASSPATH=${TMP_SQOOP_CLASSPATH}
#fi

#Add Accumulo to dependency list
#if[ -e "$ACCUMULO_HOME/bin/accumulo" ]; then
#  for jn in `$ACCUMULO_HOME/bin/accumuloclasspath | grep file:.*accumulo.*jar |cut -d‘:‘ -f2`; do
#    SQOOP_CLASSPATH=$SQOOP_CLASSPATH:$jn
#  done
#  for jn in `$ACCUMULO_HOME/bin/accumuloclasspath | grep file:.*zookeeper.*jar |cut -d‘:‘ -f2`; do
#    SQOOP_CLASSPATH=$SQOOP_CLASSPATH:$jn
#  done
#fi

测试与mysql的连接

首先确保mysqld在运行:

[root@master ~]# service mysqld status
mysqld (pid  3052) is running...

然后测试是否连通:

[hadoop@master ~]$ sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/?useSSL=false --username root -P19/02/18 17:38:32 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7Enter password: 19/02/18 17:38:45 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.information_schemahivemysqlperformance_schemasys

输入密码后如果能显示你mysql上的数据库则表示已经连通。

<完>

原文地址:https://www.cnblogs.com/hello-wei/p/10397149.html

时间: 2024-10-08 21:17:27

sqoop 安装的相关文章

如何将mysql数据导入Hadoop之Sqoop安装

Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql.postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中.Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目. 总之Sqo

Sqoop安装

Sqoop 配置文档 安装环境ubuntu14.04 64位 hadoop2.6 jdk 1.7.0_79  sqoop-1.99.6-bin-hadoop200 Sqopp介绍: Sqoop 学习笔记 1.sqoop 介绍 1)多数是用hadoop技术处理大数据业务的企业有大量的数据存储在rdbms中. 2)基于历史数据的数据分析,利用大数据的平台来进行处理. 3)因此需要将关系型数据库中的数据迁移到hadoop(hive和hbase)中,将hadoop分析出来的数据可能要在倒回到关系型数据库

sqoop安装部署(笔记)

sqoop是一个把关系型数据库数据抽向hadoop的工具.同时,也支持将hive.pig等查询的结果导入关系型数据库中存储.由于,笔者部署的hadoop版本是2.2.0,所以sqoop的版本是:sqoop-1.99.3-bin-hadoop2001.下载sqoop  wget  http://mirrors.cnnic.cn/apache/sqoop/1.99.3/sqoop-1.99.3-bin-hadoop200.tar.gz2.解压sqoop安装文件  tar -zxvf sqoop-1.

Sqoop安装及基本使用

Sqoop: 1.sqoop从数据库中导入数据到HDFS 2.SQOOP从数据库导入数据到hive 3.sqoop从hive中将数据导出到数据库 sqoop底层还是执行的mapreduce程序,,但是特殊的地方只有map TASK 可以实现:企业级数据仓库.文档型系统.关系型数据库<--> sqoop安装: 1.tar -zxvf sqoop-1.4.6-cdh5.5.2.tar.gz 2.将mysql的驱动包mysql-connector-java-5.1.43.jar拷贝到sqoop ho

hadoop(八) - sqoop安装与使用

安装在一台节点上就可以了. 1. 使用winscp上传sqoop 2. 安装和配置 添加sqoop到环境变量 将数据库连接驱动mysql-connector-5.1.8.jar拷贝到$SQOOP_HOME/lib里 ### 第一类:数据库中的数据导入到HDFS上 sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123  --table trade_detail --co

SQOOP安装部署

1.环境准备 1.1软件版本 sqoop-1.4.5 下载地址 2.配置 sqoop的配置比较简单,下面给出需要配置的文件 2.1环境变量 sudo vi /etc/profile SQOOP_HOME=/home/hadoop/source/sqoop-1.4.5 PATH=$SQOOP_HOME/bin export SQOOP_HOME 2.2sqoop-env.sh #Set path to where bin/hadoop is available export HADOOP_COMM

Sqoop安装配置及数据导入导出

前置条件 已经成功安装配置Hadoop和Mysql数据库服务器,如果将数据导入或从Hbase导出,还应该已经成功安装配置Hbase. 下载sqoop和Mysql的JDBC驱动 sqoop-1.2.0-CDH3B4.tar.gz :http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz mysql-connector-java-5.1.28 安装sqoop [[email protected] ~]$ tar -zxvf sqoop-

SQOOP安装及使用-实验

SQOOP是用于对数据进行导入导出的. (1)把MySQL.Oracle等数据库中的数据导入到HDFS.Hive.HBase中 (2)把HDFS.Hive.HBase中的数据导出到MySQL.Oracle等数据库中  (3)导入导出的事务是以Mapper任务为单位. 1.sqoop的安装步骤 1.1.执行命令:tar -zxvf sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz解压 1.2.执行命令:mv sqoop-1.4.3.bin__hadoop-1.0.0 sqo

hadoop入门学习系列之六hadoop学习之sqoop安装

1.下载安装包及解压 tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 2.配置环境变量和配置文件 cd 到 sqoop解压目录 cp conf/sqoop-env-template.sh /conf/sqoop-env.sh 在sqoop-env.sh中添加如下代码: export HADOOP_COMMON_HOME=/home/hadoop/opt/hadoop-2.6.0 export HADOOP_MAPRED_HOME=/hom