Sqoop安装及基本使用

Sqoop:

1、sqoop从数据库中导入数据到HDFS

2、SQOOP从数据库导入数据到hive

3、sqoop从hive中将数据导出到数据库

sqoop底层还是执行的mapreduce程序,,但是特殊的地方只有map TASK

可以实现:企业级数据仓库、文档型系统、关系型数据库<-->

sqoop安装:

1、tar -zxvf sqoop-1.4.6-cdh5.5.2.tar.gz

2、将mysql的驱动包mysql-connector-java-5.1.43.jar拷贝到sqoop home/lib下面

cp mysql-connector-java-5.1.43.jar sqoop-1.4.6-cdh5.5.2/lib/

3、配置环境变量

export SQOOP_HOME=/yang/sqoop-1.4.6-cdh5.5.2

export PATH=$PATH:$SQOOP_HOME/bin

4、配置SQOOP ,cd sqoop-1.4.6-cdh5.5.2/conf/

mv sqoop-env-template.sh sqoop-env.sh

export HADOOP_COMMON_HOME=/yang/hadoop-2.6.5

export HADOOP_MAPRED_HOME=/yang/hadoop-2.6.5

export HBASE_HOME=/yang/hbase-1.2.5

export HIVE_HOME=/yang/apache-hive-2.1.1-bin

5、source /etc/profile

6、sqoop version

开始使用:

前提:mysql可以正常使用

hdfs服务开启start-dfs.sh start-yarn.sh

hive服务开启 nohup hive --service metastore &

查看数据库有哪些表

sqoop list-tables --connect jdbc:mysql://192.168.100.121:3306/big_data --username root -P

或者(上面大写P会让你在控制台输入密码)

sqoop list-tables --connect jdbc:mysql://192.168.100.121:3306/big_data --username root --password 1234

sqoop list-tables --connect jdbc:mysql://192.168.100.121:3306/big_data --username root -P

#使用 sqoop将数据库的数据导入到 Hdfs(地址使用默认地址/user/$user/tabname)

斜杠后面不能有空格 而且需要启动yarn,因为要sqoop底层要执行mapreduce

当执行报错;classwrite的时候加入:--driver com.mysql.jdbc.Driver \

sqoop import \

--connect jdbc:mysql://192.168.100.121:3306/big_data \

--driver com.mysql.jdbc.Driver \

--username root \

--password 1234 \

--table t_area 需要放入那张表

#使用指定的输出目录 --target-dir /tmp \

#使用指定的并发数量 -m 2

sqoop import \

--connect jdbc:mysql://192.168.100.121:3306/big_data \

--driver com.mysql.jdbc.Driver \

--username root \

--password 1234 \

--table t_area \

--target-dir /sqoop \

-m 2

#使用sqoop将HDFS文件导出到 MYSQL 表中,默认MAP为 4个 ,先将空表建好t_area_copy1

sqoop export \

--connect jdbc:mysql://192.168.100.121:3306/big_data \

--driver com.mysql.jdbc.Driver \

--table t_area_copy1 \

--username root \

--password 1234 \

--export-dir hdfs://192.168.200.200:9000/sqoop

mysql导入到hive:

注意需要启动服务:hive服务开启 nohup hive --service metastore &

再来启动hive

#使用自定义的条件,并且过滤字段,并发数为1

#切分的字段可以更改为另外一个字段

sqoop import \

--hive-import \

--hive-table t_area \

--connect jdbc:mysql://192.168.128.121:3306/big_data \

--username root \

--password 1234 \

--query "SELECT * from t_area where \$CONDITIONS"  \ //将mysql中的表导入到hive表t_area

--fields-terminated-by "," \ //按,分割,首先在hive中将表建好(z字段对应),并按,分割

--lines-terminated-by "\n" \

--target-dir /tmp/aa \ //临时存放的目录

-m 1

异常:org.apache.hadoop.hive.conf.HiveConf

Make sure HIVE_CONF_DIR is set correctly

解决:

在/etc/profile下面加上:

HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*

分布发送到其他主机上 source 一下

sqoop export \

--connect jdbc:mysql://192.168.100.121:3306/big_data \

将hive的数据导出到mysql:是通过hdfs中的路径导入到mysql中

如果需要通过导入指定行的话,需要建立中间表

--driver com.mysql.jdbc.Driver \

--table t_area1 \    //导入到mysql表t_area1

--username root \

--password 1234 \

--export-dir /user/hive/warehose/t_area \          这个文件路径从hdfs上知道

--input-fields-terminated-by ‘,‘ 是以,分割的

原文地址:https://www.cnblogs.com/yfb918/p/10411507.html

时间: 2024-10-09 00:18:07

Sqoop安装及基本使用的相关文章

如何将mysql数据导入Hadoop之Sqoop安装

Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql.postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中.Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目. 总之Sqo

Sqoop安装

Sqoop 配置文档 安装环境ubuntu14.04 64位 hadoop2.6 jdk 1.7.0_79  sqoop-1.99.6-bin-hadoop200 Sqopp介绍: Sqoop 学习笔记 1.sqoop 介绍 1)多数是用hadoop技术处理大数据业务的企业有大量的数据存储在rdbms中. 2)基于历史数据的数据分析,利用大数据的平台来进行处理. 3)因此需要将关系型数据库中的数据迁移到hadoop(hive和hbase)中,将hadoop分析出来的数据可能要在倒回到关系型数据库

sqoop安装部署(笔记)

sqoop是一个把关系型数据库数据抽向hadoop的工具.同时,也支持将hive.pig等查询的结果导入关系型数据库中存储.由于,笔者部署的hadoop版本是2.2.0,所以sqoop的版本是:sqoop-1.99.3-bin-hadoop2001.下载sqoop  wget  http://mirrors.cnnic.cn/apache/sqoop/1.99.3/sqoop-1.99.3-bin-hadoop200.tar.gz2.解压sqoop安装文件  tar -zxvf sqoop-1.

sqoop 安装

Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql.postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中.Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目. 总之Sqo

hadoop(八) - sqoop安装与使用

安装在一台节点上就可以了. 1. 使用winscp上传sqoop 2. 安装和配置 添加sqoop到环境变量 将数据库连接驱动mysql-connector-5.1.8.jar拷贝到$SQOOP_HOME/lib里 ### 第一类:数据库中的数据导入到HDFS上 sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123  --table trade_detail --co

SQOOP安装部署

1.环境准备 1.1软件版本 sqoop-1.4.5 下载地址 2.配置 sqoop的配置比较简单,下面给出需要配置的文件 2.1环境变量 sudo vi /etc/profile SQOOP_HOME=/home/hadoop/source/sqoop-1.4.5 PATH=$SQOOP_HOME/bin export SQOOP_HOME 2.2sqoop-env.sh #Set path to where bin/hadoop is available export HADOOP_COMM

Sqoop安装配置及数据导入导出

前置条件 已经成功安装配置Hadoop和Mysql数据库服务器,如果将数据导入或从Hbase导出,还应该已经成功安装配置Hbase. 下载sqoop和Mysql的JDBC驱动 sqoop-1.2.0-CDH3B4.tar.gz :http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz mysql-connector-java-5.1.28 安装sqoop [[email protected] ~]$ tar -zxvf sqoop-

SQOOP安装及使用-实验

SQOOP是用于对数据进行导入导出的. (1)把MySQL.Oracle等数据库中的数据导入到HDFS.Hive.HBase中 (2)把HDFS.Hive.HBase中的数据导出到MySQL.Oracle等数据库中  (3)导入导出的事务是以Mapper任务为单位. 1.sqoop的安装步骤 1.1.执行命令:tar -zxvf sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz解压 1.2.执行命令:mv sqoop-1.4.3.bin__hadoop-1.0.0 sqo

hadoop入门学习系列之六hadoop学习之sqoop安装

1.下载安装包及解压 tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 2.配置环境变量和配置文件 cd 到 sqoop解压目录 cp conf/sqoop-env-template.sh /conf/sqoop-env.sh 在sqoop-env.sh中添加如下代码: export HADOOP_COMMON_HOME=/home/hadoop/opt/hadoop-2.6.0 export HADOOP_MAPRED_HOME=/hom