Hadoop学习之第八章节:Sqoop安装配置

一、Sqoop介绍

Sqoop是一个用来将Hadoop(Hive、HBase)和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。

Sqoop目前已经是Apache的顶级项目了,目前版本是1.4.4 和 Sqoop2 1.99.3,本文以1.4.4的版本为例讲解基本的安装配置和简单应用的演示。

版本为:

sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

  1. 环境变量配置



2.Sqoop参数配置


# Set Hadoop-specific environment variables here.
#Set path to where bin/hadoop is available
#export HADOOP_COMMON_HOME=
#Set path to where hadoop-*-core.jar is available
#export HADOOP_MAPRED_HOME=
#set the path to where bin/hbase is available
#export HBASE_HOME=
#Set the path to where bin/hive is available
#export HIVE_HOME=

3.驱动jar包

下面测试演示以MySQL为例,则需要把mysql对应的驱动lib文件copy到<SQOOP_HOME>/lib 目录下。

4.Mysql中测试数据


CREATE TABLE `demo_blog` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `blog` varchar(100) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=MyISAM  DEFAULT CHARSET=utf8;

CREATE TABLE `demo_log` (
  `operator` varchar(16) NOT NULL,
  `log` varchar(100) NOT NULL
) ENGINE=MyISAM  DEFAULT CHARSET=utf8;

插入测试数据:

insert into demo_blog (id, blog) values (1, "micmiu.com");
insert into demo_blog (id, blog) values (2, "ctosun.com");
insert into demo_blog (id, blog) values (3, "baby.micmiu.com");
insert into demo_log (operator, log) values ("micmiu", "create");
insert into demo_log (operator, log) values ("micmiu", "update");
insert into demo_log (operator, log) values ("michael", "edit");
insert into demo_log (operator, log) values ("michael", "delete");



二 .Sqoop命令操作


1.Sqoop基本命令


(1)列出Mysql中的数据库


sqoop list-databases   --connect  jdbc:mysql://Master-Hadoop:3306  --username  root   --password rootroot


(2)列出test数据库中所有的表


sqoop list-databases   --connect  jdbc:mysql://Master-Hadoop:3306  --username  root   --password rootroot




(3)从Mysql导入HDFS文件中


sqoop import --connect  jdbc:mysql://Master-Hadoop:3306/test --username root --password rootroot --table demo_log  --split-by operator  --target-dir /usr/sqoop/other





















时间: 2024-12-10 14:10:27

Hadoop学习之第八章节:Sqoop安装配置的相关文章

Hadoop学习之第六章节:Hbase配置安装

1.安装Hbase 1)下载,注意要与hadoop版本兼容,且选择稳定版较好 wget http://mirrors.hust.edu.cn/apache/hbase/hbase-0.98.5/hbase-0.98.5-hadoop2-bin.tar.gz 2)解压  tar -zxvf hbase-0.98.5-hadoop2-bin.tar.gz 3)修改conf/hbase-site.xml文件  <property>   <name>hbase.rootdir</na

Hadoop系列之zookeeper(分布式协调服务)安装配置

Hadoop系列之zookeeper(分布式协调服务)安装配置 1.安装cd /root/softtar zxvf zookeeper-3.4.6.tar.gzmv zookeeper-3.4.6 /usr/local/hadoop/zookeeper2.修改配置文件mkdir -p /data/zookeeper/data //3个节点都需要创建此目录cd /usr/local/hadoop/zookeeper/confcp zoo_sample.cfg zoo.cfg#vim zoo.cfg

Hadoop学习笔记(一)——编译安装和配置

近期工作调动.打算补一下大数据处理的知识.可能会陆续涉及hadoop.mongodb.ddbs等. 首先Apache提供二进制的Hadoop版本号是32位的.在启动时总是有警告,所以想自己编译一遍.部分内容来源于网络. 0.环境说明: 操作系统环境: ububtu 14.04 LTS 64位操作系统 JDK环境: java version "1.7.0_55" Java(TM) SE Runtime Environment (build 1.7.0_55-b13) Java HotSp

Sqoop安装配置及数据导入导出

前置条件 已经成功安装配置Hadoop和Mysql数据库服务器,如果将数据导入或从Hbase导出,还应该已经成功安装配置Hbase. 下载sqoop和Mysql的JDBC驱动 sqoop-1.2.0-CDH3B4.tar.gz :http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz mysql-connector-java-5.1.28 安装sqoop [[email protected] ~]$ tar -zxvf sqoop-

Java基础学习笔记【01】JDK安装配置、快捷键、属性、注释

JDK的安装配置 官网下载JDK 点击安装完,拷贝安装路径到/bin("E:\Java\jdk1.7.0") 计算机--属性--高级系统设置--高级--环境变量--用户变量新建 系统变量→新建 JAVA_HOME 变量,变量值填写jdk的安装目录(本人是"E:\Java\jdk1.7.0") 系统变量→寻找Path变量→编辑 在变量值最后输入:"%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;" (注意原来Path的变量值

Hadoop学习之第七章节:Hive安装配置

环境要求: mysql hadoop hive版本为:apache-hive-1.2.1-bin.tar 1.设置hive用户 进入mysql命令行,创建hive用户并赋予所有权限: mysql -uroot -proot mysql>create user 'hive' identified by 'hive'; mysql>grant all on *.* TO 'hive'@'%' with grant option; mysql>flush privileges; 2.创建hiv

Hadoop学习之第五章节:Mysql的安装配置,命令学习

一.关于MySQL MySQL是最流行的开源SQL数据库管理系统,它由MySQL AB开发.发布和支持.MySQL AB是一家由MySQL开发人员创建的商业公司,它是一家使用了一种成功的商业模式来结合开源价值和方法论的第二代开源公司.MySQL是MySQL AB的注册商标. MySQL是一个快速的.多线程.多用户和健壮的SQL数据库服务器.MySQL服务器支持关键任务.重负载生产系统的使用,也可以将它嵌入到一个大配置(mass-deployed)的软件中去. MySQL的官方发音是"My Ess

Hadoop学习之第四章节:最高温度统计测试程序

1.测试温度数据下载: (稍后补充下载地址) 2.将数据上传到hdfs中 3.测试代码为: MinTemperature import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.i

hadoop学习笔记:02.卸载和安装jdk

一,卸载jdk 1.确定jdk版本 #rpm -qa  | grep jak 可能的结果: java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64 java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64 2.卸载系统自带的jdk #yum -y remove   java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64 #yum -y remove  ja