Sqoop的安装部署

1.下载  sqoop-1.4.6-cdh5.7.6.tar.gz

2.在linux中进行安装， tar -zxvf /opt/tools/spark-1.6.1-bin-2.6.0-cdh5.7.6.tgz  -C /opt/cdh-5.7.6/

3.进入sqoop安装目录，我装在/opt/cdh-5.7.6/sqoop-1.4.6-cdh5.7.6目录中

4.进入conf目录，为确保数据源，复制sqoop-env.template.cmd 同时重命名为sqoop-env.sh启用配置，cp sqoop-env.template.cmd sqoop-env.sh

5.在sqoop-env.sh中添加配置：

　　export HADOOP_COMMON_HOME=/opt/cdh-5.7.6/hadoop-2.6.0-cdh5.7.6
　　export HADOOP_MAPRED_HOME=/opt/cdh-5.7.6/hadoop-2.6.0-cdh5.7.6
　　export HIVE_HOME=/opt/cdh-5.7.6/hive-1.1.0-cdh5.7.6
　　export HBASE_HOME=/opt/cdh-5.7.6/hbase-1.2.0-cdh5.7.6
　　export ZOOCFGDIR=/opt/cdh-5.7.6/zookeper-3.4.5-cdh-5.7.6

6.将jdbc连接驱动放到sqoop的lib目录下，cp /opt/tools/mysql-connector-java-5.1.27-bin.jar lib/

7.将json包放入sqoop的lib中，cp /opt/tools/java-json.jar lib/

8.测试：

　　sqoop help

　　　　usage: sqoop COMMAND [ARGS]

　　当前MySQL中有哪些可用的数据库

　　　　bin/sqoop list-databases --connect jdbc:mysql://bigdata-hadoop001.hpsk.com:3306 --username root --password 123456

时间： 2024-10-15 19:11:13

Sqoop的安装部署的相关文章

sqoop安装部署(笔记)

sqoop是一个把关系型数据库数据抽向hadoop的工具.同时,也支持将hive.pig等查询的结果导入关系型数据库中存储.由于,笔者部署的hadoop版本是2.2.0,所以sqoop的版本是:sqoop-1.99.3-bin-hadoop2001.下载sqoop  wget  http://mirrors.cnnic.cn/apache/sqoop/1.99.3/sqoop-1.99.3-bin-hadoop200.tar.gz2.解压sqoop安装文件  tar -zxvf sqoop-1.

Sqoop简介及安装部署

简介: Apache Sqoop是专为Apache Hadoop和结构化数据存储如关系数据库之间的数据转换工具的有效工具.你可以使用Sqoop从外部结构化数据存储的数据导入到Hadoop分布式文件系统或相关系统如Hive和HBase.相反,Sqoop可以用来从Hadoop的数据提取和导出到外部结构化数据存储如关系数据库和企业数据仓库. Sqoop专为大数据批量传输设计,能够分割数据集并创建Hadoop任务来处理每个区块. 下面介绍下安装部署的步骤: 1.下载安装包并解压 下载地址 作者使用的是s

SQOOP安装部署

1.环境准备 1.1软件版本 sqoop-1.4.5 下载地址 2.配置 sqoop的配置比较简单,下面给出需要配置的文件 2.1环境变量 sudo vi /etc/profile SQOOP_HOME=/home/hadoop/source/sqoop-1.4.5 PATH=$SQOOP_HOME/bin export SQOOP_HOME 2.2sqoop-env.sh #Set path to where bin/hadoop is available export HADOOP_COMM

详解Sqoop的架构和安装部署

一.Sqoop是什么 Sqoop 是连接传统关系型数据库和 Hadoop 的桥梁.它包括以下两个方面: 1. 将关系型数据库的数据导入到 Hadoop 及其相关的系统中,如 Hive和HBase. 2. 将数据从 Hadoop 系统里抽取并导出到关系型数据库. Sqoop 的核心设计思想是利用 MapReduce 加快数据传输速度.也就是说 Sqoop 的导入和导出功能是通过 MapReduce 作业实现的.所以它是一种批处理方式进行数据传输,难以实现实时的数据进行导入和导出. 二.为什么选择S

用HAWQ轻松取代传统数据仓库（二） —— 安装部署

一.安装规划1. 选择安装介质        HAWQ的安装介质有两种选择,一是下载源码手工编译,二是使用Pivotal公司提供的HDB安装包.源码的下载地址为http://apache.org/dyn/closer.cgi/incubator/hawq/2.0.0.0-incubating/apache-hawq-src-2.0.0.0-incubating.tar.gz,目前最新版本是2.0.0.源码编译和安装Apache官方文档地址为https://cwiki.apache.org/con

sqoop的安装与使用

1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传输,发展至今主要演化了二大版本,Sqoop1和Sqoop2. Sqoop工具是hadoop下连接关系型数据库和Hadoop的桥梁,支持关系型数据库和hive.hdfs,hbase之间数据的相互导入,可以使用全表导入和增量导入. 那么为什么选择Sqoop呢? 高效可控的利用资源,任务并行度,超时时间. 数据类型映

Hbase-0.96.2完全分布式安装部署

Hbase-0.96.2完全分布式安装部署 环境: Hadoop-2.2.0 Zookeeper-3.4.6 hbase-0.96.2 1.下载hbase-0.96.2-hadoop2-bin.tar.gz 下载地址:http://apache.dataguru.cn/hbase/hbase-0.96.2/ 2.解压:$tar –zxvf hbase-0.96.2-hadoop2-bin.tar.gz 3.同步集群时间 切换root用户:$su root; 查看时间:$date 同步时间: $n

Sqoop的安装与测试

[部署安装] # Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中. # 部署Sqoop到13.33,参考文档: Sqoop安装配置及演示 http://www.micmiu.com/bigdata/sqoop/sqoop-setup-and-demo/ # Sqoop只需要部署一份,目前部署在13.33,和

HBase介绍、搭建、环境、安装部署

hadoop培训课程:HBase介绍.搭建.环境.安装部署 1.搭建环境 部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放Hadoop等组件运行包.因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录,并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app). Hadoop搭建环