sqoop基本 操作

列出 hive的 全部库

sqoop list-databases --connect jdbc:mysql://localhost --username hive --password hive

列出全部的表

sqoop list-tables --connect jdbc:mysql://localhost/hive_metadata --username hive --password hive

mysql导入到hdfs中

sqoop import -connect jdbc:mysql://10.0.2.139:3306/db -username root -password 123456 -table tb_name -fields-terminated-by ‘\t‘ -m 1

将 hdfs导入到mysql中

sqoop export --connect jdbc:mysql://localhost:3306/hive_metadata --username hive --password hive --table f2b_admins --export-dir ‘/user/root/f2b_admins/part-m-00000‘ --fields-terminated-by ‘\t‘ -m 1

从mysql导入到hbase中

sqoop import -connect jdbc:mysql://10.0.2.139:3306/f2b -username root -password suibianba --table f2b_admins --hbase-create-table --hbase-table f2b_admin --column-family info --hbase-row-key id -m 1

时间： 2024-10-27 13:37:39

sqoop基本 操作的相关文章

sqoop之操作

导入:传统关系型数据库---->大数据平台的importmysql------>hadoop--connect 指定关系型数据库链接url mysql:jdbc://hadoop02:3306/--username 指定数据库的用户名--password 指定数据库的密码--table 指定要导出数据的mysql数据库表 关系型数据库中的表名 需要导出数据的mysql的表名-m 指定MapTask的个数--target-dir 指定导入数据在HDFS上的存储目录--fields-termina

Sqoop基础操作

1.查看数据库 sqoop list-databases \ #查看数据库的命令 --connect jdbc:mysql://master:3306 \ #数据库连接地址 --username root \ #用户名 --password root #密码 2.根据mysql表创建hive表 sqoop create-hive-table --connect jdbc:mysql://master:3306/test --username root --password root --tabl

sqoop搭建

sqoop版本1.99.7#此搭建过程在最后启动job的时候失败了,每个版本的差异性蛮大的. 版本下载链接:http://pan.baidu.com/s/1pKYrusz 密码:7ib5 搭建sqoop之前,已经配置好了hadoop和java的环境 当第一次启动后,KILL掉HADOOP进程后出现的各种问题,重启机器解决问题. This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh 错误: 找不到或无法加载主类

Apache Sqoop - Overview Apache Sqoop 概述

使用Hadoop来分析和处理数据需要将数据加载到集群中并且将它和企业生产数据库中的其他数据进行结合处理.从生产系统加载大块数据到Hadoop中或者从大型集群的map reduce应用中获得数据是个挑战.用户必须意识到确保数据一致性,消耗生产系统资源,供应下游管道的数据预处理这些细节.用脚本来转化数据是低效和耗时的方式.使用map reduce应用直接去获取外部系统的数据使得应用变得复杂和增加了生产系统来自集群节点过度负载的风险. 这就是Apache Sqoop能够做到的.Aapche Sqoop

sqoop的安装与使用

1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传输,发展至今主要演化了二大版本,Sqoop1和Sqoop2. Sqoop工具是hadoop下连接关系型数据库和Hadoop的桥梁,支持关系型数据库和hive.hdfs,hbase之间数据的相互导入,可以使用全表导入和增量导入. 那么为什么选择Sqoop呢? 高效可控的利用资源,任务并行度,超时时间. 数据类型映

sqoop测试Mysql数据库的使用

测试Mysql数据库的使用 前提:导入mysql jdbc的jar包 ①  测试数据库连接 sqoop list-databases–connect jdbc:mysql://192.168.10.63 –username root–password 123456 ②Sqoop的使用 以下所有的命令每行之后都存在一个空格,不要忘记 (以下6中命令都没有进行过成功测试) <1>mysql–>hdfs sqoop export –connect jdbc:mysql://192.168.10

Hadoop学习之第八章节：Sqoop安装配置

一.Sqoop介绍 Sqoop是一个用来将Hadoop(Hive.HBase)和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中. Sqoop目前已经是Apache的顶级项目了,目前版本是1.4.4 和 Sqoop2 1.99.3,本文以1.4.4的版本为例讲解基本的安装配置和简单应用的演示. 版本为: sqoop-1.4.6.bin__hadoo

sqoop产生背景及概述

sqoop产生背景 多数是用Hadoop技术处理大数据业务的企业有大量的数据存储在传统的关系型数据库(RDBMS)中:由于缺乏工具的支持.对Hadoop和传统数据库系统中的数据进行相互传输是一件十分困难的事情:Sqoop就是一个在RDBMS和Hadoop之间进行数据传输的项目: sqoop概述 sqoop是Hive/HDFS/HBase与关系数据库之间 导入和导出工具 sqoop: SQL-to-Hadoop1)连接传统关系型数据库和Hadoop的桥梁: 把关系型数据的数据导入到Hadoop与其

安装 sqoop

简介 Sqoop是一个用来将Hadoop(Hive.HBase)和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中,但是不能将hbase.hive的数据导入到关系型数据库. 下载 因为官方并不建议在生产环境中使用sqoop2,即1.99.7,所以这里我用的是sqoop1,即1.4.7 点击下载:sqoop-1.4.7.bin__hadoop-2.6