Sqoop基础操作

1.查看数据库

sqoop list-databases \  #查看数据库的命令
--connect jdbc:mysql://master:3306 \  #数据库连接地址
--username root \   #用户名
--password root     #密码

2.根据mysql表创建hive表

sqoop create-hive-table --connect jdbc:mysql://master:3306/test --username root --password root --table user \   #指定mysql的表
--hive-table hive_user  #创建hive上的表,表存在报错

3.mysql导入数据到hive

sqoop import --connect jdbc:mysql://master:3306/test --username root --password root --table user --fields-terminated-by "\t" \  #指定表的分隔符
--hive-import --create-hive-table \  #自动创建hive表
--hive-overwrite \     #覆写
--hive-database  test --hive-table user_mysql -m 1

4.mysql导入数据到hbase

sqoop import --connect jdbc:mysql://master:3306/test --username root --password root --table user --hbase-create-table --hbase-table user_hbase --column-family info \  #指定列族
--hbase-row-key id      #指定rowkey
--m 1

5.导出数据到mysql

sqoop export --connect jdbc:mysql://master:3306/test --username root --password root --table user --export-dir /user/hive/warehouse/test.db/user_mysql \#这个路径是hdfs上hive表的路径
--input-fields-terminated-by "\t" --m 1

6.增量导入数据到hbase

sqoop import --connect jdbc:mysql://master:3306/test --username root --password root --table user --fields-terminated-by ‘\t‘ --incremental append --check-column id --target-dir /user/test1 --last-value 1 --hbase-table user_hbase --column-family info --hbase-row-key id
-m 1

7.增量导入数据到hive

sqoop import --connect jdbc:mysql://master:3306/test --username root --password root --table user --fields-terminated-by ‘\t‘ --incremental append --check-column id --target-dir /user/test1 --last-value 1 --hive-import --hive-database test --hive-table hive_mysql -m 1

8.导出数据

sqoop export --connect jdbc:mysql://master:3306/test --username root --password root --table user --export-dir /user/hive/warehouse/test.db/user_mysql --input-fields-terminated-by "\t" --m 1

原文地址:https://www.cnblogs.com/tkzm/p/11747094.html

时间: 2024-10-27 13:37:47

Sqoop基础操作的相关文章

【甘道夫】Sqoop1.99.3基础操作--导入Oracle的数据到HDFS

第一步:进入客户端Shell [email protected]:~$ sqoop.sh client Sqoop home directory: /home/fulong/Sqoop/sqoop-1.99.3-bin-hadoop200 Sqoop Shell: Type 'help' or '\h' for help. sqoop:000> set server --host FBI003 --port 12000 --webapp sqoop Server is set successfu

vsphere基础操作-网络

一.vsphere网络操作 概念: portgroup:通信端口组.在vsphere中,一共包含三种端口组. 1)管理网络:management network,可以理解为EXSI主机的管理IP地址.每个EXSI必须配置一个管理网络IP,使得vc能够管理到exsi.每个EXSI只能有一个唯一的管理网络. 2)内核:vmkernel,可以理解为EXSI的后端IP,使得后端各项功能能够实现.这里所说的后端功能指的是EXSI之间的通讯以实现VMOTION等高级功能.连入ISCSI或NAS等存储.FT功

Mysql安装和基础操作

1.环境检查: 先检查是否已经安装了:rpm -qa |grep mysql ---两个都检查下,查看mysql是否安装 rpm -qa |grep MySQL若安装有可删除:rpm -e ****** 2.安装:1)安装前准备:mkdir usr/mysql cd进入该目录,上传安装包到/usr/mysql目录下2)安装:rpm -ivh MySQL-server-5.0.16-0.i386.rpm rpm -ivh MySQL-elient-5.0.16-0.i386.rpm3)验证安装是否

双向链表的基础操作(C++实现)

★C++实现双向链表的基础操作(类的实现) #include<iostream> #include<cassert> using namespace std; typedef int DataType; class double_link_list {                        //定义双向链表类,包括了双向的前驱和后继指针,以及对象的初始化 public: friend class ListNode; double_link_list(DataType x =

数据结构-线性表的一些基础操作 c++代码

//线性表的顺序存储结构 template <class T> class Linearlist { public: Linearlist(int MaxListSize == 10); ~Linearlist() { delete []element; } bool IsEmpty() const { return length == 0; } bool IsFull() const { return length == MaxSize; } int Length() const { ret

php之文件基础操作

在php中对文件的基础操作非常的简单,php提供的函数粗略的用了一遍. file_get_contents():可以获取文件的内容获取一个网络资源的内容,这是php给我封装的一个比较快捷的读取文件的内容.网络资源的函数,此函数里面封装了对文件的打开,读取,关闭操作.一次性的将内容全部读取到内存中,相当方便,但是对于大文件或者网络资源较大的时候,不建议使用.file_put_contents():写入数据,和file_get_contents()类似. 文件的基础操作:touch()--新建,fo

环境变量,属性文件,文件基础操作,目录基础操作,遍历指定后缀名文件

环境变量和属性 环境变量相关: 1.得到某个/所有环境变量的值 2.设置环境变量的值 3.列出全部系统属性名 import java.util.Enumeration; import java.util.Map; import java.util.Map.Entry; import java.util.Properties; public class Environment { public static void main(String[] args) { // TODO Auto-gener

SQLSERVER 数据库基础操作

1.修改表中字段的长度,类型为varchar,从30改到50 语句执行(注:当前为30): alter table 表名 alter column 列名 varchar(50) 2.增加字段: alter table 表名 add 字段 varchar(50) SQLSERVER 数据库基础操作,布布扣,bubuko.com

mysql的基础操作指令整理|环境redhat6

1.安装 yum-y install mysql mysql-server service mysqld start|stop|restart        ##启动|停止|重启 chkconfig mysqld on|off                  ##开机启动|关闭 此时输入:mysql就能启动进入(记得是start状态) 2.改密 mysqladmin –uroot password             ##创建密码 mysqladmin–uroot –pxxoo passw