关系型数据库导入到HDFS

#从关系数据库抽取到HDFS,默认逗号分隔,执行sqoop --options --file ./fileName
import
--connect
jdbc:oracle:thin:@192.168.1.101:1522/myora
--username
beifeng
--password
123
-m
1
--null-string
‘‘
--table
CITY
--columns
"ID,CITY_CNAME,PROVINCE_ID"
--target-dir  #要抽取到那个路径下面HDFS路径
/user/hadoop/city #确保目标目录不存在

时间： 2024-10-19 13:35:35

关系型数据库导入到HDFS的相关文章

Sqoop2入门之导入关系型数据库数据到HDFS上(sqoop2-1.99.4版本)

sqoop2-1.99.4和sqoop2-1.99.3版本操作略有不同:新版本中使用link代替了老版本的connection,其他使用类似. sqoop2-1.99.4环境搭建参见:Sqoop2环境搭建 sqoop2-1.99.3版本实现参见:Sqoop2入门之导入关系型数据库数据到HDFS上启动sqoop2-1.99.4版本客户端: $SQOOP2_HOME/bin/sqoop.sh client set server --host hadoop000 --port 12000 --web

关系型数据库导入导出绝招出炉

Sqoop作为数据传输的工具,对于Hadoop与传统数据库之间数据的传输起着桥梁作用,那么到底如何导入导出数据呢? 第一:使用MapReduce作业来执行导入: (1)Sqoop首先检查将要导入的表 1.确定主键(如果有的话),调用mapreduce,根据主键分割map 2.没有主键,运行边界查询确定导入的记录数(找到一个min和一个max,确定边界进行划分) 3.通过任务数来划分边界查询的结果,使得他们有相同的负载 (2)Sqoop为每个将导入的表生成Java源文件 1.在导入过程中编译和使用

关系型数据库导入到Hbase

#!/bin/sh . /etc/profile sqoop import #连接 --connect \ "jdbc:mysql://192.168.1.107:3306/test" #用户名 --username root#密码 --password 123456 #使用多少个Map - m\ 1 #如果有null用''替代 --null-string''#Mysql的表名 --table user #字段 --columns "id,host,user,password

利用SQOOP将数据从数据库导入到HDFS（并行导入，增量导入）

基本使用如下面这个shell脚本: #Oracle的连接字符串,其中包含了Oracle的地址,SID,和端口号CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2#使用的用户名ORACLENAME=kkaa#使用的密码ORACLEPASSWORD=kkaa123#需要从Oracle中导入的表名oralceTableName=tt#需要从Oracle中导入的表中的字段名columns=AREA_ID,TEAM_NAME#将Oracle中的数据

Sqoop2入门之导入关系型数据库数据到HDFS上

需求:将hive数据库中的TBLS表导出到HDFS之上: $SQOOP2_HOME/bin/sqoop.sh client sqoop:000> set server --host hadoop000 --port 12000 --webapp sqoop Server is set successfully 创建connection: sqoop:000> create connection --cid 1 Creating connection for connector with id

使用sqoop 在关系型数据库和Hadoop之间实现数据的抽取

(一)从关系型数据库导入至HDFS 1.将下面的参数保持为 import.script import --connectjdbc:mysql://192.168.1.14:3306/test--username root--password 1234 -m1--null-string''--table user--columns "id,username,age"--target-dir/user/root/sqoop_test -- 此目录不能存在 2. 执行sqoop --opt

sqoop操作之Oracle导入到HDFS

导入表的所有字段 sqoop import --connect jdbc:oracle:thin:@192.168.1.100:1521:ORCL \ --username SCOTT --password tiger \ --table EMP -m 1; 查看执行结果: hadoop fs -cat /user/hadoop/EMP/part-m-00000 7369,SMITH,CLERK,7902,1980-12-17 00:00:00.0,800,null,20 7499,ALLEN,

Sqoop1.4.4实现关系型数据库多表同时导入HDFS或Hive中

问题导读: 1.使用Sqoop哪个工具实现多表导入? 2.满足多表导入的三个条件是? 3.如何指定导入HDFS某个目录?如何指定导入Hive某个数据库? 一.介绍有时候我们需要将关系型数据库中多个表一起导入到HDFS或者Hive中,这个时候可以使用Sqoop的另一个工具sqoop-import-all-tables.每个表数据被分别存储在以表名命名的HDFS上的不同目录中. 在使用多表导入之前,以下三个条件必须同时满足: 1.每个表必须都只有一个列作为主键: 2.必须将每个表中所有的数据导入,

基于spark的关系型数据库到HDFS的数据导入

package com.shenyuchong; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.spark.sql.SaveMode; import org.apache.spark.sql.SparkSession; import java.net.HttpURLCon