什么是sqoop?

1.什么是sqoop？

---SQL  to  HDFS  的工具

---利用JDBC连接关系型数据库

---Sqoop的获取

2.导入Oracle数据库表中指定的列

sqoop import --connect jdbc：oracle:thin:@ip地址：端口号：orcl --username  scott  --password  tiger --table emp  --columns‘empno,ename,sal‘  -m 1

3.导入Oracle数据库表中指定的表，并且指定分隔符和HDFS的路径

sqoop import --connect jdbc：oracle:thin:@ip地址：端口号：orcl --username  scott  --password  tiger --table emp  --columns‘empno,ename,sal‘  -m 1  --targer-dir ‘/sqoop/data1‘  --fields-terminatde-by‘**‘

4.导入Oracle数据库表中的数据，并使用query语句

sqoop import --connect jdbc：oracle:thin:@ip地址：端口号：orcl --username  scott  --password  tiger --query ‘select * from emp where deptno=10 and $CONDITIONS‘ -m 1 --targer-dir ‘/sqoop/data1‘  --fields-terminatde-by‘**‘

5.使用sqoop导入关系型数据库中的数据到hive中

时间： 2024-08-24 01:52:24

什么是sqoop?的相关文章

解决sqoop报错Invalid number; item = ITEM_UNICODE

报错栈: java.sql.SQLException: Invalid number; item = ITEM_UNICODE at com.intersys.jdbc.SysList.getInt(SysList.java:1735) at com.intersys.jdbc.CacheResultSet.getInt(CacheResultSet.java:247) at org.apache.sqoop.lib.JdbcWritableBridge.readInteger(JdbcWrit

sqoop同步mysql到hdfs

链接:http://pan.baidu.com/s/1gfHnaVL 密码:7j12 mysql-connector version 5.1.32 若在安装版本过程遇到些问题,可参考http://dbspace.blog.51cto.com/6873717/1875955,其中一些问题的解决办法 下载并安装: cd /usr/local/tar -zxvf sqoop2-1.99.3-cdh5.0.0.tar.gzmv sqoop2-1.99.3-cdh5.0.0 sqoop添加sqoop2到系

解决sqoop报错：SQLServerException: 将字符串转换为 uniqueidentifier 时失败。

报错栈: Error: java.io.IOException: Cannection handler cannot recover failure: at org.apache.sqoop.mapreduce.db.SQLServerDBRecordReader.nextKeyValue(SQLServerDBRecordReader.java:169) at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyVal

sqoop 使用笔记

好久没有更新自己技术博客,现在开始工作了,把自己遇到的问题写到这里边来 主要把自己的问题写出来,分享给大家 sqoop 导入数据时候 有时候会遇到mysql 中有sql 中的关键字 这时候如果直接导出到hive 中会出现错误 例如下面的例子 这时候会出现错误 可以使用--query 来解决问题 例如 : sqoop-import -D mapreduce.map.memory.mb=256 -D mapreduce.map.java.opts=-Xmx128m  --connect ''--us

Sqoop 脚本开发规范（实例手把手带你写sqoop export和sqoop import）

首先,先明确,为什么Sqoop需要规范的脚本开发呢? 答:是因为,Sqoop import HDFS/Hive/HBase这些都是手动.但是在实际生产里,有时候,需要用脚本来完成. 比如,通过shell脚本来操作对Sqoop.Hive.HBase.MapReduce.HDFS.Spark.Storm等各种. Sqoop 脚本开发规范 目录规范 1.目录结构体系 /home/hadoop(开发用户)/app/djt(数据来源.业务)/sh/sqoop 示例:/home/hadoop/app/djt

Apache的HBase与cdh的sqoop集成（不建议不同版本之间的集成）

1.修改sqoop的配资文件 2.从mysql导入到hbase(import) bin/sqoop import \ --connect jdbc:mysql://linux-hadoop3.ibeifeng.com:3306/sqoop \ --username root \ --password 123456 \ --table tohdfs \ --hbase-create-table \ --hbase-table s1 \ --hbase-row-key id \ --column-f

[Sqoop]Sqoop使用

Sqoop的本质还是一个命令行工具,和HDFS,MapReduce相比,并没有什么高深的理论. 我们可以通过sqoop help命令来查看sqoop的命令选项,如下: 16/11/13 20:10:17 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6 usage: sqoop COMMAND [ARGS] Available commands:  codegen            Generate code to interact with da

sqoop job local 和 Cannot initialize Cluster 问题

hadoop版本:Hadoop 2.3.0-cdh5.0.0 sqoop版本:Sqoop 1.4.4-cdh5.0.0 配置好sqooop-env.xml: #Set path to where bin/hadoop is available export HADOOP_COMMON_HOME=/my/hadoop #Set path to where hadoop-*-core.jar is available export HADOOP_MAPRED_HOME=/my/hadoop/shar

sqoop相关整理记录

生产背景: 在从mysql导入到hive中,遇到如下问题: 1) 源mysql和集群机器不在同一个网段中,导致执行导入命令,网络连接失败. 2) 某些字符导入到hive中,出现报错终止. 2.1  sqoop使用的JDBC-connector 版本太低(更换版本). 从hive导出到mysql中,遇到如下问题: 1)某些字符插入mysql,出现报错终止. 1.1 可能mysql本身编码的限制,某些字符不支持,比如uft8和utf8mb4 1.2  sqoop使用的JDBC-connector 版

spark+hadoop+sqoop+hive平台bug解决方法

bug集锦 1. hadoop平台datanode无法启动: 原因: 由于多次hdfs namenode -format导致dfs/data/current/version中的cluserID与当前的cluserID不统一,通过查看hadoop/logs中的datanode日志文件查看到此错误. 解决方法: 1). 修改每台节点上的/dfs/current/version文件中的cluserID的值为当前的值(当前值可以通过hadoop/logs日志文件中的报错获得). 2). 每次format