sqoop安装及导入sqlserver数据

如何使用 Sqoop 导出 sql server 的数据

1.下载Sqoop 1.4.7

到清华镜像去下载sqoop-1.4.7就行了

2.连接sqlserver用的jar包

使用 sqoop 导出 sql server 的数据,需要使用对应的 sqljdbc.jar 包,这里用到的是 sqljdbc4.jar点我下载

3.安装sqoop

将下载好的压缩包解压到指定安装目录,如/opt

tar -zxvf sqoop-1.4.7_hadoop-bin.tar.gz -C /opt

4.配置

修改安装目录下的sqoop-env-template.sh文件

vim /opt/sqoop-1.4.7/conf/sqoop-env-template.sh

将配置好如下三个就行了

export HADOOP_COMMON_HOME=/opt/hadoop-2.7.7
export HADOOP_MAPRED_HOME=/opt/hadoop-2.7.7
export HIVE_HOME=/opt/hive-1.2.2

然后将下载好的sqljdbc4.jar放到sqoop/lib下就行了

5.测试

尝试一下Scorecard数据库中的Autoscore

sqoop import --driver com.microsoft.sqlserver.jdbc.SQLServerDriver --connect jdbc:sqlserver://10.62.160.116:3000/Scorecard --username scr --password Scorecard2017! --table AutoScore --target-dir /user/hive/warehouse/scorecard

可以将上述中命令以以下方法完成

1.将密码放到/usr/local/password 中,并且将其上传到hdfs上
sh #这里使用单引号并且-n选项是必须的,不然会默认在password文件后追加些奇奇怪怪的字符 echo -n ‘Scorecard2017!‘ >> password hdfs dfs -put /usr/local/password /user/hive
2.将配置放到 config.im 文件中,注意配置项及配置值各单独占一行并且前后不能有空格,如下
import --driver com.microsoft.sqlserver.jdbc.SQLServerDriver --connect jdbc:sqlserver://10.62.160.116:3000;database=Scorecard --username scr --password-file /user/hive/password --table AutoScore --target-dir /user/hive/warehouse/scorecard
3.然后使用如下命令进行数据抽取

```sh
#先切换到config.im所在的目录下头
sqoop --options-file config.im
```

4.查看结果,应该是没有问题的

原文地址:https://www.cnblogs.com/hwang126/p/10846959.html

时间: 2024-11-12 23:13:59

sqoop安装及导入sqlserver数据的相关文章

solr 5.3 导入sqlserver数据

前面 我有一篇文章讲解了solr的配置 ,这里就不讲了 ,下面的配置是在solr已经成功整合到tomcat的前提下进行的 . 进入正题, 1,修改solr-data-config.xml文件,内容如下:(PS:本文是以sqlserver数据库中的SSH 数据库的 users表来创建索引的,其users表中有id,name,pwd三个字段,均是varchar型,schema.xml文件我们type就配string 型) <dataConfig><dataSource password=&q

使用sqoop --options-file 导入hive数据

[Author]: kwu 使用sqoop --options-file直接导入hive数据,把操作命令语句写在文件中,便于管理及管理 1.创建hive数据库及表 create database DB_TEST; CREATE TABLE UserRegLoginLog ( ID BIGINT, fld_date TIMESTAMP, fld_ip string, fld_server_ip string, fld_UA string, UserId BIGINT , UserName stri

excel 导入 sqlserver 字符串被截取为255长度解决方案

excel表格导入sqlserver数据表中 内容被截取为255长度的字符串. 注意:excel是通过前8行(表头的首行除外)的数据类型来判断导入数据的数据格式的,例如前8行出现整数型,那么默认就用整数型的数据读取方式导入数据,又例如前8行出现的是长度小于255的字符串类型,那么就会默认整列都是小于255的字符串,这样导入的时候长度大于255的字符串就会被截取掉了. 网上的其他解决方案我就不提了,下面演示一下我的方法. 简单易用的解决方案 : 1.插入8行空数据在您将要导入的excel表中. 2

如何将mysql数据导入Hadoop之Sqoop安装

Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql.postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中.Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目. 总之Sqo

sqoop配置安装以及导入

安装sqoop的前提是已经具备java和hadoop的环境 1.上传并解压 (要导mysql的数据)得加入mysql的jdbc驱动包 接下来验证启动 Sqoop的数据导入 "导入工具"导入单个表从RDBMS到HDFS.表中的每一行被视为HDFS的记录.所有记录都存储为文本文件的文本数据(或者Avro.sequence文件等二进制数据) 语法 下面的语法用于将数据导入HDFS. $ sqoop import (generic-args) (import-args) 示例 表数据 在mys

sqoop导入增量数据

使用sqoop导入增量数据. 核心参数 --check-column 用来指定一些列,这些列在增量导入时用来检查这些数据是否作为增量数据进行导入,和关系行数据库中的自增字段及时间戳类似这些被指定的列的类型不能使用任意字符类型,如char.varchar等类型都是不可以的,同时 --check-column 可以去指定多个列 --incremental 用来指定增量导入的模式,两种模式分别为append 和 lastmodified --last-value 指定上一次导入中检查列指定字段的最大值

教程 | 使用Sqoop从MySQL导入数据到Hive和HBase

基础环境 sqoop:sqoop-1.4.5+cdh5.3.6+78, hive:hive-0.13.1+cdh5.3.6+397, hbase:hbase-0.98.6+cdh5.3.6+115 Sqool和Hive.HBase简介 Sqoop Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的开源工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中. Hiv

使用sqoop从mysql导入数据到hive

前言 这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结. 环境: 系统:Centos 6.5 Hadoop:Apache,2.7.3 Mysql:5.1.73 JDK:1.8 Sqoop:1.4.7 Hadoop以伪分布式模式运行. 一.使用的导入命令 我主要是参考一篇文章去测试的,Sqoop: Import Data From MySQL to Hive. 参照里面的方法,在mysql建了表,填充了数据,然后按照自己的情况输入了命令: sqoop import --co

Sqoop安装

Sqoop 配置文档 安装环境ubuntu14.04 64位 hadoop2.6 jdk 1.7.0_79  sqoop-1.99.6-bin-hadoop200 Sqopp介绍: Sqoop 学习笔记 1.sqoop 介绍 1)多数是用hadoop技术处理大数据业务的企业有大量的数据存储在rdbms中. 2)基于历史数据的数据分析,利用大数据的平台来进行处理. 3)因此需要将关系型数据库中的数据迁移到hadoop(hive和hbase)中,将hadoop分析出来的数据可能要在倒回到关系型数据库