利用Sqoop将MySQL数据导入Hive中

参考

http://www.cnblogs.com/iPeng0564/p/3215055.html

http://www.tuicool.com/articles/j2yayyj

http://blog.csdn.net/jxlhc09/article/details/16856873

1.list databases

sqoop list-databases --connect jdbc:mysql://192.168.2.1:3306/ --username sqoop --password sqoop

2.用sqoop创建hive表

sqoop create-hive-table    --connect    jdbc:mysql://xx:3306/test?characterEncoding=UTF-8    --table employee     --username   root   -password ‘xx‘  --hive-database  db_hive_edu

3.import数据

#sqoop    import     --connect     jdbc:mysql://xx:3306/test?characterEncoding=UTF-8        --table employee    --username   root  -password  ‘xx‘    --fields-terminated-by   ‘,‘    --hive-import      --hive-database  db_hive_edu     -m  1

--fields-terminated-by   ‘,‘ 导致数据变成null

sqoop import --connect jdbc:mysql://xx:3306/test?characterEncoding=UTF-8 --username root -password ‘xx‘ --table employee --hive-import --hive-database  db_hive_edu -m 1

截图

时间: 2024-08-02 07:48:42

利用Sqoop将MySQL数据导入Hive中的相关文章

python脚本 用sqoop把mysql数据导入hive

转:https://blog.csdn.net/wulantian/article/details/53064123 用python把mysql数据库的数据导入到hive中,该过程主要是通过python语言操作sqoop. #! /usr/bin/env python # coding:utf-8 # -------------------------------- # Created by coco on 16/2/23 # ---------------------------------

sqoop同步mysql数据到hive中

一.sqoop 在同步mysql表结构到hive sqoop create-hive-table --connect jdbc:mysql://ip:3306/sampledata --table t1--username dev --password 1234 --hive-table t1; 执行到这一步就退出了,但是在hadoop的hdfs上的/hive/warehouse/的目录下是找不到t1表的目录, 但是正常执行完成是下面这样的: 错误就是hive的jar包有缺失 全部的jar包该是

使用sqoop将mysql数据导入到hive中

首先准备工具环境:hadoop2.7+mysql5.7+sqoop1.4+hive3.1 准备一张数据库表: 接下来就可以操作了... 一.将MySQL数据导入到hdfs 首先我测试将zhaopin表中的前100条数据导出来,只要id.jobname.salarylevel三个字段. 再Hdfs上创建目录 hadoop fs -mkdir -p /data/base #用于存放数据 我们cd到sqoop目录下执行命令 # \ 用于换行bin/sqoop import --connect jdbc

使用 sqoop 将mysql数据导入到hive(import)

Sqoop 将mysql 数据导入到hive(import) 1.创建mysql表 CREATE TABLE `sqoop_test` ( `id` int(11) DEFAULT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=latin1 插入数据 2.hive 建表 hive> create external table sqoop_test

Sqoop将mysql数据导入hbase的血与泪

Sqoop将mysql数据导入hbase的血与泪(整整搞了大半天)  版权声明:本文为yunshuxueyuan原创文章.如需转载请标明出处: https://my.oschina.net/yunshuxueyuan/blogQQ技术交流群:299142667 一. 问题如何产生 庞老师只讲解了mysql和hdfs,mysq与hive的数据互导,因此决定研究一下将mysql数据直接导入hbase,这时出现了一系列问题. 心酸史: 二. 开始具体解决问题 需求:(将以下这张表数据导入mysql)

使用sqoop将mysql数据导入到hadoop

hadoop的安装配置这里就不讲了. Sqoop的安装也很简单. 完成sqoop的安装后,可以这样测试是否可以连接到mysql(注意:mysql的jar包要放到 SQOOP_HOME/lib 下): sqoop list-databases --connect jdbc:mysql://192.168.1.109:3306/ --username root --password 19891231 结果如下 即说明sqoop已经可以正常使用了. 下面,要将mysql中的数据导入到hadoop中.

使用Sqoop将MySql数据导入到HDFS

##以上完成后在h3机器上配置sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz //将宿主机上MySql的test库中的users表的数据导入到HDFS,默认Sqoop会起4个Map运行MapReduce进行导入到HDFS,存放在HDFS路径为/user/root/users(user:默认用户,root:MySql数据库的用户,test:表名)目录下有四个输出文件sqoop import --connect jdbc:mysql://192.168.1.10

Kittle中将mysql数据导入Neo4j中

总共分为这几步:环境搭建,安装kittle,添加Neo4j插件,编写测试用例 1.环境要求:jdk1.8,mysql 和neo4j服务均已起来 2.kittle安装: 2.1下载地址:https://community.hitachivantara.com/docs/DOC-1009855 2.2打开后会自动下载,如果没有自动下载,点击Download按钮 2.3解压文件到自定义的目录,进入data-integration目录,直接在命令行启动 ./spoon.sh (如果为window环境,则

[Sqoop]将Mysql数据表导入到Hive

业务背景 mysql数据表YHD_CATEG_PRIOR结构如下: -- Table "YHD_CATEG_PRIOR" DDL CREATE TABLE `YHD_CATEG_PRIOR` ( `category_id` int(11) NOT NULL COMMENT '类目ID', `category_name` varchar(250) DEFAULT NULL COMMENT '类目名称', `category_level` int(11) DEFAULT '0' COMME