小记--------sqoop的简单从mysql导入到hbase操作

sqoop import

-D sqoop.hbase.add.row.key=true                        //是否将rowkey相关字段列入列族中,默认为false ;该参数必须在import之后

--connect jdbc:mysql://120.27.208.185/bigdatatest        //连接mysql数据库

--username och_test                                    //mysql用户名

--password 1111111                                    //mysql密码

--table t_teacher                                        //mysql表名

--columns id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark        //mysql列名

--hbase-table t_teacher                                //hbase中接受数据的表名

--hbase-create-table                                    //如果接收数据的表名不存在则创建新表

--column-family MM                                        //列族名称,所有源表的字段都进入该列族

--hbase-row-key id                                        //如果不指定该参数,则采用源表的key作为rowkey;可以指定一个字段作为rowkey,或者指定多个字段组合成rowkey(需要用双引号包含多个字段,字段之间以逗号分隔)

-m 1                                                    //并发度:1

eg:

#使用sqoop 将mysql数据库的t_teacher表的前500w行数据导入hbase

sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:mysql://120.27.208.185/bigdatatest --username och_test --password 1111111 --query ‘select * from t_teacher WHERE $CONDITIONS limit 5000000;‘ --columns id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark --hbase-table t_teacher --hbase-create-table --column-family MM --hbase-row-key id -m 1

eg2:

#导入整张表的数据

sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:mysql://120.27.208.185/bigdatatest --username och_test --password 1111111 --table t_teacher  --columns id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark --hbase-table t_teacher --hbase-create-table --column-family MM --hbase-row-key id -m 1

原文地址:https://www.cnblogs.com/yzqyxq/p/12054338.html

时间: 2024-10-12 07:57:08

小记--------sqoop的简单从mysql导入到hbase操作的相关文章

mysql 导入数据库 命令操作

window下 1.导出整个数据库 mysqldump -u 用户名 -p 数据库名 > 导出的文件名 mysqldump -u dbuser -p dbname > dbname.sql 2.导出一个表 mysqldump -u 用户名 -p 数据库名 表名> 导出的文件名 mysqldump -u dbuser -p dbname users> dbname_users.sql 3.导出一个数据库结构 mysqldump -u dbuser -p -d --add-drop-t

Sqoop安装配置及数据导入导出

前置条件 已经成功安装配置Hadoop和Mysql数据库服务器,如果将数据导入或从Hbase导出,还应该已经成功安装配置Hbase. 下载sqoop和Mysql的JDBC驱动 sqoop-1.2.0-CDH3B4.tar.gz :http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz mysql-connector-java-5.1.28 安装sqoop [[email protected] ~]$ tar -zxvf sqoop-

教程 | 使用Sqoop从MySQL导入数据到Hive和HBase

基础环境 sqoop:sqoop-1.4.5+cdh5.3.6+78, hive:hive-0.13.1+cdh5.3.6+397, hbase:hbase-0.98.6+cdh5.3.6+115 Sqool和Hive.HBase简介 Sqoop Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的开源工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中. Hiv

sqoop命令,mysql导入到hdfs、hbase、hive

1.测试MySQL连接 bin/sqoop list-databases --connect jdbc:mysql://192.168.1.187:3306/trade_dev --username 'mysql' --password '111111' 2.检验SQL语句 bin/sqoop eval --connect jdbc:mysql://192.168.1.187:3306/trade_dev --username 'mysql' --password '111111' --quer

mysql通过sqoop导入到hbase中时数据量为1000w时出现Incorrect key file for table '/tmp/#sql_458_0.MYI'; try to repair it

问题:mysql通过sqoop导入到hbase中时数据量为1000w时出现Incorrect key file for table '/tmp/#sql_458_0.MYI'; try to repair it,数据量为100w等时没该问题 分析:出现该问题时因为mysql的临时目录(默认为/tmp)太小 解决方法:参考:http://blog.sina.com.cn/s/blog_4c197d420101bdn9.html mysql通过sqoop导入到hbase中时数据量为1000w时出现I

多种字符集并存情况下sqoop从MySQL导入HBase中文乱码解决

最近在做binlog日志采集同步到数据平台的事.刚开始需要借助sqoop将从库数据表数据初始化到hbase中,整个过程都需要自动化进行,尽量减少人为干预.但是,由于历史原因,线上存在两种字符集格式的数据库(表),而导入到hbase的数据我们需要统一采用utf-8格式存储.sqoop直接导入的话,没法控制中文字符转码工作.所以需要对sqoop源码进行简单改动支持这种方式. 大体思路是,通过定义一个接口可以从InformationSchema库的tables中获取某个表的table-collatio

Sqoop MySQL 导入到HDFS

从MySQL数据库phx中读取tree表到HDFS 执行命令: sqoop import --connect jdbc:mysql://node1:3306/phx \--username root --table tree --m 1 命令行输出: Warning: /csh/link/sqoop/../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCat

Sqoop2从Mysql导入Hdfs (hadoop-2.7.1,Sqoop 1.99.6)

一.环境搭建 1.Hadoop http://my.oschina.net/u/204498/blog/519789 2.Sqoop2.x http://my.oschina.net/u/204498/blog/518941 3. mysql 二.从mysql导入hdfs 1.创建mysql数据库.表.以及测试数据 xxxxxxxx$  mysql -uroot -p Enter password:  mysql> show databases; +--------------------+ |

sqoop从mysql导入到hdfs

1.mysql -- 创建数据库 create database logs; -- 使用 use logs; -- 创建表 create table weblogs(  md5 varchar(32),  url varchar(64),  request_date date,  request_time time,  ip varchar(15) ); -- 从外部文本文件加载数据 load data infile '/path/weblogs_entries.txt' into table