importTSV工具导入数据到hbase

1.建立目标表test,确定好列族信息。

create‘test‘,‘info‘,‘address‘

2.建立文件编写要导入的数据并上传到hdfs上

touch a.csv

vi a.csv

数据内容:

2018-09-29,value1,value2

将文件上传到hdfs目录下。

3.在linux命令行执行命令

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," -Dimporttsv.columns=HBASE_ROW_KEY,info:c1,address:c1 表名 /data/a.csv

3-1.新建的列名在执行命令里面标注 -Dimporttsv.columns=HBASE_ROW_KEY,info:c1,address:c1  根据这处列族列的规定插入对应的数据,info:c1对应value1,address:c1对应value2

如果是多个列族和列:info:c1,info:c2,address:c1,address:c2   ===对应数据为 20180929,value1,value2,value2,value4===value与指定的列族列对应即可。

4.-Dimporttsv.separator=","

这个是按照指定的分隔符号插入数据,当遇到value里面有你指定分隔符的符号时,可以修改此处和数据内的分隔符。

当遇到value里面有你指定分隔符的符号时,执行不会报错没有任何提示,数据也不会进入hbase,所以多注意。

原文地址:https://www.cnblogs.com/lccyb/p/9723109.html

时间: 2024-10-11 21:37:57

importTSV工具导入数据到hbase的相关文章

使用neo4j图数据库的import工具导入数据 -方法和注意事项

背景 最近我在尝试存储知识图谱的过程中,接触到了Neo4j图数据库,这里我摘取了一段Neo4j的简介: Neo4j是一个高性能的,NOSQL图形数据库,它将结构化数据存储在网络上而不是表中.它是一个嵌入式的.基于磁盘的.具备完全的事务特性的Java持久化引擎,但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中.Neo4j也可以被看作是一个高性能的图引擎,该引擎具有成熟数据库的所有特性.程序员工作在一个面向对象的.灵活的网络结构下而不是严格.静态的表中--但是他们可以享受到具备完全的事务

使用BulkLoad从HDFS批量导入数据到HBase

在向Hbase中写入数据时,常见的写入方法有使用HBase API,Mapreduce批量导入数据,使用这些方式带入数据时,一条数据写入到HBase数据库中的大致流程如图. 数据发出后首先写入到雨鞋日志WAl中,写入到预写日志中之后,随后写入到内存MemStore中,最后在Flush到Hfile中.这样写数据的方式不会导致数据的丢失,并且道正数据的有序性,但是当遇到大量的数据写入时,写入的速度就难以保证.所以,介绍一种性能更高的写入方式BulkLoad. 使用BulkLoad批量写入数据主要分为

hive导入数据到hbase

版本说明:hive-0.13.1 hbase-0.96.0/hbase-0.98.2 第一步:在hive客户端执行hive关联hbase建表语句 hive中对应的表hive_user_info hbase中对应的表user_info CREATE TABLE hive_user_info( a string,b string,c string, d string,e string, f string,g string) PARTITIONED BY(dt string) STORED BY'or

导入数据到HBase的方式选择

Choosing the Right Import Method If the data is already in an HBase table: To move the data from one HBase cluster to another, use snapshot and either the clone_snapshot or ExportSnapshot utility; or, use the CopyTable utility. To move the data from

教程 | 使用Sqoop从MySQL导入数据到Hive和HBase

基础环境 sqoop:sqoop-1.4.5+cdh5.3.6+78, hive:hive-0.13.1+cdh5.3.6+397, hbase:hbase-0.98.6+cdh5.3.6+115 Sqool和Hive.HBase简介 Sqoop Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的开源工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中. Hiv

HBase快速导入数据--BulkLoad

Apache HBase是一个分布式的.面向列的开源数据库,它可以让我们随机的.实时的访问大数据.但是怎样有效的将数据导入到HBase呢?HBase有多种导入数据的方法,最直接的方法就是在MapReduce作业中使用TableOutputFormat作为输出,或者使用标准的客户端API,但是这些都不非常有效的方法. Bulkload利用MapReduce作业输出HBase内部数据格式的表数据,然后将生成的StoreFiles直接导入到集群中.与使用HBase API相比,使用Bulkload导入

hive-hbase-handler方式导入hive表数据到hbase表中

Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive-hbase-handler.jar工具类 : hive-hbase-handler.jar在hive的lib包中而不是在hbase的lib中,hive0.6版本以后: 创建hive表的同时创建hbase表,删除 hive表的同时也会删除对应的hbase表. 参见官方文档:https://cwiki.apache.org/confluence/display/Hive/HBaseIntegr

hbase导入数据同时与phoenix实现映射同步

一.说明 先创建一个hbase表格,能够导入本地数据到hbase中,最后能够通过phoneix进行访问. 1.数据准备(10W条,样例如下),文件test.txt 0,20190520164020,171.15.136.201,ie 1,20190520164020,139.203.75.112,chorm 2,20190520164020,121.77.62.91,chorm 3,20190520164020,139.213.175.14,ie 4,20190520164020,210.45.

通过工具SQLyog进行导入数据

可以通过工具SQLyog进行图形化导入数据. 1.准备好Excel表格 2.将excel表格数据导入到mysql数据库 (1)打开准备好的excel表,选择格式 另存为csv. (2)如果准备的excel数据表中存在中文字符,那么需要对保存的CSV格式的文档字符进行设置,设置为UTF-8.否则导入的数据中文为乱码. (3)打开SQLyog,选择需要进行导入表.右键导入,选择 "导入使用本地加载的csv数据" (4)设置需要取消的字段.以及转义字符.字段和行的终止. 字段终止一般选择&q