HBase Filter使用方法(三)------批量put导入

一、应用线程导入

1、创建put方法

public class mmm{
	public static Configuration config=new Configuration();;
	static{
		config.set("hbase.zookeeper.property.clientPoint","2181");
		config.set("hbase.zookeeper.quorum","hbase");
		config.set("dfs.socket.timeout", "180000");
	}
    public static void put(String tablename,String RowKey,String Family,String Qualifier,String Value){
    HTable h=null;
    try{
        h=new HTable(config,tablename);
        Put put=new Put(Bytes.toBytes(RowKey));
        put.add(Bytes.toBytes(Family), Bytes.toBytes(Qualifier), Bytes.toBytes(Value));
        h.put(put);
    }catch(Exception e){e.printStackTrace();}finally{
        try {
        h.close();
        } catch (IOException e) {
            e.printStackTrace();
            }
        }
    }
}

2、创建线程

    public class PutXX {
    public static void main(String[] args) {
        run1 r1=new run1();
        Thread rr1=new Thread(r1);
        rr1.start();
        run2 r2=new run2();
        Thread rr2=new Thread(r2);
        rr2.start();
        //这里创建两个线程,需要可以继续创建~
}
}
class run1 implements Runnable{
public void run() {
for(int i=0;i<=10000000;i++){
    mmm.put("yuan", ""+i+"", "property", "yuan_name", "xx"+i);
    System.out.println(i);
    }
}
}
class run2 implements Runnable{
public void run() {
for(int i=10000001;i<=20000000;i++){
    mmm.put("yuan", ""+i+"", "property", "yuan_name", "xx"+i);
    System.out.println(i);
    }
}
}

二、使用List进行put

    public class mmm{
    public static Configuration config=new Configuration();;
	static{
		config.set("hbase.zookeeper.property.clientPoint","2181");
		config.set("hbase.zookeeper.quorum","hbase");
		config.set("dfs.socket.timeout", "180000");
	}
	/*
	 * 批量put
	 * 
	 */
	public static void moreput(String tablename, List<Put> puts){
		HTable h=null;
		try{
			h=new HTable(config,tablename);
			Put put=new Put(Bytes.toBytes(""));
			puts.add(put);
			h.put(puts);
		}catch(Exception e){
			e.printStackTrace();
		}finally{
			try {
				puts.clear();
				h.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
	}
}

然后在主函数中:

         
    List<Put> puts=new ArrayList<Put>();
    for(int i=100000;i<=5000000;i++){
        System.out.println(i);
        Put put=new Put(Bytes.toBytes(""+i+""));
        put.add(Bytes.toBytes("property"), Bytes.toBytes("yuan_name"), Bytes.toBytes("源网"+i));
        puts.add(put);
}
    System.out.println("写入List完成");
    mmm.moreput("yuan", puts);
时间: 2024-10-12 18:01:43

HBase Filter使用方法(三)------批量put导入的相关文章

HBase Filter使用方法(二)

2.Dedicated Filters 2.1 SingleColumnValueFilter √       2.2 SingleColumnValueExcludeFilter √       2.3 PrefixFilter √       2.4 PageFilter √       2.5 KeyOnlyFilter √       2.6 FirstKeyOnlyFilter √       2.7 TimestampsFilter ×       2.8 RandomRowFilt

数据导入HBase最常用的三种方式及实践分析

数据导入HBase最常用的三种方式及实践分析         摘要:要使用Hadoop,需要将现有的各种类型的数据库或数据文件中的数据导入HBase.一般而言,有三种常见方式:使用HBase的API中的Put方法,使用HBase 的bulk load工具和使用定制的MapReduce Job方式.本文均有详细描述. [编者按]要使用Hadoop,数据合并至关重要,HBase应用甚广.一般而言,需要 针对不同情景模式将现有的各种类型的数据库或数据文件中的数据转入至HBase 中.常见方式为:使用H

.Net MVC 导入导出Excel总结(三种导出Excel方法,一种导入Excel方法)

.Net MVC  导入导出Excel总结(三种导出Excel方法,一种导入Excel方法) 通过MVC控制器导出导入Excel文件(可用于java SSH架构) public class ExcelController : Controller { // // GET: /Excel/ Models.zbwxglEntities myMdl = new Models.zbwxglEntities(); /// <summary> /// 第一种方法,利用文件输出流进行读写操作 /// <

HBase 高性能获取数据 - 多线程批量式解决办法

在前篇博客里已经讲述了通过一个自定义 HBase Filter来获取数据的办法,在末尾指出此办法的性能是不能满足应用要求的,很显然对于如此成熟的HBase来说,高性能获取数据应该不是问题.下面首先简单介绍了搜索引擎的性能,然后详细说明了HBase与MySQL的性能对比,这里的数据都是经过实际的测试获得的.最后,给出了采用多线程批量从HBase中取数据的方案,此方案经过测试要比通过自定义Filter的方式性能高出很多. Solr和HBase专辑 1.“关于Solr的使用总结的心得体会”(http:

SQL Server 批量数据导入

1. 由于Bulk Insert通常配合格式化文件批量导入数据更方便,所以这里先介绍bcp工具导出格式化文件的方法. bcp是SQL Server提供的命令行实用工具提供了数据的导出.导入.格式文件导出等功能,导出格式化文件的语法如下: bcp 数据库名.用户名.表名 format nul -- 这里的nul必须存在,用于不是导出和导入数据的情况下 -f 输出的格式化文件名 [-x] -c -- -x参数指定输出的格式文件为xml格式(默认非xml格式); -c参数指定数据存储方式为字符,并默认

一个自定义 HBase Filter -“通过RowKeys来高性能获取数据”

大家在使用HBase和Solr搭建系统中经常遇到的一个问题就是:“我通过SOLR得到了RowKeys后,该怎样去HBase上取数据”.使用现有的Filter性能差劲,网上也没有现成的解决方案,我在这里把这个问题的解决办法分享给大家,抛砖引玉一下. Solr和HBase专辑 1.“关于Solr的使用总结的心得体会”(http://www.cnblogs.com/wgp13x/p/3742653.html) 2.“中文分词器性能比较?”(http://www.cnblogs.com/wgp13x/p

Objective-C:三种文件导入的方式以及atomic和nonatomic的区别

一.三种文件导入的方式比较: 类的前项声明@class.import.include: 1.采用@class 类名的方式,它会告诉编译器有这么一个类,目前不需要知道它内部的实例变量和方法是如何定义的,后面会告你,现在你就可以直接使用它,节约程序编译时间: 2.采用import方式,能避免重复导入同一类,它导入的不但这个类的所有的内容,而且使用它之前,编译器必须先对类的所有内容走一遍,就是先做预编译处理,这样比较耗费程序编译的时间. 3.采用include方式,不能避免重复导入的问题,但是它用在C

[已解决]C#批量高效率导入大数据到数据库[百万级以上]

将几百万条数据导入到数据库中,怎么样高效率的导入?下面我就介绍一个高效率的方法:1.将数据库文件(DB.csv)导入到DataTable中: /// <summary> /// 将CSV文件的数据读取到DataTable中 /// </summary> /// <param name="fileName">CSV文件路径</param> /// <returns>返回读取了CSV数据的DataTable</returns

Objective-C:三种文件导入的方式比较

三种文件导入的方式比较: 类的前项声明@class.import.include: 1.采用@class 类名的方式,它会告诉编译器有这么一个类,目前不需要知道它内部的实例变量和方法是如何定义的,后面会告诉你,现在你就可以直接使用它,节约程序编译时间: 2.采用import方式,能避免重复导入同一类,它导入的不但这个类的所有的内容,而且使用它之前,编译器必须先对类的所有内容走一遍,就是先做预编译处理,这样比较耗费程序编译的时间. 3.采用include方式,不能避免重复导入的问题,但是它用在C/