Gora快速入门

概述

Gora是apache的一个开源项目。

The Apache Gora open source framework provides an in-memory data model and persistence for big data. Gora supports persisting to column stores, key value stores, document stores and RDBMSs,
and analyzing the data with extensive Apache Hadoop MapReduce support. - See more at: http://gora.apache.org/current/tutorial.html#sthash.i7gfQUe7.dpuf

The Apache Gora open source framework provides an in-memory data model and persistence for big data. Gora supports persisting to column stores, key value stores, document stores and RDBMSs,
and analyzing the data with extensive Apache Hadoop MapReduce support. - See more at: http://gora.apache.org/current/tutorial.html#sthash.i7gfQUe7.dpuf

The Apache Gora open source framework provides an in-memory data model and persistence for big data. Gora supports persisting to column stores, key value stores, document stores and RDBMSs,
and analyzing the data with extensive Apache Hadoop MapReduce support. - See more at: http://gora.apache.org/current/tutorial.html#sthash.i7gfQUe7.dpuf

The Apache Gora open source framework provides an in-memory data model and persistence for big data. Gora supports persisting to column stores, key value stores, document stores and RDBMSs, and analyzing the data with extensive
Apache Hadoop MapReduce support.

Gora与Hibernate类似，提供了java类到数据库的映射及持久化，前者虽也支持RDMS，但更侧重于列式、KV等类型的数据库。

The Apache Gora open source framework provides an in-memory data model and persistence for big data. Gora supports persisting to column stores, key value stores, document stores and RDBMSs,
and analyzing the data with extensive Apache Hadoop MapReduce support. - See more at: http://gora.apache.org/current/tutorial.html#sthash.i7gfQUe7.dpuf

使用Gora写入数据的关键步骤

1、根据要处理的数据，创建用于描述数据结构的json文件，并由此生成java类。

2、创建gora-hbase-mapping.xml，用于注明描述了数据库表的结构，以及java类中的属性与数据库中字段的对应关系。

3、创建主类，用于创建对象，并写入数据库。

即前2步建立了用于描述数据的java类及数据库表，以及它们之间的映射关系。第三步首先将内容读入java程序中，然后通过gora写入数据库。

快速入门范例

更详细范例可参考

http://blog.csdn.net/jediael_lu/article/details/43272521

http://gora.apache.org/current/tutorial.html

1、创建一个java project，并准备好待分析的内容。

本项目用于读取/etc/passwd中的内容，并将其写入hbase数据库中。

2、创建conf/gora.properties，此文件定义了gora所使用的一些属性。

##gora.datastore.default is the default detastore implementation to use
##if it is not passed to the DataStoreFactory#createDataStore() method.
gora.datastore.default=org.apache.gora.hbase.store.HBaseStore

##whether to create schema automatically if not exists.
gora.datastore.autocreateschema=true

3、根据/etc/passwd的内容创建avro/passwd.json

{
  "type": "record",
  "name": "Passwd", "default":null,
  "namespace": "org.ljh.gora.demo.generated",
  "fields" : [
    {"name": "loginname", "type": ["null","string"], "default":null},
    {"name": "passwd", "type":  ["null","string"], "default":null},
    {"name": "uid", "type": "int", "default":0},
    {"name": "gid", "type": "int", "default":0},
    {"name": "username", "type": ["null","string"], "default":null},
    {"name": "home", "type": ["null","string"], "default":null},
    {"name": "shell", "type": ["null","string"], "default":null}
  ]
}

4、利用avro/passwd.json生成类

$ gora goracompiler avro/passwd.json src

Compiling: /Users/liaoliuqing/99_Project/1_myCodes/GoraDemo/avro/passwd.json

Compiled into: /Users/liaoliuqing/99_Project/1_myCodes/GoraDemo/src

Compiler executed SUCCESSFULL

5、创建conf/gora-hbase-mapping.xml，用于注明描述了数据库表的结构，以及java类中的属性与数据库中字段的对应关系。

<?xml version="1.0" encoding="UTF-8"?>

<gora-otd>
  <table name="Passwd">
    <family name="common"/>
    <family name="env"/>
  </table>

  <class name="org.ljh.gora.demo.generated.Passwd" keyClass="java.lang.Long" table="Passwd">
    <field name="loginname" family="common" qualifier="loginname"/>
    <field name="passwd" family="common" qualifier="passwd"/>
    <field name="uid" family="common" qualifier="uid" />
    <field name="gid" family="common" qualifier="gid"/>
    <field name="username" family="common" qualifier="username"/>
    <field name="home" family="env" qualifier="home"/>
    <field name="shell" family="env" qualifier="shell"/>
  </class>

</gora-otd>

6、编写类文件

package org.ljh.gora.demo;

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.text.ParseException;

import org.apache.gora.store.DataStore;
import org.apache.gora.store.DataStoreFactory;
import org.apache.hadoop.conf.Configuration;
import org.ljh.gora.demo.generated.Passwd;

public class PasswdManager {

    private DataStore<Long, Passwd> dataStore = null;

    public PasswdManager() {
        try {
            init();
        } catch (IOException ex) {
            throw new RuntimeException(ex);
        }
    }

    private void init() throws IOException {
        dataStore = DataStoreFactory.getDataStore(Long.class, Passwd.class,
                new Configuration());
    }

    private void parse(String input) throws IOException, ParseException,
            Exception {
        BufferedReader reader = new BufferedReader(new FileReader(input));
        long lineCount = 0;
        try {
            String line = reader.readLine();
            do {
                Passwd passwd = parseLine(line);
                if (passwd != null) {
                    dataStore.put(lineCount++, passwd);
                    dataStore.flush();
                }
                line = reader.readLine();
            } while (line != null);

        } finally {
            reader.close();
            dataStore.close();
        }
    }

    /** Parses a single log line in combined log format using StringTokenizers */
    private Passwd parseLine(String line) throws ParseException {

        String[] tokens = line.split(":");
        System.out.println(tokens[0] + tokens[1] + "\n\n\n");

        String loginname = tokens[0];
        String password = tokens[1];
        int uid = Integer.parseInt(tokens[2]);
        int gid = Integer.parseInt(tokens[3]);
        String username = tokens[4];
        String home = tokens[5];
        String shell = tokens[6];

        Passwd passwd = new Passwd();
        passwd.setLoginname(loginname);
        passwd.setPasswd(password);
        passwd.setUid(uid);
        passwd.setGid(gid);
        passwd.setUsername(username);
        passwd.setHome(home);
        passwd.setShell(shell);

        return passwd;
    }

    public static void main(String[] args) throws IOException, ParseException,
            Exception {
        PasswdManager manager = new PasswdManager();
        manager.parse("passwd");
    }
}

7、从eclipsse导出程序，上传到服务器中，并运行程序

$ java -jar GoraDemo.jar

（1）导出的程序应为runnable jar file。

（2）运行程序的服务器器中需要运行着hbase。

8、查看结果

hbase(main):006:0> scan 'Passwd'
ROW                                         COLUMN+CELL
 \x00\x00\x00\x00\x00\x00\x00\x00           column=common:gid, timestamp=1422544581799, value=\x00\x00\x00\x00
 \x00\x00\x00\x00\x00\x00\x00\x00           column=common:loginname, timestamp=1422544581799, value=root
 \x00\x00\x00\x00\x00\x00\x00\x00           column=common:passwd, timestamp=1422544581799, value=x
 \x00\x00\x00\x00\x00\x00\x00\x00           column=common:uid, timestamp=1422544581799, value=\x00\x00\x00\x00
 \x00\x00\x00\x00\x00\x00\x00\x00           column=common:username, timestamp=1422544581799, value=root
………………………………

另外，关于读取数据库及删除数据的操作，请参考本文最前面的参考文档。

时间： 2024-10-09 10:00:51

Gora快速入门的相关文章

Nutch 快速入门(Nutch 2.2.1+Hbase+Solr)

http://www.tuicool.com/articles/VfEFjm Nutch 2.x 与 Nutch 1.x 相比,剥离出了存储层,放到了gora中,可以使用多种数据库,例如HBase, Cassandra, MySql来存储数据了.Nutch 1.7 则是把数据直接存储在HDFS上. 1. 安装并运行HBase 为了简单起见,使用Standalone模式,参考 HBase Quick start 1.1 下载,解压 wget http://archive.apache.org/di

笔记：Spring Cloud Zuul 快速入门

Spring Cloud Zuul 实现了路由规则与实例的维护问题,通过 Spring Cloud Eureka 进行整合,将自身注册为 Eureka 服务治理下的应用,同时从 Eureka 中获取了所有其他微服务的实例信息,这样的设计非常巧妙的将服务治理体系中维护的实例信息利用起来,使得维护服务实例的工作交给了服务治理框架自动完成,而对路由规则的维护,默认会将通过以服务名作为 ContextPath 的方式来创建路由映射,也可以做一些特别的配置,对于签名校验.登录校验等在微服务架构中的冗余问题

javaweb-html快速入门

本文主要是进行HTML简单介绍(详细的属性查帮助文档就行了,这里主要为快速入门,赶时间,在最短的时间中看明白一个html文件的代码(如果能称之为代码的话)详细的样式表,布局啥的有时间再研究吧) HTML 1.html的简介 1.1,html的全称:HyperText Mark-up Language ,超文本标记型语言,是网页的语言. 超文本:比文本更加强大(后面还会讲到XML,可扩展标记性语言) 标记:就是标签,html所有操作都是通过标签直接或间接的操作(把需要操作的数据通过标签封装起来)

crosswalk 快速入门，利用WebRTC（html）开始开发视频通话

crosswalk 快速入门,利用WebRTC(html)开始开发视频通话 安装Python 从http://www.python.org/downloads/ 下载安装程序 安装完后,再添加到环境变量. 安装Oracle JDK 下载页面: http://www.oracle.com/technetwork/java/javase/downloads/ 选择要下载的Java版本(推荐Java 7). 选择一个JDK下载并接受许可协议. 一旦下载,运行安装程序. 安装Ant Ant:下载http

bash编程快速入门

首先,我们简单的介绍一下bash,bash是GNU计划编写的Unixshell,它是许多Linux平台上的内定shell,它提供了用户与系统的很好的交互,对于系统运维人员,bash的地位是举足轻重的,bash编程能很快处理日常的任务 bash入门,一个最简单的bash例子 #vim hello.sh #!/bin/bash #This is the first example of the bash #echo "Hello world" 下面,我们就这个简单的bash 脚本来介绍一下

定时器(Quartz)快速入门

Quartz概述 Quartz中的触发器 Quartz中提供了两种触发器,分别是CronTrigger和SimpleTrigger. SimpleTrigger 每 隔若干毫秒来触发纳入进度的任务.因此,对于夏令时来说,根本不需要做任何特殊的处理来"保持进度".它只是简单地保持每隔若干毫秒来触发一次,无论你的 SimpleTrigger每隔10秒触发一次还是每隔15分钟触发一次,还是每隔24小时触发一次. CronTrigger 在特定"格林日历"时刻触发纳入进程的

vue.js--60分钟快速入门

Vue.js--60分钟快速入门 Vue.js是当下很火的一个JavaScript MVVM库,它是以数据驱动和组件化的思想构建的.相比于Angular.js,Vue.js提供了更加简洁.更易于理解的API,使得我们能够快速地上手并使用Vue.js. 本文摘自:http://www.cnblogs.com/keepfool/p/5619070.html 如果你之前已经习惯了用jQuery操作DOM,学习Vue.js时请先抛开手动操作DOM的思维,因为Vue.js是数据驱动的,你无需手动操作DOM

Netty5快速入门及实例视频教程（整合Spring）

Netty5快速入门及实例视频教程+源码(整合Spring) https://pan.baidu.com/s/1pL8qF0J 01.传统的Socket分析02.NIO的代码分析03.对于NIO的一些疑惑04.Netty服务端HelloWorld入门05.Netty服务端入门补充06.Netty客户端入门07.如何构建一个多线程NIO系统08.Netty源码分析一09.Netty源码分析二10.Netty5服务端入门案例11.Netty5客户端入门案例12.单客户端多连接程序13.Netty学习

一起学Google Daydream VR开发，快速入门开发基础教程一：Android端开发环境配置一

原文因涉及翻墙信息,被强制删除,此文为补发! 准备工作 进入Google Daydream开发者官网,开启准备工作,官网地址:https://vr.google.com/daydream/developers/ -------------------------------------------------------------------------------------------------------------------- Google Daydream开发者网址: https