Avro序列化与反序列化

4、Avro实现序列化的步骤

1、创建maven工程,引入pom文件(定义属性和依赖信息,以及定义Avro插件)

2、根据Avro插件的要求,更改maven工程结构,需要创建一个source/main/avro源目录

3、根据avro的schema(模式)要求,创建模式文件(放在新建的源目录中),写好之后

4、执行 run-->maven generator sources命令,通过avro插件生成模式文件对应的java类

5、将数据封装到java类中,然后通过avro的API进行序列化和反序列化操作

1)设置属性值的方法:1)通过java平常的API  2)借助newBuilder()和build()方法:new Student().newBuilder(stu1).setAge(21).build();

2)创建schema文件产生的要序列化的对象stu,并赋值

3)创建DatumWriter<>对象,DatumWriter dw = new SpecificDatumWriter<>();

4)创建DataFileWriter<>对象,DataFileWriter<> dfw = new DataFIleWriter<>(df);

5)创建序列化通道 dfw.create(schema,file);schema:被序列化对象的对应模式

File:将序列化对象写入到哪一个文件中

6)将对象序列化到指定的文件中

dfw.append(stu);

反序列化:

1)创建DatumReader<>对象,DatumReader dr= new SpecificDatumReader<>();

2)创建DataFileReader<>对象,DataFileReader<> dfr= new DataFIleReader<>(new File(“1.txt”),dr);

3)判断是否还有需要反序列化的内容

While(dfr.hasNext( ) ){ dfr.next()}

时间: 2024-12-17 11:11:59

Avro序列化与反序列化的相关文章

Apache Avro 序列化与反序列化 (Java 实现)

像两个交流一样要找一个互相能理解的语言, 在国内为普通话, 跑国外多用英语相通, 两个进程间通信也需要找一个大家都能理解的数据格式. 简单的如 JSON, XML, 那是自我描述性格式, XML 有 Schema 定义, 但尚无正式的 JSON Schema 规范. 在讲求效率的场合, 纯文本式的数据交换格式无法满足要求, 于是有二进制的 Google Protobuf 和 Apache Avro. 在 Apache 的生态像 Hadoop, Kafka 中自然是选用 Avro. Avro 支持

序列化和反序列化[转]

http://tech.meituan.com/serialization_vs_deserialization.html #摘要序列化和反序列化几乎是工程师们每天都要面对的事情,但是要精确掌握这两个概念并不容易:一方面,它们往往作为框架的一部分出现而湮没在框架之中:另一方面,它们会以其他更容易理解的概念出现,例如加密.持久化.然而,序列化和反序列化的选型却是系统设计或重构一个重要的环节,在分布式.大数据量系统设计里面更为显著.恰当的序列化协议不仅可以提高系统的通用性.强健性.安全性.优化系统性

序列化和反序列化-刘丁

#一.定义以及相关概念 互联网的产生带来了机器间通讯的需求,而互联通讯的双方需要采用约定的协议,序列化和反序列化属于通讯协议的一部分.通讯协议往往采用分层模型,不同模型每层的功能定义以及颗粒度不同,例如:TCP/IP协议是一个四层协议,而OSI模型却是七层协议模型.在OSI七层协议模型中展现层(Presentation Layer)的主要功能是把应用层的对象转换成一段连续的二进制串,或者反过来,把二进制串转换成应用层的对象--这两个功能就是序列化和反序列化. 一般而言,TCP/IP协议的应用层对

java序列化与反序列化以及浅谈一下hadoop的序列化

1.什么是序列化和反序列化 神马是序列化呢,序列化就是把内存中的对象的状态信息,转换成字节序列以便于存储(持久化)和网络传输.(网络传输和硬盘持久化,你没有一定的手段来进行辨别这些字节序列是什么东西,有什么信息,这些字节序列就是垃圾). 反序列化就是将收到字节序列或者是硬盘的持久化数据,转换成内存中的对象. 2.JDK的序列化 JDK的序列化只有实现了serializable接口就能实现序列化与反序列化,但是记得一定要加上序列化版本ID serialVersionUID 这个是识别序列化的之前那

avro序列化详细操作

Intellij 15.0.3 Maven avro 1.8.0 Avro是一个数据序列化系统. 它提供以下: 1 丰富的数据结构类型 2 快速可压缩的二进制数据形式 3 存储持久数据的文件容器 4 远程过程调用RPC 5 简单的动态语言结合功能,Avro和动态语言结合后,读写数据文件和使用RPC协议都不需要生成代码,而代码生成作为一种可选的优化只值得在静态类型语言中实现. Avro依赖于模式(Schema).Avro数据的读写操作是很频繁的,而这些操作都需要使用模式,这样就减少写入每个数据资料

关于序列化和反序列化

关于序列化和反序列化是一个老生常谈的问题,在这里概述一下较为容易理解的内容. 备注:红色为重点 一.定义以及相关概念 基于OSI七层协议模型: 互联网的产生带来了机器间通讯的需求,而互联通讯的双方需要采用约定的协议,序列化和反序列化属于通讯协议的一部分.通讯协议往往采用分层模型,不同模型每层的功能定义以及颗粒度不同,例如:TCP/IP协议是一个四层协议,而OSI模型却是七层协议模型.在OSI七层协议模型中展现层(Presentation Layer)的主要功能是把应用层的对象转换成一段连续的二进

序列化和反序列化1

本文来自:http://kb.cnblogs.com/page/515982/ 作者: 刘丁  来源: 美团技术团队  发布时间: 2015-04-23 17:01  阅读: 1541 次  推荐: 3   原文链接   [收藏] 摘要 序列化和反序列化几乎是工程师们每天都要面对的事情,但是要精确掌握这两个概念并不容易:一方面,它们往往作为框架的一部分出现而湮没在框架之中:另一方面,它们会以其他更容易理解的概念出现,例如加密.持久化.然而,序列化和反序列化的选型却是系统设计或重构一个重要的环节,

【转载】序列化和反序列化

#摘要序列化和反序列化几乎是工程师们每天都要面对的事情,但是要精确掌握这两个概念并不容易:一方面,它们往往作为框架的一部分出现而湮没在框架之中:另一方面,它们会以其他更容易理解的概念出现,例如加密.持久化.然而,序列化和反序列化的选型却是系统设计或重构一个重要的环节,在分布式.大数据量系统设计里面更为显著.恰当的序列化协议不仅可以提高系统的通用性.强健性.安全性.优化系统性能,而且会让系统更加易于调试.便于扩展.本文从多个角度去分析和讲解"序列化和反序列化",并对比了当前流行的几种序列

序列化和反序列化技术的分析和选择

转自:https://tech.meituan.com/serialization_vs_deserialization.html 美团点评技术团队的文章 #摘要序列化和反序列化几乎是工程师们每天都要面对的事情,但是要精确掌握这两个概念并不容易:一方面,它们往往作为框架的一部分出现而湮没在框架之中:另一方面,它们会以其他更容易理解的概念出现,例如加密.持久化.然而,序列化和反序列化的选型却是系统设计或重构一个重要的环节,在分布式.大数据量系统设计里面更为显著.恰当的序列化协议不仅可以提高系统的通