Hadoop序列化学习笔记（一）

什么是序列化？

序列化（serialization），是指将结构化对象转化为字节流，以便在网络上传输或写入磁盘进行永久存储。

反序列化（deserialization），是指将字节流重新转换为结构化对象。

Hadoop使用哪种序列化框架？

Hadoop使用自己的序列化格式Writable，除开Writable，Hadoop也支持Avro序列化框架。

Writable格式紧凑，速度快。，但很难使用除开Java之外的语言对它进行扩展。

Avro支持跨语言使用，意思是，可以用Python写入文件，而用C语言来读取文件。

Hadoop提供的Writable类型

Writable接口

package org.apache.hadoop.io;

import java.io.DataOutput;
import java.io.DataInput;
import java.io.IOException;

public interface Writable {
	/**
	 * * Serialize the fields of this object to <code>out</code>. * @param out
	 * <code>DataOuput</code> to serialize this object into.
	 *
	 * @throws IOException
	 */
	void write(DataOutput out) throws IOException;

	/**
	 * * Deserialize the fields of this object from <code>in</code>. * *
	 * <p>
	 * For efficiency, implementations should attempt to re-use storage in the *
	 * existing object where possible.
	 * </p>
	 * * * @param in <code>DataInput</code> to deseriablize this object from.
	 *
	 * @throws IOException
	 */
	void readFields(DataInput in) throws IOException;
}

如何定制writable

     虽然Hadoop内建了多种Writable供用户选择，但当我们需要使用更加复杂的对象的时候，内建的Writable有可能不能满足我们的需求，这就需要我们定制自己的Writable了。

一个定制的Writable类首先必须实现Writable或者WritableComparable接口，然后为定制的Writable类编写

write(DataOutput out)和readFields(DataInput in)方法，来控制定制的Writable类如何转化为字节流（write方法）和如何从字节流转回为Writable对象。