OkHttp深入学习(四)——0kio

上一节《OkHttp深入学习(三)——Cache》我们对okhttp中的Cache缓存机制进行了学习,学习了上一节的内容,如果叫我们自己去设计一个缓存机制,那么我们一定会有了自己的思路,想想还有点小激动。这一节我们继续来看看okhttp这个教科书中还有什么值得我们继续挖掘的东西。果不其然,我们发现了okio这个好东西,该类主要负责对java中io的封装,使得java中的io流读写更加方便,甚至还能提高读写效率。okio项目开源地址请戳这里。在正式学习之前,我们先来了解一下它是如何使用的,随后我们再根据涉及到的内容进行深入学习。

okio的数据存储实体

okio提供了ByteString和Buffer两钟数据类型,用于存储数据。

ByteString存储的是不可变比特序列,可能你不太理解这句话,如果给出final byte[] data你是不是就懂了呢。官方文档说可以把它看成String的远方亲戚,且这个亲戚符合人体工学设计,有没有感觉很高大上。不过简单的讲它就是能够对一个byte序列(数组),以指定的编码格式进行编解码。目前支持的编解码规则有hex, base64和 UTF-8等。机智的朋友会说jav.lang.String也可以实现这些功能,是的你说的没错,ByteString只是把这些方法进行了封装,免去了我们直接输入类似"UTF-8"这样的字符串,通过直接调用byteString.utf8()获取对应的解码结果,你说哪个方便?使用前面的方法容易引入输出时的错误,在敲UTF-8这几个字符的时候可能会出现输入的错误。所以总的来讲ByteString干了一件封装的事情,它把经常用到的几种编解码方式进行了封装,不过封装的好处避免了犯错。最后ByteString对于UTF-8格式的解码还做了优化,在第一次调用utf8()方法的时候得到一个该编码的String,同时在ByteString内部保留了这个引用 ,当再次调用utf8()的时候则直接返回这个引用。

Buffer存储的是可变比特序列,需要注意的是Buffer内部对比特数据的存储不是直接使用一个byte数组那么简单,它使用了一种新的数据类型Segment进行存储。不过我们先不去管Segment是什么东西,可以先直接将Buffer想象成一个ArrayList集合就可以了,之所以做这样的想象是因为Buffer的容量可以动态拓展,从序列的尾部存入数据,从序列的头部读取数据。其实Buffer的底层实现远比ArrayList复杂的多,它使用的是一个双向链表的形式存储数据,链表结点的数据类型就是前面说的Segment,Segment中存储有一个不可变比特序列,即final
byte[] data。使用Buffer的好处在于在从一个Buffer移动到另一个Buffer的时候,实际上并没有对比特序列进行拷贝,只是改变了对应Segment的所有者,其实这也采用链表存储数据的好处,这样的特点在多线程网络通信中会带来很大的好处。最后使用Buffer还有另一个好处那就是它实现了BufferedSource和BufferedSink接口,这两个接口我们后面再讲,主要是实现了形如nextInt等方法,方便从buffer中读取数据,否则Buffer中存储的byte数据我们并不能直接拿来使用。

上面的文字有点多,我们对ByteString和Buffer做个小节。ByteString存储了一个final byte[] data比特数组,通过调用ByteString的相关方法对存储的比特数据进行相应的编解码,常用编解码有UTF-8、Base64和hex。Buffer用双向链表形式存储了一系列的Segment结点,Segment结点中存储final
byte[] data比特数组;Buffer实现了BufferedSource和BufferedSink接口,通过调用形如buffer.readXX()方法将比特数组进行解码,返回XX类型的数据,就像scanner.nextInt一样使用。

okio的输入输出流

接下来看看okio中与java sdk中的InputStream和OutPutStream两个对应的接口,Sink和Source。官方认为sink和source接口相对于java
sdk的inputStream和OutputStream更加容易实现,定义sink和source两个接口的作者认为,sdk中的available()和读写单字节的方法纯属鸡肋。

  • Sink定义了四个方法write(Buffer source, long byteCount), flush(), close(), and timeout();
  • Source定义了三个方法long read(Buffer sink, long byteCount), close(), and timeout();

虽然Sink和Source只定义了很少的方法,这也是为何说它容易实现的原因,但是我们在使用过程中,并不直接拿它进行使用,而是使用BufferedSink和BufferedSource对前面的接口进行再度的封装,BufferedSink和BufferedSource接口定义了一系列好用的方法。

  • BufferedSink定义了writeUtf8、writeString、writeByte、writeShort、 writeInt、writeLong等常用方法;
  • BufferedSource定义了readByte()、readShort()、readInt()、readLong()、readUtf8()等常用方法;

最后okio的作者认为,java的sdk对字节流和字符流进行分开定义这一事情,并不是那么优雅,特此okio并不进行这样的划分。具体做法就是把比特数据都交给Buffer管理,然后Buffer实现BufferedSource和BufferedSink这两个接口,最后通过调用buffer相应的方法对数据进行编解码。

okio的实例

private static final ByteString PNG_HEADER = ByteString.decodeHex("89504e470d0a1a0a");

public void decodePng(InputStream in) throws IOException {

BufferedSource pngSource = Okio.buffer(Okio.source(in)); //note1

ByteString header = pngSource.readByteString(PNG_HEADER.size()); //note2

if (!header.equals(PNG_HEADER)) {

throw new IOException("Not a PNG.");

}

while (true) {

Buffer chunk = new Buffer(); //note3

// Each chunk is a length, type, data, and CRC offset.

int length = pngSource.readInt(); //note4

String type = pngSource.readUtf8(4);

pngSource.readFully(chunk, length); //note5

int crc = pngSource.readInt();

decodeChunk(type, chunk);

if (type.equals("IEND")) break;

}

pngSource.close(); //note7

}

private void decodeChunk(String type, Buffer chunk) {

if (type.equals("IHDR")) {

int width = chunk.readInt(); //note6

int height = chunk.readInt();

System.out.printf("%08x: %s %d x %d%n", chunk.size(), type, width, height);

} else {

System.out.printf("%08x: %s%n", chunk.size(), type);

}

}

1、将InputStream转换为BufferedSource对象

2、将指定长度的比特数据转换成ByteString数据

3、创建Buffer对象

4、从第一步获取到的BufferedSource中读取到int和UTF8数据

5、读取固定长度的数据到Buffer中

6、Buffer的读写跟BufferedSource和BufferedSink一样,因为它们实现了同样的接口

7、关闭第一步得到的输出流。

总的来讲okio的使用就是首先创建一个对应的BufferedSource和BufferedSink对象,随后利用相关方法,获取或写入ByteString、Buffer、int、long等类型数据,对于Buffer数据可以通过调用与BufferedSource和BufferedSink一样的方法对已经读取到的数据进行进一步的解析。

okio的原理介绍

上面我们对于okio的基本情况进行了介绍,同时给出了一个简答的使用案例。本小节将对底层的实现进行介绍。介绍的内容以前面的几个小节涉及到的内容为主,首先对ByteString、Buffer两个数据类型介绍,随后对Okio.buffer和Okio.source两个方法进行介绍。

ByteString

按照以往的惯例,首先看看该对象都有哪些域:

static final char[] HEX_DIGITS = { '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'a', 'b', 'c', 'd', 'e', 'f' }; //很明显这个肯定是在进行hex解析的时候被使用到
final byte[] data;
transient int hashCode; //说是String远方亲戚也不假,String也有类似上面的两个域
transient String utf8; //这个域的存在就是实现了对utf-8解码的优化,是一个对utf8解码String的优化

ByteString()@ByteString.class

ByteString(byte[] data) {
    this.data = data;
}

构造器的参数为一个byte[]类型,不过该构造器只能被同包的类使用,因此我们创建ByteString对象并不是通过该方法。我们是如何构造一个ByteString对象?看下面的方法

[email protected]

public static ByteString of(byte... data) {
    if (data == null) throw new IllegalArgumentException("data == null");
    return new ByteString(data.clone());//note1
}
public static ByteString of(byte[] data, int offset, int byteCount) {
    if (data == null) throw new IllegalArgumentException("data == null");
    checkOffsetAndCount(data.length, offset, byteCount);//note2
    byte[] copy = new byte[byteCount];
    System.arraycopy(data, offset, copy, 0, byteCount);//note3
    return new ByteString(copy);
}

1、调用clone方法,重新创建一个byte数组,clone一个数组的原因很简单,我们确保ByteString的data域指向的byte[]没有被其它对象所引用,否则就容易破坏ByteString中存储的是一个不可变比特流数据这一约束。

2、边界检查

3、老朋友了,将data中指定的数据拷贝到copy数组中去。

接下来对ByteString的相关方法进行介绍,在此并不准备对byteString中的所有方法进行介绍,只是介绍几个常用的方法。

toString()@ByteString.class

public String toString() {
    if (data.length == 0) {
      return "ByteString[size=0]";
    }
    if (data.length <= 16) {
      return String.format("ByteString[size=%s data=%s]", data.length, hex());
    }
    return String.format("ByteString[size=%s md5=%s]", data.length, md5().hex());
}

很简单,这就不讲了,将data数据分别以hex和md5格式打印

utf8()@ByteString.class

public String utf8() {
    String result = utf8;
    return result != null ? result : (utf8 = new String(data, Util.UTF_8));
}

这里的一个判断语句,实现ByteString性能的优化,看来优化这个东西还是很容易实现的嘛。第一次创建UTF-8对象的方法是调用new String(data, Util.UTF_8),后面就不再调用该方法而是直接返回result;发现utf8就是对String的方法进一步封装,ByteString中很多其它的方法也类似,在此就不讲了。

在正式介绍Buffer之前我们先来了解一下Segment。

Segment.class

需要注意的是这是一个双向链表结构!!

按照以往的惯例,首先看看该对象都有哪些域:

static final int SIZE = 2048; //一个Segment存储的最大比特数据的数量
final byte[] data; //比特数组的引用
int pos; //pos第一个可以读的位置
int limit; //limit是第一个可以写的位置,所以一个Segment的可读数据数量为pos~limit-1=limit-pos;limit和pos的有效值为0~SIZE-1
boolean shared; //当前存储的data数据是其它对象共享的则为真
boolean owner; //是当前data的所有者
Segment next; //下一个Segment
Segment prev; //前一个Segment

Segment()@Segment.class

  Segment() {
    this.data = new byte[SIZE];
    this.owner = true; //note1
    this.shared = false; //note2
  }
  Segment(Segment shareFrom) {
    this(shareFrom.data, shareFrom.pos, shareFrom.limit);
    shareFrom.shared = true; //note3
  }
  Segment(byte[] data, int pos, int limit) {
    this.data = data;
    this.pos = pos;
    this.limit = limit;
    this.owner = false; //note4
    this.shared = true; //note5
  }

1、采用该构造器表明该数据data的所有者是该Segment,故owner为真

2、数据不是来自其它对象,所以shared为假

3、数据来自其它的Segment,设置参数Segment的Shared为真,表明该Segment数据被别人共享了

4、数据是来自其它对象,所以shared为真

pop()@Segment.class

public Segment pop() {
    Segment result = next != this ? next : null;
    prev.next = next;
    next.prev = prev;
    next = null;
    prev = null;
    return result;
}

将当前Segment从Segment链中移除出去。返回参数Segment的后一个Segment

push()@Segment.class

public Segment push(Segment segment) {
    segment.prev = this;
    segment.next = next;
    next.prev = segment;
    next = segment;
    return segment;
  }

将参数中的Segment压人调用该方法的Segment结点后面。返回刚刚压入的Segment

split()@Segment.class

public Segment split(int byteCount) {
    if (byteCount <= 0 || byteCount > limit - pos) throw new IllegalArgumentException();
    Segment prefix = new Segment(this);
    prefix.limit = prefix.pos + byteCount;
    pos += byteCount;
    prev.push(prefix);
    return prefix;
  }

该方法用于将Segment一分为二,将pos+1~pos+byteCount-1的内容给新的Segment,将pos+byteCount~limit-1的内容留给自己,然后将前面的新Segment插入到自己前面。这里需要注意的是,虽然这里变成了两个Segment但是实际上byte[]数据并没有被拷贝,两个Segment都引用该Segment。

下面介绍的这个方法尝试将当前Segment和它之前的Segment进行合并,目的是减少Segment数量,如果没有任何异常出现的话,结果就是将调用该方法的Segment从Segment链中被移除出去。

compact()@Segment.class

public void compact() {
    if (prev == this) throw new IllegalStateException();
    if (!prev.owner) return; //note1
    int byteCount = limit - pos; //note2
    int availableByteCount = SIZE - prev.limit + (prev.shared ? 0 : prev.pos); //note3
    if (byteCount > availableByteCount) return; //note4
    writeTo(prev, byteCount); //note5
    pop(); //note6
    SegmentPool.recycle(this); //note7
  }

1、如果当前Segment前结点不是自己,且前结点具备可写性。则进行下列操作,或者说下列操作的前提是当前结点的前结点可以写入数据

2、记录当前Segment具有的数据,数据大小为limit-pos-1;

3、统计前结点是否被共享,如果共享则只记录Size-limit大小,如果没有被共享,则加上pre.pos之前的空位置;

4、判断pre拥有的空余位置是否够将当前Segment的全部数据存入进来;

5、将当前Segment中数据写入pre中

6、将当前Segment从Segment链表中移除

7、回收该Segment

下面这个方法的作用就是将调用该方法的Segment中的byteCount个数据写入到方法参数的Segment中。

writeTo()@Segment.class

public void writeTo(Segment sink, int byteCount) {
    if (!sink.owner) throw new IllegalArgumentException(); //note1
    if (sink.limit + byteCount > SIZE) { //note2
      if (sink.shared) throw new IllegalArgumentException(); //note3
      if (sink.limit + byteCount - sink.pos > SIZE) throw new IllegalArgumentException(); //note4
      System.arraycopy(sink.data, sink.pos, sink.data, 0, sink.limit - sink.pos); //note5
      sink.limit -= sink.pos;
      sink.pos = 0;
    }
    System.arraycopy(data, pos, sink.data, sink.limit, byteCount);//note6
    sink.limit += byteCount;
    pos += byteCount;
}

1、首先判断参数sink是否具有更改数据的权限,没有则抛出异常,运行时异常不需要捕获

2、如果当前写入的数据在limit~SIZE-1之间得不到满足,意味着需要先将sink中的数据移动到字节数组的最前端,因此需要进行下面的判断,判断是否可移动不能则抛出异常

3、当前Fragment处于可共享的状态,抛出异常

4、条件转换为 byteCount  > SIZE-(sink.limit-sink.pos),意味着当前Segment没有足够的空间写入byteCount数据

5、

这里我们来复习一下arraycopy方法public static native void arraycopy(Object src,  int  srcPos, Object dest, int destPos, int length); 将src中的srcPos~srcPos+length-1的数据复制到dest中的destPos~destPos+length-1位置处;
该方法很重要只要涉及到数组的移动,最底层都是调用该方法。

那么note5中的含义就是将pos~limit-1之间的数据移动到0~limit-pos-1位置处,并设置Segment.limit值为limit-pos,sink.pos设置为0;

6、将当前Segment的pos~pos+byteCount-1之间的数据复制到sink的limit~limit+byteCount-1之间,同时设置sink.limit和当前Segment的pos值。

到此为止我们对于Segment的分析就结束了,但是在我们正式介绍Buffer之前,还需要介绍一下SegmentPool这个类,在compact()方法的最后我们调用egmentPool.recycle(this);方法对该Segment资源进行回收。

SegmentPool.class

按照以往的惯例,首先看看该对象都有哪些域:

static final long MAX_SIZE = 64 * 1024; // 大家是否还记得一个Segment记录的数据最大长度为2048?因此该Segment相当于能存储32个Segment对象。不过为何不是32*2048?
static Segment next; //该SegmentPool存储了一个回收Segment的链表
static long byteCount; //该值记录当前存储的所有Segment总大小,最大值为MAX_SIZE

take()@SegmentPool.class

static Segment take() {
    synchronized (SegmentPool.class) {
      if (next != null) {
        Segment result = next;
        next = result.next;
        result.next = null;
        byteCount -= Segment.SIZE;
        return result;
      }
    }
    return new Segment(); // Pool is empty. Don't zero-fill while holding a lock.
}

方法很简单,就是尝试从SegmentPool的Segment链表中取出一个Segment对象,如果链表为空则创建一个Segment对象返回。

recycle()@SegmentPool.class

static void recycle(Segment segment) {
    if (segment.next != null || segment.prev != null) throw new IllegalArgumentException();
    if (segment.shared) return; // This segment cannot be recycled.
    synchronized (SegmentPool.class) {
      if (byteCount + Segment.SIZE > MAX_SIZE) return; // Pool is full.
      byteCount += Segment.SIZE;
      segment.next = next;
      segment.pos = segment.limit = 0;
      next = segment;
    }
  }

方法同样很简单,就是尝试将参数的Segment对象加入到自身的Segment链表中,如果SegmentPool已经满了,则直接抛弃该Segment,否则加入到链表中。

细心的同学肯定发现,SegmentPool中的域和方法都是static修饰的,原因很简单,SegmentPool的作用就是管理多余的Segment,不直接丢弃废弃的Segment,等客户需要Segment的时候直接从该池中获取一个对象,避免了重复创建新对象,提高资源利用率。

在正式进入Buffer内容前我们先梳理一下,我们期望从中了解的内容,我们参照ByteString部分的讲解,这里我们需要学习和了解如何构建一个Buffer对象,Buffer中的数据如何管理、存储,Buffer中的buffer.readXX()方法底层是如何实现的。有了这些目标我们就来分析一下Buffer这个类。

Buffer.class

首先看看该对象都有哪些域:

static final char[] HEX_DIGITS = { '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'a', 'b', 'c', 'd', 'e', 'f' }; //很明显这个肯定是在进行hex解析的时候被使用到
Segment head; //Buffer存储了一个这样的head结点,这就是Buffer对数据的存储结构。字节数组都是交给Segment进行管理。
long size; //当前存储的数据的大小

Buffer()@Buffer.class

public Buffer() {
}

构造器是空的!不过想想构造器是空的也不足为奇,因为即使构造器是空的,其实域中的值也早就被赋了值,即segment=null,size=0;

前面一直讲Buffer到Buffer之间的移动数据效率是如何如何的牛逼,这里我们就一探究竟

copyTo()@@Buffer.class

public Buffer copyTo(Buffer out, long offset, long byteCount) {
    if (out == null) throw new IllegalArgumentException("out == null");
    checkOffsetAndCount(size, offset, byteCount);
    if (byteCount == 0) return this;
    out.size += byteCount; //note1
    Segment s = head;
    for (; offset >= (s.limit - s.pos); s = s.next) { //note2
      offset -= (s.limit - s.pos);
    }
    // note3
    for (; byteCount > 0; s = s.next) {
      Segment copy = new Segment(s);
      copy.pos += offset;
      copy.limit = Math.min(copy.pos + (int) byteCount, copy.limit);
      if (out.head == null) {
        out.head = copy.next = copy.prev = copy;
      } else {
        out.head.prev.push(copy);
      }
      byteCount -= copy.limit - copy.pos;
      offset = 0;
    }
    return this;
  }

1、更改目标Buffer的size值

2、求出从当前Buffer的head需要扩过多少个segment才能能够满足offset,之后将对该s往后的byteCount个数据进行拷贝

3、每次插入一个Segment节点,实际创建的new Fragment并不是真的创建一个Segment对象,而是将Segment中的数据进行共享。

4、注意!!Buffer中建立的链表是一个双向链表结构,所以out.head.prev等价于获取到了buffer双向链表的尾部Segment节点,随后在该尾部节点后插入新得到Segment。

下面我们最后看一个readInt方法

readInt()@Buffer.class

public int readInt() {
    if (size < 4) throw new IllegalStateException("size < 4: " + size); //note1
    Segment segment = head;
    int pos = segment.pos;
    int limit = segment.limit;
    //note2
    if (limit - pos < 4) {
      return (readByte() & 0xff) << 24
          |  (readByte() & 0xff) << 16
          |  (readByte() & 0xff) <<  8
          |  (readByte() & 0xff);
    }
   //note3
    byte[] data = segment.data;
    int i = (data[pos++] & 0xff) << 24
        |   (data[pos++] & 0xff) << 16
        |   (data[pos++] & 0xff) <<  8
        |   (data[pos++] & 0xff);
    size -= 4;
    if (pos == limit) { //note4
      head = segment.pop();
      SegmentPool.recycle(segment);
    } else {
      segment.pos = pos;
    }
    return i; //note5
  }

1、很明显一个int数据的字节数是4,所以必须保证当前buffer的size大于4

2、当前的Segment所包含的字节数小于4,因此还需要去下一个Segment中获取一部分数据,因此通过调用readByte()方法一字节一个字节的读取,该方法我们后面进行介绍。

3、当前的Segment数据够用,因此直接从pos位置起读取4个字节数据,然后将其转换为int数据,转换方式很简单就是进行移位和或运算

4、如果pos==limit证明当前head对应的Segment没有可读数据,因此将该Segment从双向链表中移除出去,并回收该Segment。如果还有数据则刷新Segment的pos值。

5、返回解析得到的int值

readByte()@Buffer.class

public byte readByte() {
    if (size == 0) throw new IllegalStateException("size == 0");
    Segment segment = head;
    int pos = segment.pos;
    int limit = segment.limit;
    byte[] data = segment.data;
    byte b = data[pos++]; //note1
    size -= 1;
    if (pos == limit) { //note2
      head = segment.pop();
      SegmentPool.recycle(segment);
    } else {
      segment.pos = pos;
    }
    return b; //note3
  }

1、从当前Segment中获取一个字节数据

2、如果pos==limit证明当前head对应的Segment没有可读数据,因此将该Segment从双向链表中移除出去,并回收该Segment,如果还有数据则刷新Segment的pos值。

3、返回读到的字节数据

到此为止我们对okio的数据存储内容就介绍到这里,下面我们对Okio.buffer、Okio.source、Okio.sink这几个方法进行介绍。

Okio.class

Okio为我们提供了如下的方法获取一个Source对象:共计5个方法

Source source(final InputStream in) { return source(in, new Timeout());}
Source source(File file) throws FileNotFoundException{ return source(new FileInputStream(file)); }
Source source(Path path, OpenOption... options) throws IOException { return source(Files.newInputStream(path, options)); }
Source source(final Socket socket) throws IOException{
    AsyncTimeout timeout = timeout(socket);
    Source source = source(socket.getInputStream(), timeout);
    return timeout.source(source);
}

上面的无论参数是path、file、socket、InputStream最终都是会调用下面的方法创建一个Source对象

Source source(final InputStream in, final Timeout timeout){  }

source()@Okio.class

  private static Source source(final InputStream in, final Timeout timeout) {
    if (in == null) throw new IllegalArgumentException("in == null");
    if (timeout == null) throw new IllegalArgumentException("timeout == null");
    return new Source() {
      @Override public long read(Buffer sink, long byteCount) throws IOException {
        if (byteCount < 0) throw new IllegalArgumentException("byteCount < 0: " + byteCount);
        if (byteCount == 0) return 0;
        timeout.throwIfReached();//note1
        Segment tail = sink.writableSegment(1); //note2
        int maxToCopy = (int) Math.min(byteCount, Segment.SIZE - tail.limit); //note3
        int bytesRead = in.read(tail.data, tail.limit, maxToCopy); //note4
        if (bytesRead == -1) return -1;
        tail.limit += bytesRead;//note5
        sink.size += bytesRead;
        return bytesRead;
      }
      @Override public void close() throws IOException {
        in.close();
      }
      @Override public Timeout timeout() {
        return timeout;
      }
      @Override public String toString() {
        return "source(" + in + ")";
      }
    };
  }

1、检查当前线程是否被中断,是否触及到了deadLine;满足任意一个条件都会抛出异常

2、从sink(Buffer对象)中获取得到可以写入一个字符的第一个Segment

3、在Segment剩余写入空间和目标写入数byteCount之间选择最小的数,结果为从InputStream读入的最大数据量。

4、从InputStream中读入最多maxToCopy数量的字节到tail.data中,写入位置为tail.limit;

5、对buffer的Segment的值进行刷新;返回读取字节数

Okio为我们提供了如下的方法获取一个Sink对象:共计6个方法

Sink sink(final OutputStream out) {  return sink(out, new Timeout()); }
Sink sink(File file) throws FileNotFoundException{ return sink(new FileOutputStream(file)); }
Sink appendingSink(File file) throws FileNotFoundException{ return sink(new FileOutputStream(file, true)); }
Sink sink(Path path, OpenOption... options) throws IOException{ return sink(Files.newOutputStream(path, options)); }
Sink sink(final Socket socket) throws IOException{
    AsyncTimeout timeout = timeout(socket);
    Sink sink = sink(socket.getOutputStream(), timeout);
    return timeout.sink(sink);
}

上面的无论参数是path、file、socket、OutputStream最终都是会调用下面的方法创建一个Sink对象

Sink sink(final OutputStream out, final Timeout timeout){ }

sink()@Okio.class

  public static Sink sink(final OutputStream out) {
    return sink(out, new Timeout());
  }
  private static Sink sink(final OutputStream out, final Timeout timeout) {
    if (out == null) throw new IllegalArgumentException("out == null");
    if (timeout == null) throw new IllegalArgumentException("timeout == null");
    return new Sink() {
      @Override public void write(Buffer source, long byteCount) throws IOException {
        checkOffsetAndCount(source.size, 0, byteCount);
        while (byteCount > 0) {
          timeout.throwIfReached();
          Segment head = source.head; //note1
          int toCopy = (int) Math.min(byteCount, head.limit - head.pos);//note2
          out.write(head.data, head.pos, toCopy); //note3
          head.pos += toCopy;//note4
          byteCount -= toCopy;
          source.size -= toCopy;
          if (head.pos == head.limit) {//note4
            source.head = head.pop();
            SegmentPool.recycle(head);
          }
        }
      }
      @Override public void flush() throws IOException {
        out.flush();
      }
      @Override public void close() throws IOException {
        out.close();
      }
      @Override public Timeout timeout() {
        return timeout;
      }
      @Override public String toString() {
        return "sink(" + out + ")";
      }
    };
  }

1、获取数据源buffer的第一个Segment

2、在Segment的可读数据和预期写入字节数之间选择一个最小值

3、将Segment的pos位置处到toCopy之间的数据写入到输出流中

4、判断Segment值是否全部读取完毕,完毕则将该Segment从buffer中移出,并将移出的Segment进行回收

RealBufferedSource.class

本节的最后我们在看看buffer(Source source)和buffer(Sink sink)这两个方法

BufferedSource buffer()@Okio.class

public static BufferedSource buffer(Source source) {
    if (source == null) throw new IllegalArgumentException("source == null");
    return new RealBufferedSource(source);
}

所以Okio的buffer方法实际上创建的是一个RealBufferedSource对象,下面我们看其构造器的内容

RealBufferedSource()@RealBufferedSource.class

public RealBufferedSource(Source source) {
    this(source, new Buffer()); //note1
}
public RealBufferedSource(Source source, Buffer buffer) {
    if (source == null) throw new IllegalArgumentException("source == null");
    this.buffer = buffer;
    this.source = source;
}

1、通过new RealBufferedSource(source); 创建的RealBufferedSource对象,系统还会自动的给其创建一个Buffer对象。RealBufferedSource对象的创建到此为止就结束了,但是为了内容的健全,这里再对RealBufferedSource的个别方法进行简单介绍。使用RealBufferedSource对Source进行包装的目的在于,RealBufferedSource提供了很多好用的方法,如readXX,同时既然使用了BufferedSource这个名字,意味着它一次可能读取多个数据,提高I/O读写效率,因此下面我们分别看下它read方法和readInt方法。

read()@RealBufferedSource.class

public long read(Buffer sink, long byteCount) throws IOException {
    if (sink == null) throw new IllegalArgumentException("sink == null");
    if (byteCount < 0) throw new IllegalArgumentException("byteCount < 0: " + byteCount);
    if (closed) throw new IllegalStateException("closed");
    if (buffer.size == 0) { //note1
      long read = source.read(buffer, Segment.SIZE);
      if (read == -1) return -1;
    }
    long toRead = Math.min(byteCount, buffer.size); //note2
    return buffer.read(sink, toRead); //note3
}

1、如果当前buffer为空,则通过source的read方法读取最多Segment.Size个数据。

2、从Segment.SIZE和目标读取数中取出的最小值

3、从buffer中取出上面得到的toRead个字节数据

所以RealBufferedSource的缓存机制(提高I/O读写效率的方式)为当buffer为空时从Source中读取最多2048个字节数,对于多次调用read方法读取少量的字节的情况,很可能只进行一次真实的I/O流操作,大多数情况是从buffer读取数据。

接着我们查看一下readInt方法

readInt()@RealBufferedSource.class

public int readInt() throws IOException {
    require(4);
    return buffer.readInt();
}

喂喂喂,那位同学里下巴掉了诶。对方法就是这么偷懒,RealBufferedSource结果就是调用buffer的readInt方法。不过require(4)方法第一次见,我们进入看看。

require()@RealBufferedSource.class

public void require(long byteCount) throws IOException {
    if (!request(byteCount)) throw new EOFException(); //没有读到要求的数据宝宝表示不开心,后果很严重
}
public boolean request(long byteCount) throws IOException {
    if (byteCount < 0) throw new IllegalArgumentException("byteCount < 0: " + byteCount);
    if (closed) throw new IllegalStateException("closed");
    while (buffer.size < byteCount) {
      if (source.read(buffer, Segment.SIZE) == -1) return false; //note1
    }
    return true;
}

1、底层调用source的read方法读取目标字节数到buffer中。

到此为止我们对RealBufferedSource介绍完毕。RealBufferedSource扮演的一个中间的角色,利用source读取目标字节的字节数据,存入buffer。随后又利用buffer将结果字节流数据按照要求格式进行转换输出。

RealBufferedSink.class

接着看buffer(Sink sink)这个方法。

BufferedSink buffer()@Okio.class

public static BufferedSink buffer(Sink sink) {
    if (sink == null) throw new IllegalArgumentException("sink == null");
    return new RealBufferedSink(sink);
}

跟前面一样这里创建一个RealBufferedSink对象

RealBufferedSink()@RealBufferedSink.class

public RealBufferedSink(Sink sink) {
    this(sink, new Buffer());
}
public RealBufferedSink(Sink sink, Buffer buffer) {
    if (sink == null) throw new IllegalArgumentException("sink == null");
    this.buffer = buffer;
    this.sink = sink;
}

RealBufferedSink对象的创建也同样很简单,我们直接看看write方法如何实现

write()@RealBufferedSink.class

public BufferedSink write(byte[] source) throws IOException {
    if (closed) throw new IllegalStateException("closed");
    buffer.write(source);//note1
    return emitCompleteSegments();//note2
}

1、将数据写入buffer中

2、下面我们介绍其emitCompleteSegments()方法

emitCompleteSegments()@@RealBufferedSink.class

public BufferedSink emitCompleteSegments() throws IOException {
    if (closed) throw new IllegalStateException("closed");
    long byteCount = buffer.completeSegmentByteCount(); //note1
    if (byteCount > 0) sink.write(buffer, byteCount);
    return this;
}

1、该方法我们前面没有介绍,不过它的结果就是buffer的size减去双向链表存储数据尾结点的可读数据大小,即除去尾结点的所有数据都写入到OutputStream流中。这样做的好处就是没必要写入几个字节就直接通过OutputStream写入,这样频繁的io会消耗的资源比较多。因为一个Segment大小为2048因此正常情况等到写数据大于2048时才会想OutputStream流中写入数据。这也就是BufferedSink的缓存机制,提高I/O读写效率的方法。

接着我们看下writeInt方法

writeInt()@RealBufferedSink.class

public BufferedSink writeInt(int i) throws IOException {
    if (closed) throw new IllegalStateException("closed");
    buffer.writeInt(i); //note1
    return emitCompleteSegments(); //note2
}

1、与RealBufferedSource很类似,这里也是通过buffer来对目标数据进行格式的转换

2、emitCompleteSegments()方法前面已经介绍过

最后我们介绍一个RealBufferedSink的flush方法

flush()@@RealBufferedSink.class

public void flush() throws IOException {
    if (closed) throw new IllegalStateException("closed");
    if (buffer.size > 0) {
      sink.write(buffer, buffer.size);
    }
    sink.flush();
  }

方法很简单就是将buffer中所有数据写入到OutputStream流中,然后调用sink的flush方法。

到此为止我们对okio的介绍就结束了,回顾一下我们学习的内容。

首先okio的存储数据的类型ByteString,Buffer各自都维护一个byte[]数组,提供了一系列方法实现了字节序列和目标格式之间的转换。Buffer并不直接对byte[]进行操作,而是操作管理Segment对象,Buffer中有一个由多个Segment组成的双向链表,同时okio还提供了一个SegmentPool用于对废弃Segment的管理,不用的Segment并不直接丢弃而是丢入这个池中,提高了Segment的使用率。Okio中Segment的创建都是通过SegmentPool来获取的。

okio提供的输入输出流分别为Sink Source,分别定义了write和read方法,实现对字节流的输入输出。不过客户使用一般都是对BufferedSource和BufferedSink进行操作,这两个接口定义了大量的方法用于对字节数据的编解码,同时通过该对象能有效提高I/O使用效率。

okio中的BufferedSink和BufferedSource这两个接口很重要,okio的输入输出流分别实现了这两个接口,而且buffer也同样实现这两个接口,因此buffer的方法和okio的输入输出流有很多方法都是相同的,这一点在实际使用过程中带来了极大的便利。

本篇是整个okhttp系列博客的完结篇。回顾一下该博客系列的内容,《OkHttp深入学习(一)——初探》对okhttp开源项目的使用方式以及经常用到的几个类进行简单学习,随后《OkHttp深入学习(二)——网络》对okhttp的网络访问底层如何实现进行分析,接着《OkHttp深入学习(三)——Cache》对okhttp的网络缓存底层如何实现进行解析,最后本篇《OkHttp深入学习(四)——0kio》对okhttp的okio子项目如何提高I/O读写效率与使用方式进行深入的分析和介绍。感谢各位的阅读!

时间: 2024-10-03 13:26:29

OkHttp深入学习(四)——0kio的相关文章

nodejs学习四 Node.js NPM

什么是NPM? 不知道大家注意没有,windows平台下的Node.js安装包大小才区区4M多,真可以用短小精悍来形容它,作为一种编程语言,像java一个SDK 就几十M,为什么node.js的运行环境这么小呢?这其中的微妙之处在于,它拥有一个庞大的第三方软件库. 在Node本身提供的包(原生)中没有我们要实现的功能模块的时候,我们可以去寻找下是否已经有人实现了这种功能.毕竟重复造轮子这种事情,很多人都不想干. 去哪里寻找我们想要的包呢?如果你还不知道报的名字,你可以去https://www.n

ZigBee学习四 无线+UART通信

ZigBee学习四 无线+UART通信 1) 协调器编程 修改coordinator.c文件 byte GenericApp_TransID; // This is the unique message ID (counter) afAddrType_t GenericApp_DstAddr; //unsigned char uartbuf[128];/********************************************************************** L

Spark学习四:网站日志分析案例

Spark学习四:网站日志分析案例 标签(空格分隔): Spark Spark学习四网站日志分析案例 一创建maven工程 二创建模板 三日志分析案例 一,创建maven工程 1,执行maven命令创建工程 mvn archetype:generate -DarchetypeGroupId=org.scala-tools.archetypes -DarchetypeArtifactId=scala-archetype-simple -DremoteRepositories=http://scal

Beaglebone Back学习四(GPIO实验)

GPIO Beaglebone Back开发板引出了92个引脚,其中只有65个GPIO口可通过配置使用,由于引脚具有"复用"的特性,大约每个引脚有8种工作模式(Beagle System Reference Manual),默认情况下,设为Mode7.由于P8扩展部分的引脚功能相对简单,复用不多,故项目功能复杂时,最好选择P8上的GPIO口. 对GPIO口的操作,主要有三个步骤 1 选择GPIO口根据以下两表,确定使用那个GPIO口,该表也可以在BBB_SRM文件中找到. (1)拉电流

Silverlight学习(四) domainservice动态多条件查询

上次讲了silverlight+MVVN+EF的简单框架,能够实现简单的数据CURD,但是多条件动态的查询一直没有实现.在网上查阅了很多资料,发现自己走了很多误区,代码很难调试正确. 这次的查询是基于上次的查询,只是增加了一个查询条件,动态多条件的查询的重点是获取查询的语言. 1 private string GetSql() 2 { 3 string query = "1=1"; 4 if (!string.IsNullOrEmpty(searchText.name)) 5 { 6

Gradle学习(四) web工程构建

Gradle为应用开发提供了两个相关的插件:war plugin以及jetty plugin war plugin继承了java plugin为你的工程构建war包,jetty pugin继承了war plugin可以让的工程构建在嵌入式容器jetty中 构建War文件 首先在你的build.gradle中添加如下一行 apply plugin: 'war' 由于war plugin继承了java plugin,所有java plugin也会被默认的加入配置文件中 运行gradle build命

TweenMax动画库学习(四)

目录            TweenMax动画库学习(一)            TweenMax动画库学习(二)            TweenMax动画库学习(三)            TweenMax动画库学习(四)            TweenMax动画库学习(五)  

Android学习四、Android中的Adapter

一.Adapter的介绍 An Adapter object acts as a bridge between an AdapterView and the underlying data for that view. The Adapter provides access to the data items. The Adapter is also responsible for making a View for each item in the data set. 一个Adapter是Ad

Cmdlet开发与学习(四)

前面讲完了一个基本的cmdlet的开发流程,下面将陆续地完善cmdlet的功能细节以及补充.       支持ShouldProcess       有的cmdlet操作有很大的破坏性,因此有必要再命令执行前提醒用户注意一些可能的执行后果,也就是说,存在与用户的交互.这个时候,通过使用ShouldProcess,可以达到预期的效果. 1 [Cmdlet(VerbsCommon.Get,"SQLServerBackupFile", 2 SupportsShouldProcess = tr