Volley随笔之文件缓存DiskBasedCache类

Volley提供了一个基于文件的缓存类DiskBasedCache保存缓存数据。这个类完成缓存工作的原理大致如此,首先声明一个文件夹,文件夹下的文件与cacheKey一一对应,也就是说每一个文件时不同网络请求的返回数据。文件的格式是这样,文件头是数据结构CacheHeader,描述了缓存的信息,之后就是缓存数据。

下面是DiskBasedCache的代码,不得不说很优美!

/*
 * Copyright (C) 2011 The Android Open Source Project * * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License. * You may obtain a copy of the License at * *      http://www.apache.org/licenses/LICENSE-2.0 * * Unless required by applicable law or agreed to in writing, software * distributed under the License is distributed on an "AS IS" BASIS, * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. * See the License for the specific language governing permissions and * limitations under the License. */
package com.android.volley.toolbox;

import android.os.SystemClock;

import com.android.volley.Cache;
import com.android.volley.VolleyLog;

import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.EOFException;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.FilterInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.util.Collections;
import java.util.HashMap;
import java.util.Iterator;
import java.util.LinkedHashMap;
import java.util.Map;

/**
 * Cache implementation that caches files directly onto the hard disk in the specified * directory. The default disk usage size is 5MB, but is configurable. */public class DiskBasedCache implements Cache {

    /** Map of the Key, CacheHeader pairs */
  private final MapmEntries =
            new LinkedHashMap(16, .75f, true);

  /** Total amount of space currently used by the cache in bytes. */
  private long mTotalSize = 0;

  /** The root directory to use for the cache. */
  private final File mRootDirectory;

  /** The maximum size of the cache in bytes. */
  private final int mMaxCacheSizeInBytes;

  /** Default maximum disk usage in bytes. */
  private static final int DEFAULT_DISK_USAGE_BYTES = 5 * 1024 * 1024;

  /** High water mark percentage for the cache */
  private static final float HYSTERESIS_FACTOR = 0.9f;

  /** Magic number for current version of cache file format. */
  private static final int CACHE_MAGIC = 0x20150306;

  /**
 * Constructs an instance of the DiskBasedCache at the specified directory. * @param rootDirectory The root directory of the cache.
 * @param maxCacheSizeInBytes The maximum size of the cache in bytes.
 */  public DiskBasedCache(File rootDirectory, int maxCacheSizeInBytes) {
        mRootDirectory = rootDirectory;
  mMaxCacheSizeInBytes = maxCacheSizeInBytes;
  }

    /**
 * Constructs an instance of the DiskBasedCache at the specified directory using * the default maximum cache size of 5MB. * @param rootDirectory The root directory of the cache.
 */  public DiskBasedCache(File rootDirectory) {
        this(rootDirectory, DEFAULT_DISK_USAGE_BYTES);
  }

    /**
 * Clears the cache. Deletes all cached files from disk. */  @Override
  public synchronized void clear() {
        File[] files = mRootDirectory.listFiles();
 if (files != null) {
            for (File file : files) {
                file.delete();
  }
        }
        mEntries.clear();
  mTotalSize = 0;
  VolleyLog.d("Cache cleared.");
  }

    /**
 * Returns the cache entry with the specified key if it exists, null otherwise. */  @Override
  public synchronized Entry get(String key) {
        CacheHeader entry = mEntries.get(key);
  // if the entry does not exist, return.
  if (entry == null) {
            return null;
  }

        File file = getFileForKey(key);
  CountingInputStream cis = null;
 try {
            cis = new CountingInputStream(new BufferedInputStream(new FileInputStream(file)));
  CacheHeader.readHeader(cis); // eat header
  byte[] data = streamToBytes(cis, (int) (file.length() - cis.bytesRead));
 return entry.toCacheEntry(data);
  } catch (IOException e) {
            VolleyLog.d("%s: %s", file.getAbsolutePath(), e.toString());
  remove(key);
 return null;  }  catch (NegativeArraySizeException e) {
            VolleyLog.d("%s: %s", file.getAbsolutePath(), e.toString());
  remove(key);
 return null;  } finally {
            if (cis != null) {
                try {
                    cis.close();
  } catch (IOException ioe) {
                    return null;
  }
            }
        }
    }

    /**
 * Initializes the DiskBasedCache by scanning for all files currently in the * specified root directory. Creates the root directory if necessary. */  @Override
  public synchronized void initialize() {
        if (!mRootDirectory.exists()) {
            if (!mRootDirectory.mkdirs()) {
                VolleyLog.e("Unable to create cache dir %s", mRootDirectory.getAbsolutePath());
  }
            return;
  }

        File[] files = mRootDirectory.listFiles();
 if (files == null) {
            return;
  }
        for (File file : files) {
            BufferedInputStream fis = null;
 try {
                fis = new BufferedInputStream(new FileInputStream(file));
  CacheHeader entry = CacheHeader.readHeader(fis);
  entry.size = file.length();
  putEntry(entry.key, entry);
  } catch (IOException e) {
                if (file != null) {
                   file.delete();
  }
            } finally {
                try {
                    if (fis != null) {
                        fis.close();
  }
                } catch (IOException ignored) { }
            }
        }
    }

    /**
 * Invalidates an entry in the cache. * @param key Cache key
 * @param fullExpire True to fully expire the entry, false to soft expire
 */  @Override
  public synchronized void invalidate(String key, boolean fullExpire) {
        Entry entry = get(key);
 if (entry != null) {
            entry.softTtl = 0;
 if (fullExpire) {
                entry.ttl = 0;
  }
            put(key, entry);
  }

    }

    /**
 * Puts the entry with the specified key into the cache. */  @Override
  public synchronized void put(String key, Entry entry) {
        pruneIfNeeded(entry.data.length);
  File file = getFileForKey(key);
 try {
            BufferedOutputStream fos = new BufferedOutputStream(new FileOutputStream(file));
  CacheHeader e = new CacheHeader(key, entry);
 boolean success = e.writeHeader(fos);
 if (!success) {
                fos.close();
  VolleyLog.d("Failed to write header for %s", file.getAbsolutePath());
 throw new IOException();
  }
            fos.write(entry.data);
  fos.close();
  putEntry(key, e);
 return;  } catch (IOException e) {
        }
        boolean deleted = file.delete();
 if (!deleted) {
            VolleyLog.d("Could not clean up file %s", file.getAbsolutePath());
  }
    }

    /**
 * Removes the specified key from the cache if it exists. */  @Override
  public synchronized void remove(String key) {
        boolean deleted = getFileForKey(key).delete();
  removeEntry(key);
 if (!deleted) {
            VolleyLog.d("Could not delete cache entry for key=%s, filename=%s",
  key, getFilenameForKey(key));
  }
    }

    /**
 * Creates a pseudo-unique filename for the specified cache key. * @param key The key to generate a file name for.
 * @return A pseudo-unique filename.
 */  private String getFilenameForKey(String key) {
        int firstHalfLength = key.length() / 2;
  String localFilename = String.valueOf(key.substring(0, firstHalfLength).hashCode());
  localFilename += String.valueOf(key.substring(firstHalfLength).hashCode());
 return localFilename;
  }

    /**
 * Returns a file object for the given cache key. */  public File getFileForKey(String key) {
        return new File(mRootDirectory, getFilenameForKey(key));
  }

    /**
 * Prunes the cache to fit the amount of bytes specified. * @param neededSpace The amount of bytes we are trying to fit into the cache.
 */  private void pruneIfNeeded(int neededSpace) {
        if ((mTotalSize + neededSpace) < mMaxCacheSizeInBytes) {
            return;
  }
        if (VolleyLog.DEBUG) {
            VolleyLog.v("Pruning old cache entries.");
  }

        long before = mTotalSize;
 int prunedFiles = 0;
 long startTime = SystemClock.elapsedRealtime();

  Iterator> iterator = mEntries.entrySet().iterator();
 while (iterator.hasNext()) {
            Map.Entryentry = iterator.next();
  CacheHeader e = entry.getValue();
 boolean deleted = getFileForKey(e.key).delete();
 if (deleted) {
                mTotalSize -= e.size;
  } else {
               VolleyLog.d("Could not delete cache entry for key=%s, filename=%s",
  e.key, getFilenameForKey(e.key));
  }
            iterator.remove();
  prunedFiles++;

 if ((mTotalSize + neededSpace) < mMaxCacheSizeInBytes * HYSTERESIS_FACTOR) {
                break;
  }
        }

        if (VolleyLog.DEBUG) {
            VolleyLog.v("pruned %d files, %d bytes, %d ms",
  prunedFiles, (mTotalSize - before), SystemClock.elapsedRealtime() - startTime);
  }
    }

    /**
 * Puts the entry with the specified key into the cache. * @param key The key to identify the entry by.
 * @param entry The entry to cache.
 */  private void putEntry(String key, CacheHeader entry) {
        if (!mEntries.containsKey(key)) {
            mTotalSize += entry.size;
  } else {
            CacheHeader oldEntry = mEntries.get(key);
  mTotalSize += (entry.size - oldEntry.size);
  }
        mEntries.put(key, entry);
  }

    /**
 * Removes the entry identified by ‘key‘ from the cache. */  private void removeEntry(String key) {
        CacheHeader entry = mEntries.get(key);
 if (entry != null) {
            mTotalSize -= entry.size;
  mEntries.remove(key);
  }
    }

    /**
 * Reads the contents of an InputStream into a byte[]. * */  private static byte[] streamToBytes(InputStream in, int length) throws IOException {
        byte[] bytes = new byte[length];
 int count;
 int pos = 0;
 while (pos < length && ((count = in.read(bytes, pos, length - pos)) != -1)) {
            pos += count;
  }
        if (pos != length) {
            throw new IOException("Expected " + length + " bytes, read " + pos + " bytes");
  }
        return bytes;
  }

    /**
 * Handles holding onto the cache headers for an entry. */  // Visible for testing.
  static class CacheHeader {
        /** The size of the data identified by this CacheHeader. (This is not
 * serialized to disk. */  public long size;

  /** The key that identifies the cache entry. */
  public String key;

  /** ETag for cache coherence. */
  public String etag;

  /** Date of this response as reported by the server. */
  public long serverDate;

  /** The last modified date for the requested object. */
  public long lastModified;

  /** TTL for this record. */
  public long ttl;

  /** Soft TTL for this record. */
  public long softTtl;

  /** Headers from the response resulting in this cache entry. */
  public MapresponseHeaders;

 private CacheHeader() { }

        /**
 * Instantiates a new CacheHeader object * @param key The key that identifies the cache entry
 * @param entry The cache entry.
 */  public CacheHeader(String key, Entry entry) {
            this.key = key;
 this.size = entry.data.length;
 this.etag = entry.etag;
 this.serverDate = entry.serverDate;
 this.lastModified = entry.lastModified;
 this.ttl = entry.ttl;
 this.softTtl = entry.softTtl;
 this.responseHeaders = entry.responseHeaders;
  }

        /**
 * Reads the header off of an InputStream and returns a CacheHeader object. * @param is The InputStream to read from.
 * @throws IOException
 */  public static CacheHeader readHeader(InputStream is) throws IOException {
            CacheHeader entry = new CacheHeader();
 int magic = readInt(is);
 if (magic != CACHE_MAGIC) {
                // don‘t bother deleting, it‘ll get pruned eventually
  throw new IOException();
  }
            entry.key = readString(is);
  entry.etag = readString(is);
 if (entry.etag.equals("")) {
                entry.etag = null;
  }
            entry.serverDate = readLong(is);
  entry.lastModified = readLong(is);
  entry.ttl = readLong(is);
  entry.softTtl = readLong(is);
  entry.responseHeaders = readStringStringMap(is);

 return entry;
  }

        /**
 * Creates a cache entry for the specified data. */  public Entry toCacheEntry(byte[] data) {
            Entry e = new Entry();
  e.data = data;
  e.etag = etag;
  e.serverDate = serverDate;
  e.lastModified = lastModified;
  e.ttl = ttl;
  e.softTtl = softTtl;
  e.responseHeaders = responseHeaders;
 return e;
  }

        /**
 * Writes the contents of this CacheHeader to the specified OutputStream. */  public boolean writeHeader(OutputStream os) {
            try {
                writeInt(os, CACHE_MAGIC);
  writeString(os, key);
  writeString(os, etag == null ? "" : etag);
  writeLong(os, serverDate);
  writeLong(os, lastModified);
  writeLong(os, ttl);
  writeLong(os, softTtl);
  writeStringStringMap(responseHeaders, os);
  os.flush();
 return true;  } catch (IOException e) {
                VolleyLog.d("%s", e.toString());
 return false;  }
        }

    }

    private static class CountingInputStream extends FilterInputStream {
        private int bytesRead = 0;

 private CountingInputStream(InputStream in) {
            super(in);
  }

        @Override
  public int read() throws IOException {
            int result = super.read();
 if (result != -1) {
                bytesRead++;
  }
            return result;
  }

        @Override
  public int read(byte[] buffer, int offset, int count) throws IOException {
            int result = super.read(buffer, offset, count);
 if (result != -1) {
                bytesRead += result;
  }
            return result;
  }
    }

    /*
 * Homebrewed simple serialization system used for reading and writing cache * headers on disk. Once upon a time, this used the standard Java * Object{Input,Output}Stream, but the default implementation relies heavily * on reflection (even for standard types) and generates a ton of garbage. */
  /**
 * Simple wrapper around {@link InputStream#read()} that throws EOFException
 * instead of returning -1. */  private static int read(InputStream is) throws IOException {
        int b = is.read();
 if (b == -1) {
            throw new EOFException();
  }
        return b;
  }

    static void writeInt(OutputStream os, int n) throws IOException {
        os.write((n >> 0) & 0xff);
  os.write((n >> 8) & 0xff);
  os.write((n >> 16) & 0xff);
  os.write((n >> 24) & 0xff);
  }

    static int readInt(InputStream is) throws IOException {
        int n = 0;
  n |= (read(is) << 0);
  n |= (read(is) << 8);
  n |= (read(is) << 16);
  n |= (read(is) << 24);
 return n;
  }

    static void writeLong(OutputStream os, long n) throws IOException {
        os.write((byte)(n >>> 0));
  os.write((byte)(n >>> 8));
  os.write((byte)(n >>> 16));
  os.write((byte)(n >>> 24));
  os.write((byte)(n >>> 32));
  os.write((byte)(n >>> 40));
  os.write((byte)(n >>> 48));
  os.write((byte)(n >>> 56));
  }

    static long readLong(InputStream is) throws IOException {
        long n = 0;
  n |= ((read(is) & 0xFFL) << 0);
  n |= ((read(is) & 0xFFL) << 8);
  n |= ((read(is) & 0xFFL) << 16);
  n |= ((read(is) & 0xFFL) << 24);
  n |= ((read(is) & 0xFFL) << 32);
  n |= ((read(is) & 0xFFL) << 40);
  n |= ((read(is) & 0xFFL) << 48);
  n |= ((read(is) & 0xFFL) << 56);
 return n;
  }

    static void writeString(OutputStream os, String s) throws IOException {
        byte[] b = s.getBytes("UTF-8");
  writeLong(os, b.length);
  os.write(b, 0, b.length);
  }

    static String readString(InputStream is) throws IOException {
        int n = (int) readLong(is);
 byte[] b = streamToBytes(is, n);
 return new String(b, "UTF-8");
  }

    static void writeStringStringMap(Mapmap, OutputStream os) throws IOException {
        if (map != null) {
            writeInt(os, map.size());
 for (Map.Entryentry : map.entrySet()) {
                writeString(os, entry.getKey());
  writeString(os, entry.getValue());
  }
        } else {
            writeInt(os, 0);
  }
    }

    static MapreadStringStringMap(InputStream is) throws IOException {
        int size = readInt(is);
  Mapresult = (size == 0)
                ? Collections.emptyMap()
                : new HashMap(size);
 for (int i = 0; i < size; i++) {
            String key = readString(is).intern();
  String value = readString(is).intern();
  result.put(key, value);
  }
        return result;
  }

}
时间: 2024-10-06 10:57:56

Volley随笔之文件缓存DiskBasedCache类的相关文章

android 文件缓存工具类

/** * Json数据缓存的工具类 * */public class CacheDataSd { /** * * @param context 当前对象 * @param dir 创建的文件 * @param requesturl 标志字段 * @param jsondata json数据 */ public static void SaveSDByteArray(Context context, String dir, String requesturl, String jsondata)

Android结合volley的netWorkImageview实现图片文件缓存

在写Android应用程序时经常会用到图片缓存,对于网络请求使用Android平台上的网络通信库Volley,能使网络通信更快,更简单,更健壮,而且Volley特别适合数据量不大但是通信频繁的场景,所以可以使用volley来请求网络图片.接下来就将本人在一个项目中的图片缓存模块拿出来跟大家分享,欢迎批评指正. /** * @author * @date 2015/4/14 * 利用文件缓存图片 */ public class ImageFileCacheUtils { private stati

缓存处理类(MemoryCache结合文件缓存)

想提升站点的性能,于是增加了缓存,但是站点不会太大,于是不会到分布式memcached的缓存和redis这个nosql库,于是自己封装了.NET内置的缓存组件 原先使用System.Web.Caching.Cache,但是asp.net会在System.Web.Caching.Cache缓存页面等数据,于是替换了System.Web.Caching.Cache为MemoryCache. 而在使用MemoryCache的时候,重新启动网站会丢失缓存,于是加了自己的扩展,将缓存序列化存放在文件内,在

PHP文件缓存类

1 <?php 2 /** 3 * @desc 文件缓存 4 */ 5 class Cache{ 6 const C_FILE = '/Runtime/'; 7 private $dir = ''; 8 const EXT = '.tpl'; 9 private $filename = ''; 10 public function __construct($dir = ''){ 11 $this->dir = $dir; 12 13 } 14 /** 15 * @desc 设置文件缓存 16

PHP高效文件缓存类FCache

自己用的阿里云低配置,最近访问不错,经常出现mysql崩溃的问题,提单说请加内存,这回复还不如直接说:请交钱! 于是自己在git找了php的文件缓存,发现都是将缓存放到一个缓存文件!!!意味着: 1.无论你是读取多大的数据,都需要从磁盘读出整个文件到内存,然后解析,获取你要的部分数据: 2.在缓存数据很大的时候,并不能起到缓存加速网站访问的目的,同时增加磁盘的读写负荷: 3.在某一个临界点,可能会导致缓存性能比数据库还差: 4.未经过严格测试,个人预估一般网站的数据都会达到100M以上,如果每次

php 缓存工具类 实现网页缓存

php程序在抵抗大流量访问的时候动态网站往往都是难以招架,所以要引入缓存机制,一般情况下有两种类型缓存 一.文件缓存 二.数据查询结果缓存,使用内存来实现高速缓存 本例主要使用文件缓存. 主要原理使用缓存函数来存储网页显示结果,如果在规定时间里再次调用则可以加载缓存文件. 工具类代码: // 文件缓存类 class Cache { /** * $dir : 缓存文件存放目录 * $lifetime : 缓存文件有效期,单位为秒 * $cacheid : 缓存文件路径,包含文件名 * $ext :

缓存工具类

安卓开发一般都需要进行数据缓存,常用操作老司机已为你封装完毕,经常有小伙伴问怎么判断缓存是否可用,那我告诉你,你可以用这份工具进行存储和查询,具体可以查看源码,现在为你开车,Demo传送门. 站点 缓存工具类 → AppACache put : 保存String数据到缓存中getAsString : 读取String数据getAsJSONObject : 读取JSONObject数据getAsJSONArray : 读取JSONArray数据getAsBinary : 获取byte数据getAs

使用.htaccess进行浏览器图片文件缓存

对于图片类网站,每次打开页面都要重新下载图片,慢不说,还非常浪费流量.这时就需要用到缓存,强制浏览器缓存图片文件 缓存文件,提问网站访问数度,减少流量消耗,现提供2中缓存代码 打开.htaccess文件,写入下面代码 方法一:统一缓存时长 <FilesMatch ".(flv|gif|jpg|jpeg|png|ico|txt|swf|pdf|swf|js)$"> Header set Cache-Control "max-age=2592000" <

SD卡创建文件夹失败,解决办法及文件缓存

1.相关代码: 添加权限: <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/> <uses-permission android:name="android.permission.MOUNT_UNMOUNT_FILESYSTEMS"/> /** 获取SD卡路径 **/ private static String getSDPath() { St