今天我们来接触一下多线程下载,当然也包括断点续传,我们可以看到
很多下载器,当开通会员的时候下载东西的速度就变得快了许多,这是为什么呢?这就是跟今天讲的多线程有关系了,其实就是多开了几个线程一起下载罢了。当然真正的多线程下载要比这个复杂,要考虑很多问题。
做个不恰当的比喻:
假如我们把一个服务器上的文件看作是一个水缸里的水的话,那么多线程下载就相当于从水缸上打了多个小孔,然后塞进去小管道进行抽水。呵呵,也许这个比喻不够准确。
效果:
这里下载的是本地服务器上的文件,你们可以下载网络上的一些文件。
先来看看多线程下载的原理吧:
通常服务器同时与多个用户连接,用户之间共享带宽。如果N个用户的优先级都相同,那么每个用户连接到该服务器上的实际带宽就是服务器带宽的N分之一。可以想象,如果用户数目较多,则每个用户只能占有可怜的一点带宽,下载将会是个漫长的过程。
假设服务器的带宽为20M/s,服务器上有很多电影资源,现在有三位同学都想要下载 小泽.avi 这部电影,现在三位同学都在下载,所以每位同学的速度应该为1/3 * 20M/s = 6.7M/s ,但是 小泽.avi 这部电影的大小有 2G左右,这时王五同学可能有点赶时间,等不及,下的这么慢,所以他就使用他所学的多线程的知识多开了几个线程,结果他最先下完。
这次可以看到分给每个线程的带宽为1/5 * 20M/s = 4M/s,但是后面三个线程都是王五同学的,这时王五同学的带宽其实为 12M/s ,没错,王五同学成功运用多线程知识解决了下载慢的问题。(神不知鬼不觉)
看到这里我们可以知道,影响用户带宽的因素:
①服务器的带宽
②线程数
不过笔者认为凡事适可而止,不要做得太绝了。这样让别的用户怎么办呢(不管?不太好吧!)?
好的,那让我们来看下具体如何实现:
要实现这个,需要解决以下几个问题:
问题1:怎么在一个文件里面写数据的时候按照指定的位置写(因为每个线程的下载区间需要不一样,不然数据会覆盖,导致文件下不全)
问题2:如何去获取要下载的文件大小(因为怕下载中途需要下载其他东西,导致本次需要下载的文件内存不足,所以需要先预留一个和要下载的文件大小一样大的空间)
问题3:计算每个子线程的下载区间(因为每个线程的下载区间肯定不一样,不然怎么加快速度呢)
第一个问题的解决办法:
借助RandomAccessFile 随机文件访问类的 seek(long offset)方法,这个方法可以把文件的写入位置移动至offset。
第二个问题的解决办法:
我们可以使用HttpURLConnection 对象的 getContentLength() 方法得到你当前请求文件的大小。
第三个问题的解决办法:
假设下载的文件大小为10B(0-9,数组下标从0开始),线程数为3,那么
线程0的下载区间应该是: 0—2
线程1的下载区间应该是: 3—5
线程2的下载区间应该是: 6—9
每个线程下载文件的大小 = 文件长度 / 线程数 (最后一个线程除外,因为可能不能均分)
那么i线程的下载开始位置: i*每个线程下载文件的大小
i线程的下载结束位置: (i+1)*每个线程下载文件的大小 - 1
最后一个线程的结束位置为:文件长度 - 1
搞清楚以上问题就可以多线程下载了,接下里就是断点续传了。
因为有时我们在下载下到一半的时候突然停电了,等来电时我们应该接到上次下载的地方继续下载。如何实现呢??
我们可以把每个线程下载的进度都存在一个文件里,等来电时我们先去检索有没有进度文件,如果有,说明上次下载过,但没下完,就将次进度取出来继续下载。不过线程下载的开始位置应该是 原来的开始位置+上次的进度,为了用户体验,我们应该在线程全部下载完成之后将保存的下载进度文件删除(因为这个文件对用户也没什么用)。
下面我们来理一下思路:
①请求网络得到需要下载的文件的大小,并生成一个和原文件一样大小的文件(先占空间)(响应码为200)
②确定每个线程的下载区间(最后一个线程的结束位置应该单独考虑)
③先查看有没有进度文件,有则从上次进度开始下载,没有则请求网络获取需要下载区间的数据,并生成下载进度文件以便断点续传。(记住请求的数据不是所有数据,而是各个线程它需要下载的那部分区间,响应码为206)
注:不是所有的服务器都支持断点续传,这取决于服务器那边。
④待各个线程全部下载完成,将进度文件删掉。
⑤开启线程下载
核心代码:
布局文件activity_main.xml
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
xmlns:tools="http://schemas.android.com/tools"
android:layout_width="match_parent"
android:layout_height="match_parent"
android:orientation="vertical"
tools:context="com.example.multithreaddownload.MainActivity" >
<Button
android:layout_width="match_parent"
android:layout_height="wrap_content"
android:onClick="download"
android:text="多线程下载及断点续传" />
<ProgressBar
android:id="@+id/pb"
android:layout_width="match_parent"
android:layout_height="wrap_content"
style="@android:style/Widget.ProgressBar.Horizontal"/>
<TextView
android:id="@+id/tv"
android:layout_width="wrap_content"
android:layout_height="wrap_content"/>
</LinearLayout>
Mactivity.java
package com.example.multithreaddownload;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.ProtocolException;
import java.net.URL;
import android.app.Activity;
import android.os.Bundle;
import android.os.Environment;
import android.os.Handler;
import android.os.Message;
import android.view.Menu;
import android.view.MenuItem;
import android.view.View;
import android.widget.ProgressBar;
import android.widget.TextView;
public class MainActivity extends Activity {
//进度条
private ProgressBar pb;
//显示进度(百分比)
private TextView tv;
//记录当前进度条的下载进度
private int currentProgress;
//进行下载的线程数量
public static final int THREADCOUNT = 3;
//下载完成的线程数量
public int finishedThread = 0;
//下载完成生成的文件名
public String fileName = "navicat.pdf";
//请求的文件下载地址(本地文件)
public String path = "http://192.168.1.100:8089/" + fileName;
//请求的文件下载地址(网络文件)
// public String path =
// "thunder://QUFodHRwOi8vZGw0NS44MHMuaW06OTIwLzE2MDUv6LaF6ISRNDjlsI/ml7Zb5Zu96K+tRFZE54mIXS/otoXohJE0OOWwj+aXtlvlm73or61EVkTniYhdX2JkLm1wNFpa";
private Handler mHandler = new Handler(){
public void handleMessage(android.os.Message msg) {
if (msg.what == 0x1) {
tv.setText(pb.getProgress()*100/pb.getMax() + "%");
}
};
};
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
initView();
}
/**
* 初始化组件
*/
private void initView() {
pb = (ProgressBar) findViewById(R.id.pb);
tv = (TextView) findViewById(R.id.tv);
}
/**
* 点击下载的事件
* @param view
*/
public void download(View view) {
new Thread() {
public void run() {
try {
URL url = new URL(path);
HttpURLConnection conn = (HttpURLConnection) url
.openConnection();
conn.setRequestMethod("GET");
conn.setConnectTimeout(3000);
conn.setReadTimeout(8000);
//请求成功时的响应码为200(注意响应码为200)
if (conn.getResponseCode() == 200) {
// 拿到需要下载的文件的大小
int length = conn.getContentLength();
// 先占个位置,生成临时文件
File file = new File(Environment.getExternalStorageDirectory(),fileName);
RandomAccessFile raf = new RandomAccessFile(file, "rwd");
raf.setLength(length);
//设置进度条的最大进度为文件的长度
pb.setMax(length);
raf.close();
//每个线程应该下载的长度(最后一个线程除外,因为不一定能够平分)
int size = length / THREADCOUNT;
for (int i = 0; i < THREADCOUNT; i++) {
// 1.确定每个线程的下载区间
// 2.开启对应的子线程
int startIndex = i * size; //开始位置
int endIndex = (i + 1) * size - 1; //结束位置
// 最后一个线程
if (i == THREADCOUNT - 1) {
endIndex = length - 1;
}
System.out.println("第" + (i + 1) + "个线程的下载区间为:"
+ startIndex + "-" + endIndex);
new DownloadThread(startIndex, endIndex, path, i)
.start();
}
}
} catch (MalformedURLException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
};
}.start();
}
class DownloadThread extends Thread{
private int lastProgress;
private int startIndex,endIndex,threadId;
private String path;
public DownloadThread(int startIndex,int endIndex,String path,int threadId) {
this.startIndex = startIndex;
this.endIndex = endIndex;
this.path = path;
this.threadId = threadId;
}
@Override
public void run() {
try {
//建立进度临时文件,其实这时还没有创建。当往文件里写东西的时候才创建。
File progressFile = new File(Environment.getExternalStorageDirectory(), threadId+".txt");
//判断临时文件是否存在,存在表示已下载过,没下完而已
if (progressFile.exists()) {
FileInputStream fis = new FileInputStream(progressFile);
BufferedReader br = new BufferedReader(new InputStreamReader(fis));
//从进度临时文件中读取出上一次下载的总进度,然后与原本的开始位置相加,得到新的开始位置
lastProgress = Integer.parseInt(br.readLine());
startIndex += lastProgress;
//断点续传,更新上次下载的进度条
currentProgress += lastProgress;
pb.setProgress(currentProgress);
Message msg = Message.obtain();
msg.what = 0x1;
mHandler.sendMessage(msg);
br.close();
fis.close();
}
//真正请求数据
URL url = new URL(path);
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setRequestMethod("GET");
conn.setConnectTimeout(3000);
conn.setReadTimeout(8000);
//设置本次http请求所请求的数据的区间(这是需要服务器那边支持断点),格式需要这样写,不能写错
conn.setRequestProperty("Range", "bytes=" + startIndex + "-" + endIndex);
//请求部分数据,响应码是206(注意响应码是206)
if (conn.getResponseCode() == 206) {
//此时流中只有1/3原数据
InputStream is = conn.getInputStream();
File file = new File(Environment.getExternalStorageDirectory(),fileName);
RandomAccessFile raf = new RandomAccessFile(file, "rwd");
//把文件的写入位置移动至startIndex
raf.seek(startIndex);
byte[] b = new byte[1024];
int len = 0;
int total = lastProgress;
while ((len = is.read(b)) != -1) {
raf.write(b, 0, len);
total += len;
System.out.println("线程" + threadId + "下载了" + total);
//生成一个专门用来记录下载进度的临时文件
RandomAccessFile progressRaf = new RandomAccessFile(progressFile, "rwd");
//每次读取流里数据之后,同步把当前线程下载的总进度写入进度临时文件中
progressRaf.write((total + "").getBytes());
progressRaf.close();
//下载时更新进度条
currentProgress += len;
pb.setProgress(currentProgress);
Message msg = Message.obtain();
msg.what = 0x1;
mHandler.sendMessage(msg);
}
System.out.println("线程" + threadId + "下载完成");
raf.close();
//每完成一个线程就+1
finishedThread ++;
//等标志位等于线程数的时候就说明线程全部完成了
if (finishedThread == THREADCOUNT) {
for (int i = 0; i < finishedThread; i++) {
//将生成的进度临时文件删除
File f = new File(Environment.getExternalStorageDirectory(),i + ".txt");
f.delete();
}
}
}
} catch (MalformedURLException e) {
e.printStackTrace();
} catch (ProtocolException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}