Java实现多线程下载 URL以及URLConnection

 主线程:

public class MultiThreadDown {

public static void main(String[] args) throws Exception{

//初始化Downutil对象

    final DownUtil downutil = new DownUtil("http://www.crazyit.org/"

+"attachment.PHP?aid=MTY0NXxjNjBIYznjN3wxMzE1NTQ2MjU5fGNho"

+"D1KVmpXVmhpNG1kWmVzR2JZbnluZWpqs11Od3JzckdodXJOMUpOWWt0aTJz,"

, "oracelsql.rar", 4);

//开始下载

downutil.download();

new Thread(){

public void run(){

while(downutil.getCompleteRate() < 1){

//每隔0.1秒查询一次任务完成的进度

//GUI程序中可根据进度来绘制进度条

System.out.println("已完成:" + downutil.getCompleteRate());

try {

Thread.sleep(100);

} catch (Exception e) {

// TODO: handle exception

e.printStackTrace();

}

}

}

}.start();

}

}

package nettest;

import Java.io.InputStream;

import java.io.RandomAccessFile;

import java.NET.HttpURLConnection;

import java.Net.URL;

public class DownUtil {

//定义下载资源的路径

private String path;

//指定所下载文件的保存位置

private String targetFile;

//定义需要使用多少个线程下载资源

private int threadNum;

//定义下载的线程对象

private DownThread[] threads;

//定义下载的文件的大小

private int fileSize;

public DownUtil(String path,String targetFile,int threadNum){

this.path = path;

this.targetFile = targetFile;

this.threadNum = threadNum;

threads = new DownThread[threadNum]; 

}

public void download() throws Exception{

URL url = new URL(path);

HttpURLConnection conn = (HttpURLConnection) url.openConnection();

conn.setConnectTimeout(5*1000);

conn.setRequestMethod("GET");

conn.addRequestProperty(

"Accept", 

"image/gif,image/jpeg,image/pjpeg,image/pjpeg,"

+"application/x-shockwave-flash,application/xaml + xml,"

+"application/vnd.ms-xpsdocument,application/x-ms-xbap,"

+"application/x-ms-application,application/vnd.ms-excel,"

+"application/vnd.ms-powerpoint,application/msword,*/*");

conn.setRequestProperty("Accept-Language", "zh-CN");

conn.setRequestProperty("Charset", "UTF-8");

conn.setRequestProperty("Connection", "Keep-Alive");

fileSize = conn.getContentLength();

conn.disconnect();

int currentPartSize = fileSize/threadNum + 1;

RandomAccessFile file = new RandomAccessFile(targetFile, "rw");

//得到设置本地文件的大小

file.setLength(fileSize);

file.close();

for (int i = 0; i < threadNum; i++) {

//计算每个线程下载的开始位置

int startPos = i*currentPartSize;

//每个线程使用一个RandomAccessFile进行下载

RandomAccessFile currentPart = new RandomAccessFile(targetFile, "rw");

currentPart.seek(startPos);

//创建下载线程

threads[i] = new DownThread(startPos, currentPartSize, currentPart);

//启动下载线程

threads[i].start();

}

}

//获得下载完成的百分比

public double getCompleteRate(){

//统计多个线程已经下载的总大小

int sumSize = 0;

for (int i = 0; i < threadNum; i++) {

sumSize += threads[i].length;

}

//返回已经完成的百分比

return sumSize*1.0/fileSize;

}

private class DownThread extends Thread{

//当前线程的下载位置

private int startPos;

//定义当前线程负责下载的文件大小

private int currentPartSize;

//当前线程需要下载的文件块

private RandomAccessFile currentPart;

//定义该线程已经下载的字节数

public int length;

public DownThread(int startPos,int currentPartSize,RandomAccessFile currentPart){

this.startPos = startPos;

this.currentPartSize = currentPartSize;

this.currentPart = currentPart;

}

public void run(){

try{

URL url = new URL(path);

HttpURLConnection conn = (HttpURLConnection) url.openConnection();

conn.setConnectTimeout(5*1000);

conn.setRequestMethod("GET");

conn.addRequestProperty(

"Accept", 

"image/gif,image/jpeg,image/pjpeg,image/pjpeg,"

+"application/x-shockwave-flash,application/xaml + xml,"

+"application/vnd.ms-xpsdocument,application/x-ms-xbap,"

+"application/x-ms-application,application/vnd.ms-excel,"

+"application/vnd.ms-powerpoint,application/msword,*/*");

conn.setRequestProperty("Accept-Language", "zh-CN");

conn.setRequestProperty("Charset", "UTF-8");

InputStream inStream = conn.getInputStream();

//跳过startPos个字节,表明该线程只下载自己负责的那部分文件

inStream.skip(this.startPos);

byte[] buffer = new byte[1024];

int hasRead = 0;

while(length < currentPartSize && (hasRead = inStream.read(buffer)) != -1){

currentPart.write(buffer, 0, hasRead);

//累计该线程的下载大小

length += hasRead;

}

currentPart.close();

inStream.close();

}catch (Exception e){

e.printStackTrace();

}

}

}

}
时间: 2024-08-06 11:35:30

Java实现多线程下载 URL以及URLConnection的相关文章

Java网络编程(URL与URLConnection)

//URL package org.urldemo; import java.io.InputStream; import java.net.URL; import java.util.Scanner; public class URLDemo { public static void main(String[] args) throws Exception{ URL url = new URL("http","www.hut.edu.cn",80,"/c

java实现多线程下载

本篇博客可认为是对 使用java实现http多线程下载 一文的再次解读. 首先,从宏观来说 java实现多线程下载这个功能的实现由以下几部分组成: 1 建立多个线程去分别下载文件的一部分. 2 将多个线程下载的文件(还在内存中),写入硬盘中的一个文件. 3 断点续传 GET /Path/FileName HTTP/1.0 Host: www.server.com:80 Accept: */* User-Agent: GeneralDownloadApplication Connection: c

Java之多线程下载

多线程下载的原理在于,每个线程下载文件的一部分,每个线程将自己下载的一部分写入文件中它应该的位置,所有线程下载完成时,文件下载完成.其关键点在于:RandomAccessFile.seek(beginIndex)和URLConnection.setRequestProperty("Range", "bytes=" + beginIndex + "-" + endIndex). 转载请注明原创地址,请尊重原创,谢谢. 代码如下,以下代码copy后可

Java实现多线程下载、断点续传

开三个线程下载,代码: package demo; import java.io.InputStream; import java.io.RandomAccessFile; import java.net.HttpURLConnection; import java.net.URL; public class MutilDownLoad { // 放在Tomcat下的一个文件 static String path = "http://192.168.87.1:8080/lol.exe"

java中多线程下载

package com.download; import java.io.File; import java.io.InputStream; import java.io.RandomAccessFile; import java.net.HttpURLConnection; import java.net.URL; public class MutileThreadDown { private static int blockCount=3; private static int blockS

JAVA基础知识之网络编程——-网络基础(多线程下载,get,post)

本文主要介绍java.net下为网络编程提供的一些基础包,InetAddress代表一个IP协议对象,可以用来获取IP地址,Host name之类的信息.URL和URLConnect可以用来访问web资源,URLDecode和URLEncode用来转换字符串. 本文会写两个例子来演示java网络编程的一些基本用法. 第一个例子,写一个程序用来模拟多线程下载. 本例中用到的技术有,多线程--多个线程同时读文件写文件,可以加快下载速度, 线程池--在本例中线程池不是必须,甚至是多余,只不过是为了演示

java基础第十九天_QQ、多线程下载

1.QQ 2.屏广软件,大数据包处理,frame缓冲区最多保持两帧画面,1s内没有集齐所有frameunit,则丢弃. 3.从互联网多线程下载 地址 : http://apache.opencas.org/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz RandomAccessFile Thread (>= 3) HttpURLConnection.setRequestProperty("Range", "bytes=209

Java之多线程断点下载的实现

RandomAccessFile类: 此类的实例支持对随机訪问文件的读取和写入.随机訪问文件的行为相似存储在文件系统中的一个大型 byte 数组. 存在指向该隐含数组.光标或索引,称为文件指针.输入操作从文件指针開始读取字节.并随着对字节的读取而前移此文件指针. 假设随机訪问文件以读取/写入模式创建,则输出操作也可用.输出操作从文件指针開始写入字节.并随着对字节的写入而前移此文件指针.写入隐含数组的当前末尾之后的输出操作导致该数组扩展.该文件指针能够通过 getFilePointer 方法读取.

java多线程下载

多线程下载是通过占有服务器资源来提高速度的.每个线程应该下载一个文件的不同位置,假如现在有一个长度为10的资源,有三个线程,那么第一个线程下载的长度为012,第二个为345,第四个为6789所以问题来了每个线程下载的长度是多少呢?线程的id为0,1,2每个线程下载的数量=总长度/线程数量size=10/3start:id*sizeend:(id+1)*size-1最后一个线程的结束位置为:总长度-1 package down; import java.io.File; import java.i