多线程循环批量处理以及多线程操作文件写入相关思路

前言：这篇文章来源于我写的一个小软件：多线程批量探测指定IP段的每个IP的服务器类型（Apache，tomcat，IIS。。。）并将探测结果写入到一个文件中。那么问题来了：如何保证在IP的循环递增过程中使用多线程而每个IP不被重复使用提交（PS：当然为了避免重复，可以用线程等待，唤醒，不过我个人觉得这种方式不一定比单线程强多少）？同时，在将结果写入到文件时，怎样避免因各个线程的抢占式写入导致文件乱码？

经过了一番思考，我觉得可以这样想：对于一个循环的连续数字段，我们可以在给定线程数时，就将这一段数字平均分配给每个线程，因此每个线程只需要按步处理它的任务就行。因为没有跟其他线程的数据发生耦合，所以就可以保证每个数字都只被处理一次，同时在文件写入时也不会出现问题。

接下来，我按照这个思路写了一段测试代码，完整代码如下：

package thread;

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;

public class Test1 {

	public static void main(String[] args) {
		long millis1 = System.currentTimeMillis();
		int threadNum = 5; // 测试用的线程数目
		String fileName = "C:\\Users\\Administrator\\Desktop\\测试1.txt"; // 文件名
		for (int i = 0; i < threadNum; i++) {
			MyThread myThread = new MyThread(i, threadNum, fileName);
			Thread tempThread = new Thread(myThread);
			tempThread.setName("线程" + i);
			tempThread.start();
		}

		long millis2 = System.currentTimeMillis();
		System.out.println(millis2 - millis1);  //大约1-2ms
	}

}

/**
 * 自定义线程
 * */
class MyThread implements Runnable {
	private int i; // 第几个线程
	private int threadNum; // 总共创建了几个线程
	private String fileName;  //文件名

	public MyThread(int i, int threadNum, String fileName) {
		this.i = i;
		this.threadNum = threadNum;
		this.fileName = fileName;
	}

	public void run() {
		new MyPrint().print(i, threadNum, fileName);

	}

}

/**
 * 具体的业务操作
 * */
class MyPrint {
	private BufferedWriter writer;

	public void print(int x, int threadNum, String fileName) {

		try {
			writer = new BufferedWriter(
					new FileWriter(new File(fileName), true));  //如果文件已存在则在后面追加

			for (int i = x; i <= 10000; i = i + threadNum) {
				String temp = Thread.currentThread().getName() + ": " + i
						+ "----------------------------------我是一条华丽的小尾巴";

//				System.out.println(temp);
				writer.write(temp);
				writer.newLine();
				writer.flush();
			}
			writer.close();

		} catch (IOException e) {
			e.printStackTrace();
		}

	}

}

经过测试发现，虽然只用了5个线程，但是执行效率也是非常高的，1~2ms就可以全部处理完了。

附：

对于同样的写入信息，单线程的代码是这样的：

package thread;

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;

public class Test {

	public static void main(String[] args) {
		long millis1 = System.currentTimeMillis();
		String fileName = "C:\\Users\\Administrator\\Desktop\\测试0.txt"; // 文件名
		try {
			BufferedWriter writer = new BufferedWriter(
					new FileWriter(new File(fileName), true));

			for(int i=0;i<=100000;i++){
				String temp = "单线程: " + i
						+ "----------------------------------我是一条华丽的小尾巴";
				writer.write(temp);
				writer.newLine();
				writer.flush();
			}
			writer.close();
		} catch (IOException e) {
			e.printStackTrace();
		} 

		long millis2 = System.currentTimeMillis();
		System.out.println(millis2 - millis1);  //大约162-168ms
	}

}

经过测试，全部执行完大概需要花费160多毫秒，这个效率跟上面的多线程比起来是远远不如的O(∩_∩)O~

（PS：前言中说到的批量探测服务器类型的软件我会在后面的文章中写到，并且会放出简单的GUI界面以及源代码，敬请期待！）