Java进程通信之映像文件共享内存
1. 共享内存 vs 进程通信
对UNIX系统来说,共享内存分为一般共享内存和映像文件共享内存两种.但windows实际上只有影像文件共享内存一种.
而说到进程通信,First当然是Socket通信,但缺点太明显.其一,浪费网络资源,其二,多余的code成本也绝非所愿.
综上,映像文件共享内存方式,成为了实际应用中推荐使用的进程通信手段.
2.优点
数据共享/动态配置/减少资源浪费
3.特点
- 可被多个进程打开访问
- 读写操作的进程在执行读写操作时,其他进程不能进行写操作
- 多个进程可以交替对某一共享内存执行写操作
- 一个进程执行了内存的写操作后，不影响其他进程对该内存的访问。同时其他进程对更新后的内存具有可见性
- 在进程执行写操作时，如果异常退出，对其他进程写操作禁止应自动解除
4.常见场景
1、独占的写操作，相应有独占的写操作等待队列。独占的写操作本身不会发生数据的一致性问题。
2、共享的写操作，相应有共享的写操作等待队列。共享的写操作则要注意防止发生数据的一致性问题。
3、独占的读操作，相应有共享的读操作等待队列。
4、共享的读操作，相应有共享的读操作等待队列。
5.开发要点
JDK 1.4新增的 MappedByteBuffer类 提供了实现共享内存的方法,该缓冲区实际上是一个磁盘文件的内存影像.二者的变化保持同步,即内存数据发生变化会立刻反映到磁盘文件中,进而有效的保证共享内存的实现.
FileChannel 是将共享内存和磁盘文件建立联系的文件通道类。FileChannel 类的加入是 JDK 为了统一对外设备（文件、网络接口等）的访问方法，并加强了多线程对同一文件进行存取的安全性。在这里用它来建立共享内存和磁盘文件间的一个通道。
RandomAccessFile 是 Java IO 体系中功能最丰富的文件内容访问类，它提供很多方法来操作文件，包括读写支持，与普通的IO流相比，它最大的特别之处就是支持任意访问的方式，程序可以直接跳到任意地方来读写数据。举例:向一个5G的文件中新增一行文字,"update by nya".可以直接使用 Java 中的流读取 txt 文本里所有的数据转成字符串后，随后拼接文字,再写回文本即可.而如果内存不充裕,则可以使用RandomAccessFile类来完成,可以实现零内存追加,这就是其支持任意位置读写类的强大之处.
6.代码实测:
此处读写进程,采用文件锁来保证数据读写安全.实操可用
import com.alibaba.fastjson.JSONObject;
import java.io.File;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.nio.ByteBuffer;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
import java.nio.channels.FileLock;
public class ShareMemory {
int flen = 5242880; //开辟共享内存大小 50M
int fsize = 0; //文件的实际大小
String shareFileName; //共享内存文件名
String sharePath; //共享内存路径
MappedByteBuffer mapBuf = null; //定义共享内存缓冲区
FileChannel fc = null; //定义相应的文件通道
FileLock fl = null; //定义文件区域锁定的标记。
RandomAccessFile RAFile = null; //定义一个随机存取文件对象
/**
*
* @param sp 共享内存文件路径
* @param sf 共享内存文件名
*/
public ShareMemory(String sp, String sf) {
if (sp.length() != 0) {
FileUtil.createDir(sp);
this.sharePath = sp + File.separator;
} else {
this.sharePath = sp;
}
this.shareFileName = sf;
try {
// 获得一个只读的随机存取文件对象 "rw" 打开以便读取和写入。如果该文件尚不存在，则尝试创建该文件。
RAFile = new RandomAccessFile(this.sharePath + this.shareFileName + ".sm", "rw");
//获取相应的文件通道
fc = RAFile.getChannel();
//获取实际文件的大小
fsize = (int) fc.size();
if (fsize < flen) {
byte bb[] = new byte[flen - fsize];
//创建字节缓冲区
ByteBuffer bf = ByteBuffer.wrap(bb);
bf.clear();
//设置此通道的文件位置。
fc.position(fsize);
//将字节序列从给定的缓冲区写入此通道。
fc.write(bf);
fc.force(false);
fsize = flen;
}
//将此通道的文件区域直接映射到内存中。
mapBuf = fc.map(FileChannel.MapMode.READ_WRITE, 0, fsize);
} catch (IOException e) {
e.printStackTrace();
}
}
/**
*
* @param ps 锁定区域开始的位置；必须为非负数
* @param len 锁定区域的大小；必须为非负数
* @param buff 写入的数据
* @return
*/
public synchronized int write(int ps, int len, byte[] buff) {
if (ps >= fsize || ps + len >= fsize) {
return 0;
}
try {
//获取此通道的文件给定区域上的锁定。
fl = fc.lock(ps, len, false);
if (fl != null) {
// 清除文件内容
// 清除文件内容,对MappedByteBuffer的操作就是对文件的操作
for (int i = ps ; i < (ps + len); i++) {
mapBuf.put(i,(byte)0);
}
mapBuf.position(ps);
ByteBuffer bf1 = ByteBuffer.wrap(buff);
mapBuf.put(bf1);
//释放此锁定。
fl.release();
return len;
}
} catch (Exception e) {
if (fl != null) {
try {
fl.release();
} catch (IOException e1) {
System.out.println(e1.toString());
}
}
return 0;
}
return 0;
}
/**
*
* @param ps 锁定区域开始的位置；必须为非负数
* @param len 锁定区域的大小；必须为非负数
* @param buff 要取的数据
* @return
*/
public synchronized int read(int ps, int len, byte[] buff) {
if (ps >= fsize) {
return 0;
}
//定义文件区域锁定的标记。
try {
fl = fc.lock(ps, len, false);
if (fl != null) {
//System.out.println( "ps="+ps );
mapBuf.position(ps);
if (mapBuf.remaining() < len) {
len = mapBuf.remaining();
}
if (len > 0) {
mapBuf.get(buff, 0, len);
}
fl.release();
return len;
}
} catch (Exception e) {
if (fl != null) {
try {
fl.release();
} catch (IOException e1) {
System.out.println(e1.toString());
}
}
return 0;
}
return 0;
}
/**
* 完成，关闭相关操作
*/
protected void finalize() throws Throwable {
if (fc != null) {
try {
fc.close();
} catch (IOException e) {
System.out.println(e.toString());
}
fc = null;
}
if (RAFile != null) {
try {
RAFile.close();
} catch (IOException e) {
System.out.println(e.toString());
}
RAFile = null;
}
mapBuf = null;
}
/**
* 关闭共享内存操作
*/
public synchronized void closeSMFile() {
if (fc != null) {
try {
fc.close();
} catch (IOException e) {
System.out.println(e.toString());
}
fc = null;
}
if (RAFile != null) {
try {
RAFile.close();
} catch (IOException e) {
System.out.println(e.toString());
}
RAFile = null;
}
mapBuf = null;
}
public static void main(String arsg[]) throws Exception{
try {
ShareMemory sm = new ShareMemory("/home/lab/test","22222");
JSONObject json = new JSONObject();
json.put("name","来兮子宁");
json.put("age",18);
String str = json.toJSONString();
// StringBuffer sb = new StringBuffer();
// for (int i = 0 ; i < 100000; i++) {
// sb.append("小米刚同学").append("\t");
// }
// System.out.println(sb.toString());
sm.write(40, 50000000, str.getBytes("UTF-8"));
// sm.write(40, 50000000, sb.toString().getBytes("UTF-8"));
byte[] b = new byte[50000000];
sm.read(40, 50000000, b);
String jsonStr = new String(b, "UTF-8").trim();
System.out.println(jsonStr);
JSONObject jsonObject = (JSONObject) JSONObject.parse(jsonStr);
String name = jsonObject.getString("name");
Integer age = jsonObject.getInteger("age");
System.out.println("name : " + name + " age : " + age);
} catch (Exception e) {
e.printStackTrace();
}
}
}
6.参考资料
Java进程通信(共享内存) - https://chenhy.com/post/java_ipc/
Java实现共享内存操作 - https://huxu1986-163-com.iteye.com/blog/2163251
7.附文件操作工具类
import java.io.File;
import java.io.IOException;
public class FileUtil {
// 验证字符串是否为正确路径名的正则表达式
private static String matches = "[A-Za-z]:\\\\[^:?\"><*]*";
// 通过 sPath.matches(matches) 方法的返回值判断是否正确
// sPath 为路径字符串
boolean flag = false;
File file;
/**
* 创建目录
* @param destDirName 需要创建目录的路径
* @return
*/
public static boolean createDir(String destDirName) {
File dir = new File(destDirName);
if (dir.exists()) {// 判断目录是否存在
return false;
}
if (!destDirName.endsWith(File.separator)) {// 结尾是否以"/"结束
destDirName = destDirName + File.separator;
}
if (dir.mkdirs()) {// 创建目标目录
System.out.println("创建目录成功！" + destDirName);
return true;
} else {
System.out.println("创建目录失败！");
return false;
}
}
/**
* 根据路径删除指定的目录或文件，无论存在与否
* @param deletePath 指定的文件的目录
* @return
*/
public boolean DeleteFolder(String deletePath) {
flag = false;
if (deletePath.matches(matches)) {
file = new File(deletePath);
if (!file.exists()) {// 判断目录或文件是否存在
return flag; // 不存在返回 false
} else {
if (file.isFile()) {// 判断是否为文件
return deleteFile(deletePath);// 为文件时调用删除文件方法
} else {
return deleteDirectory(deletePath);// 为目录时调用删除目录方法
}
}
} else {
System.out.println("要传入正确路径！");
return false;
}
}
/**
* 删除单个文件
* @param filePath 文件路径
* @return
*/
public boolean deleteFile(String filePath) {
flag = false;
file = new File(filePath);
if (file.isFile() && file.exists()) {// 路径为文件且不为空则进行删除
file.delete();// 文件删除
flag = true;
}
return flag;
}
/**
* 删除目录（文件夹）以及目录下的文件
* @param dirPath
* @return
*/
public boolean deleteDirectory(String dirPath) {
// 如果sPath不以文件分隔符结尾，自动添加文件分隔符
if (!dirPath.endsWith(File.separator)) {
dirPath = dirPath + File.separator;
}
File dirFile = new File(dirPath);
// 如果dir对应的文件不存在，或者不是一个目录，则退出
if (!dirFile.exists() || !dirFile.isDirectory()) {
return false;
}
flag = true;
File[] files = dirFile.listFiles();// 获得传入路径下的所有文件
for (int i = 0; i < files.length; i++) {// 循环遍历删除文件夹下的所有文件(包括子目录)
if (files[i].isFile()) {// 删除子文件
flag = deleteFile(files[i].getAbsolutePath());
System.out.println(files[i].getAbsolutePath() + " 删除成功");
if (!flag)
break;// 如果删除失败，则跳出
} else {// 运用递归，删除子目录
flag = deleteDirectory(files[i].getAbsolutePath());
if (!flag)
break;// 如果删除失败，则跳出
}
}
if (!flag)
return false;
if (dirFile.delete()) {// 删除当前目录
return true;
} else {
return false;
}
}
/**
* 创建单个文件
* @param filePath 文件路径
* @return
*/
public static boolean createFile(String filePath) {
File file = new File(filePath);
if (file.exists()) {// 判断文件是否存在
System.out.println("目标文件已存在" + filePath);
return false;
}
if (filePath.endsWith(File.separator)) {// 判断文件是否为目录
System.out.println("目标文件不能为目录！");
return false;
}
if (!file.getParentFile().exists()) {// 判断目标文件所在的目录是否存在
// 如果目标文件所在的文件夹不存在，则创建父文件夹
System.out.println("目标文件所在目录不存在，准备创建它！");
if (!file.getParentFile().mkdirs()) {// 判断创建目录是否成功
System.out.println("创建目标文件所在的目录失败！");
return false;
}
}
try {
if (file.createNewFile()) {// 创建目标文件
System.out.println("创建文件成功:" + filePath);
return true;
} else {
System.out.println("创建文件失败！");
return false;
}
} catch (IOException e) {// 捕获异常
e.printStackTrace();
System.out.println("创建文件失败！" + e.getMessage());
return false;
}
}
/**
* 创建临时文件
* @param prefix
* @param suffix
* @param dirName
* @return
*/
public static String createTempFile(String prefix, String suffix,
String dirName) {
File tempFile = null;
if (dirName == null) {// 目录如果为空
try {
tempFile = File.createTempFile(prefix, suffix);// 在默认文件夹下创建临时文件
return tempFile.getCanonicalPath();// 返回临时文件的路径
} catch (IOException e) {// 捕获异常
e.printStackTrace();
System.out.println("创建临时文件失败：" + e.getMessage());
return null;
}
} else {
// 指定目录存在
File dir = new File(dirName);// 创建目录
if (!dir.exists()) {
// 如果目录不存在则创建目录
if (FileUtil.createDir(dirName)) {
System.out.println("创建临时文件失败，不能创建临时文件所在的目录！");
return null;
}
}
try {
tempFile = File.createTempFile(prefix, suffix, dir);// 在指定目录下创建临时文件
return tempFile.getCanonicalPath();// 返回临时文件的路径
} catch (IOException e) {// 捕获异常
e.printStackTrace();
System.out.println("创建临时文件失败!" + e.getMessage());
return null;
}
}
}
}
原文地址：https://www.cnblogs.com/nyatom/p/10770182.html
时间： 2025-01-05 23:16:19