关于/dev/null 和 /dev/zero文件详解以及误删/dev/null和/dev/zero的解决方法和利用/dev/zero进行磁盘IO测试方法

1、概论 -- 来自维基的解释

/dev/null  :

在类Unix系统中,/dev/null,或称空设备,是一个特殊的设备文件,它丢弃一切写入其中的数据(但报告写入操作成功),读取它则会立即得到一个EOF。
在程序员行话,尤其是Unix行话中,/dev/null 被称为位桶(bit bucket)或者黑洞(black hole)。空设备通常被用于丢弃不需要的输出流,或作为用于输入流的空文件。这些操作通常由重定向完成。

/dev/zero  :

在类UNIX 操作系统中, /dev/zero 是一个特殊的文件,当你读它的时候,它会提供无限的空字符(NULL, ASCII NUL, 0x00)。其中的一个典型用法是用它提供的字符流来覆盖信息,另一个常见用法是产生一个特定大小的空白文件。BSD就是通过mmap把/dev/zero映射到虚地址空间实现共享内存的。可以使用mmap将/dev/zero映射到一个虚拟的内存空间,这个操作的效果等同于使用一段匿名的内存(没有和任何文件相关)。(引自:/dev/zero - 维基百科)

以下是 摘取天上星 个人的谬解,高手略过:

/dev/null 外号叫无底洞,你可以向它输出任何数据,它通吃,并且不会撑着!
/dev/zero 是一个输入设备,你可你用它来初始化文件。
/dev/null------它是空设备,也称为位桶(bit bucket)。任何写入它的输出都会被抛弃。如果不想让消息以标准输出显示或写入文件,那么可以将消息重定向到位桶。
/dev/zero------该设备无穷尽地提供0,可以使用任何你需要的数目——设备提供的要多的多。他可以用于向设备或文件写入字符串0。

2、 /dev/null 的日常使用

把/dev/null看作"黑洞"。它等价于一个只写文件,并且所有写入它的内容都会永远丢失,而尝试从它那儿读取内容则什么也读不到。然而, /dev/null对命令行和脚本都非常的有用。

我们都知道  cat $filename  会输出filename对应的文件内容(输出到标准输出)
而使用         cat $filename >/dev/null 
则不会得到任何信息,因为我们将本来该通过标准输出显示的文件信息重定向到了 /dev/null 中,so what will you get ?
使用  cat $filename 1>/dev/null 也会得到同样的效果,因为默认重定向的 1 就是标准输出。  如果你对 shell 脚本或者重定向比较熟悉的话,应该会联想到 2 ,也即标准错误输出。
我们使用 cat $filename  时如果filename对应的文件不存在,系统肯定会报错: “ cat: filename: 没有那个文件或目录 ” 。

如果我们不想看到错误输出呢?我们可以禁止标准错误:   cat $badname 2>/dev/null

我们可以通过下面这个测试来更加深刻的理解/dev/null :

$cat test.txt 
just for test
$cat test.txt >/dev/null 
$cat test.txt 1>/dev/null 
$cat test2.txt 
cat: test2.txt: 没有那个文件或目录
$cat test2.txt >/dev/null 
cat: test2.txt: 没有那个文件或目录
$cat test2.txt 2>/dev/null 
$

有些时候,我并不想看道任何输出,我只想看到这条命令运行是不是正常,那么我们可以同时禁止标准输出和标准错误的输出:

cat $filename 2>/dev/null >/dev/null

所以:

* 如果"$filename"不存在,将不会有任何错误信息提示,
* 如果"$filename"存在, 文件的内容不会打印到标准输出。
* 因此, 上面的代码根本不会输出任何信息,当只想测试命令的退出码而不想有任何输出时非常有用。

下一步,我们使用 echo $? 查看上条命令的退出码:0为命令正常执行,1-255为有出错。
当然,使用   cat $filename &>/dev/null   也可以达到  cat $filename 2>/dev/null >/dev/null 一样的效果。

$cat test2.txt 2>/dev/null 
$cat test.txt 2>/dev/null >/dev/null 
$echo $?
0
$cat test2.txt 2>/dev/null >/dev/null 
$echo $?
1
$cat test.txt &>/dev/null
$echo $?
0

有时候,我们需要删除一些文件的内容而不删除文件本身:(这个方法可以用来删除日志文件,在我的Debian笔记本上我给 /var 盘配的空间有些过小,有时候就需要手动使用这个操作来清空日志)

# cat /dev/null > /var/log/messages
 # : > /var/log/messages   有同样的效果,但不会产生新的进程。(因为:是内建的)
 
下面的实例中,使用/dev/null 来删除cookie 并且不再使用cookie
  if [ -f ~/.netscape/cookies ]       # 如果存在则删除,删除后才可以添加软链接
then
  rm -f ~/.netscape/cookies
fi

ln -s /dev/null ~/.netscape/cookies

其中,cookies的目录是可以变换的,比如说我自己电脑上的firefox的cookie目录为: ~/.mozilla/firefox/nah4b6di.default/cookies*

3、/dev/zero 的日常使用
像/dev/null一样,/dev/zero也是一个伪文件,但它实际上产生连续不断的null的流(二进制的零流,而不是ASCII型的)。写入它的输出会丢失不见,/dev/zero主要的用处是用来创建一个指定长度用于初始化的空文件,像临时交换文件。

比如说,在我的前一篇博客中(《尝试安装Chrome OS的新版本 Vanilla & 安装之后U盘遇到的问题解决》),提到我使用dd 制作的U盘系统,而我的U盘有16G,而制作好后,系统盘只占了2.5G,而其他的空间(将近12G)都无发使用。我只能使用  dd if=/dev/zero of=/dev/sdb bs=4M 来重新给我整个U盘清零。

脚本实例 1. 用/dev/zero创建一个交换临时文件
 #!/bin/bash
# 创建一个交换文件,参数为创建的块数量(不带参数则为默认),一块为1024B(1K)

ROOT_UID=0         # Root 用户的 $UID 是 0.
E_WRONG_USER=65    # 不是 root?

FILE=/swap
BLOCKSIZE=1024
MINBLOCKS=40
SUCCESS=0

# 这个脚本必须用root来运行,如果不是root作出提示并退出
if [ "$UID" -ne "$ROOT_UID" ]
then
  echo; echo "You must be root to run this script."; echo
  exit $E_WRONG_USER
fi blocks=${1:-$MINBLOCKS}          # 如果命令行没有指定,则设置为默认的40块.
# 上面这句等同如:
# ----------------------------------------
# if [ -n "$1" ]
# then
#   blocks=$1
# else
#   blocks=$MINBLOCKS
# fi
# -----------------------------------------

if [ "$blocks" -lt $MINBLOCKS ]
then
  blocks=$MINBLOCKS              # 最少要有 40 个块长,如果带入参数比40小,将块数仍设置成40
fi

echo "Creating swap file of size $blocks blocks (KB)."
dd if=/dev/zero of=$FILE bs=$BLOCKSIZE count=$blocks # 把零写入文件.

mkswap $FILE $blocks             # 将此文件建为交换文件(或称交换分区).
swapon $FILE                     # 激活交换文件.

echo "Swap file created and activated."
exit $SUCCESS

运行效果我们可以看到:

[[email protected] zhaiqutianshangxing/tmp]$ vim testswap.sh
[[email protected] zhaiqutianshangxing/tmp]$ chmod +x testswap.sh    
[[email protected] zhaiqutianshangxing/tmp]$ sudo ./testswap.sh 
[sudo] password for zhaiqutianshangxing:  
[[email protected] zhaiqutianshangxing/tmp]$ ./testswap.sh

You must be root to run this script.

[[email protected] zhaiqutianshangxing/tmp]$ sudo ./testswap.sh           
[sudo] password for zhaiqutianshangxing:     
Creating swap file of size 40 blocks (KB).
记录了40+0 的读入
记录了40+0 的写出
40960字节(41 kB)已复制,0.000904021 秒,45.3 MB/秒
正在设置交换空间版本 1,大小 = 36 KiB
无标签, UUID=3e59eddf-098f-454d-9507-aba55f434a8c
Swap file created and activated.

关于 /dev/zero 的另一个应用是为特定的目的而用零去填充一个指定大小的文件,如挂载一个文件系统到环回设备 (loopback device) 或"安全地" 删除一个文件。
脚本实例2. 创建ramdisk
 #!/bin/bash
# ramdisk.sh
# "ramdisk"是系统RAM内存的一段,它可以被当成是一个文件系统来操作.
# 优点:存取速度非常快 (包括读和写).
# 缺点: 易失性, 当计算机重启或关机时会丢失数据.
# 会减少系统可用的RAM.
#
# 那么ramdisk有什么作用呢?
# 保存一个较大的数据集在ramdisk, 比如一张表或字典,这样可以加速数据查询, 因为在内存里查找比在磁盘里查找快得多.

E_NON_ROOT_USER=70             # 必须用root来运行.
ROOTUSER_NAME=root

MOUNTPT=/mnt/ramdisk
SIZE=2000                      # 2K 个块 (可以合适的做修改)
BLOCKSIZE=1024                 # 每块有1K (1024 byte) 的大小
DEVICE=/dev/ram0               # 第一个 ram 设备

username=`id -nu`
if [ "$username" != "$ROOTUSER_NAME" ]
then
  echo "Must be root to run ""`basename $0`""."
  exit $E_NON_ROOT_USER
fi

if [ ! -d "$MOUNTPT" ]         # 测试挂载点是否已经存在了,
then                           #+ 如果这个脚本已经运行了好几次了就不会再建这个目录了
  mkdir $MOUNTPT               #+ 因为前面已经建立了.
fi

dd if=/dev/zero of=$DEVICE count=$SIZE bs=$BLOCKSIZE # 把RAM设备的内容用零填充.
                                                      # 为何需要这么做?
mke2fs $DEVICE                 # 在RAM设备上创建一个ext2文件系统.
mount $DEVICE $MOUNTPT         # 挂载设备.
chmod 777 $MOUNTPT             # 使普通用户也可以存取这个ramdisk,但是, 只能由root来缷载它.

echo """$MOUNTPT"" now available for use."
# 现在 ramdisk 即使普通用户也可以用来存取文件了.
# 注意, ramdisk是易失的, 所以当计算机系统重启或关机时ramdisk里的内容会消失.
#
# 重启之后, 运行这个脚本再次建立起一个 ramdisk.
# 仅重新加载 /mnt/ramdisk 而没有其他的步骤将不会正确工作.

# 如果加以改进, 这个脚本可以放在 /etc/rc.d/rc.local,以使系统启动时能自动设立一个ramdisk。这样很合适速度要求高的数据库服务器.
exit 0
运行起来效果如下:

[[email protected] zhaiqutianshangxing/tmp]$ vim ramdisk.sh
[[email protected] zhaiqutianshangxing/tmp]$ chmod +x ramdisk.sh
[[email protected] zhaiqutianshangxing/tmp]$ ./ramdisk.sh
Must be root to run ramdisk.sh.
[[email protected] zhaiqutianshangxing/tmp]$ sudo ./ramdisk.sh
记录了2000+0 的读入
记录了2000+0 的写出
2048000字节(2.0 MB)已复制,0.0113732 秒,180 MB/秒
mke2fs 1.42.8 (20-Jun-2013)
Discarding device blocks: 完成
文件系统标签=
OS type: Linux
块大小=1024 (log=0)
分块大小=1024 (log=0)
Stride=0 blocks, Stripe width=0 blocks
16384 inodes, 65536 blocks
3276 blocks (5.00%) reserved for the super user
第一个数据块=1
Maximum filesystem blocks=67108864
8 block groups
8192 blocks per group, 8192 fragments per group
2048 inodes per group
Superblock backups stored on blocks:
    8193, 24577, 40961, 57345

Allocating group tables: 完成
正在写入inode表: 完成
Writing superblocks and filesystem accounting information: 完成
/mnt/ramdisk now available for use.
最后值得一提的是,ELF二进制文件利用了/dev/zero。

今天测试磁盘IO的时候执行命令,突然发现/dev/zero文件莫名奇妙的丢失了,提示找不到文件,错误提示如下:
摘取天上星,一个热爱互联网艺术的人!Email:[email protected]
[[email protected] zhaiqutianshangxing]# dd if=/dev/zero of=test bs=64k count=4k oflag=dsync
dd: 正在打开"/dev/zero": 没有那个文件或目录

误删/dev/zero文件的解决方法如下两条命令进行修复重建文件:

[[email protected] zhaiqutianshangxing]# mknod /dev/zero c 1 5
[[email protected] zhaiqutianshangxing]# chmod 666 /dev/zero
修复完成后用命令测试下是否可用,发现已经可以正常使用磁盘测试了
[[email protected] sq808sq]# dd if=/dev/zero of=test bs=64k count=4k oflag=dsync
记录了4096+0 的读入
记录了4096+0 的写出
268435456字节(268 MB)已复制,105.086 秒,2.6 MB/秒
至此,/dev/zero 文件的修复重建工作已经完成(该文件为系统特殊文件丢失后不能从系统盘或其他系统直接复制使用,只能通过重建修复,下文的/dev/null文件也是如此)

误删/dev/null文件的解决方法如下:

[[email protected] zhaiqutianshangxing]# mknod /dev/null c 1 3
[[email protected] zhaiqutianshangxing]# chmod 666 /dev/null
然后执行命令查看/dev/null 文件,如下所示,已经成功修复/dev/null文件
[[email protected] zhaiqutianshangxing]# ls -la /dev/null
crw-rw-rw-. 1 root root 1, 3 12月 12 13:13 /dev/null

利用/dev/zero测试磁盘IO:

[[email protected] zhaiqutianshangxing]# dd if=/dev/zero of=test bs=64k count=4k oflag=dsync
记录了4096+0 的读入
记录了4096+0 的写出
268435456字节(268 MB)已复制,104.896 秒,2.6 MB/秒
[[email protected] zhaiqutianshangxing]# dd if=/dev/zero of=test bs=8k count=256k conv=fdatasync
记录了262144+0 的读入
记录了262144+0 的写出
2147483648字节(2.1 GB)已复制,28.9346 秒,74.2 MB/秒

更为详细的/dev/zero磁盘IO测试说明:

正常测试的时候可能不止测试一边,可能会需要很多遍求取平均值,这个测试结果在普通的重定向是没有效果的 之后 google 了一下 用下面的方式重定向到一个文件

dd if=/dev/zero of=/var/test bs=8k count=1000000  2>> info

这样测试的结果就到info文件里面了

1. dd if=/dev/zero of=test bs=64k count=16k
  这个很不准确的,因为命令结束的时候数据还没有真正写到磁盘上去

  2. dd if=/dev/zero of=test bs=64k count=16k conv=fsync
  这个还算准确,数据已经写入磁盘

  3. dd if=/dev/zero of=test bs=64k count=4k oflag=dsync
  这个可以当成是模拟数据库插入操作,所以很慢

  接着让我们来看看VPS磁盘性能
  dd if=/dev/zero of=test bs=64k count=16k
  1073741824 bytes (1.1 GB) copied, 2.625317 seconds, 358 MB/s
  上面方法得到的结果看上去似乎很快
  dd if=/dev/zero of=test bs=64k count=16k conv=fsync
  1073741824 bytes (1.1 GB) copied, 12.5891 seconds, 77.1 MB/s
  执行有点慢,不过这次结果比较有参考价值
  dd if=/dev/zero of=test bs=64k count=2k oflag=dsync
  134217728 bytes (134 MB) copied, 176.151 seconds, 755 kB/s
  这个嘛,就是VPS的真正实力,在84的vps上测可是有20M/s

-dsync 可以当成是模拟数据库插入操作,在/dev/zone中读出一条数据就立即写入硬盘
      -fsync 同样也是将数据已经写入磁盘,但是是在经过缓存后最后再写入硬盘

以下几种方式测试磁盘读写速度的区别?
dd bs=1M count=128 if=/dev/zero of=test
dd bs=1M count=128 if=/dev/zero of=test; sync
dd bs=1M count=128 if=/dev/zero of=test conv=fdatasync
dd bs=1M count=128 if=/dev/zero of=test oflag=dsync
区别在于内存中写缓存的处理方式。
dd bs=1M count=128 if=/dev/zero of=test
没有加任何参数,dd默认的方式不包括“同步(sync)”命令。也就是说,dd命令完成前并没有让系统真正把文件写到磁盘上。所以以上命令只是单纯地把这128MB的数据读到内存缓冲当中(写缓存[write cache])。所以你得到的将是一个超级快的速度。因为其实dd给你的只是读取速度,直到dd完成后系统才开始真正往磁盘上写数据,但这个速度你是看不到了。所以如果这个速度很快,先不要偷着乐。呵呵
dd bs=1M count=128 if=/dev/zero of=test; sync
和前面1中的完全一样。分号隔开的只是先后两个独立的命令。当sync命令准备开始往磁盘上真正写入数据的时候,前面dd命令已经把错误的“写入速度”值显示在屏幕上了。所以你还是得不到真正的写入速度。
dd bs=1M count=128 if=/dev/zero of=test conv=fdatasync
加入这个参数后,dd命令执行到最后会真正执行一次“同步(sync)”操作,所以这时候你得到的是读取这128M数据到内存并写入到磁盘上所需的时间,这样算出来的时间才是比较符合实际的。
dd bs=1M count=128 if=/dev/zero of=test oflag=dsync
加入这个参数后,dd在执行时每次都会进行同步写入操作。也就是说,这条命令每次读取1M后就要先把这1M写入磁盘,然后再读取下面这1M,一共重复128次。这可能是最慢的一种方式了,因为基本上没有用到写缓存(write cache)。
建议使用 dd bs=1M count=128 if=/dev/zero of=test conv=fdatasync
因为这种方式最接近计算机实际操作,所以测出来的数据最有参考价值。

摘取天上星,一个热爱互联网艺术的人!Email:[email protected]

时间: 2024-11-05 20:49:09

关于/dev/null 和 /dev/zero文件详解以及误删/dev/null和/dev/zero的解决方法和利用/dev/zero进行磁盘IO测试方法的相关文章

史上最全的maven的pom.xml文件详解

史上最全的maven的pom.xml文件详解 http://www.cnblogs.com/hafiz/p/5360195.html <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 h

/etc/passwd 文件详解

/etc/passwd 文件详解 root:x:0:0:root:/root:/bin/bashdaemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologinbin:x:2:2:bin:/bin:/usr/sbin/nologinsys:x:3:3:sys:/dev:/usr/sbin/nologin 1.帐号名称 2.密码  密码数据放在/etc/shadow 中所以此处显示为× 3.UID  用户标识符 4.GID  组名 5.用户信息说明列 6.主文件夹 7

【转】linux中inittab文件详解

原文网址:http://www.2cto.com/os/201108/98426.html linux中inittab文件详解 init的进程号是1(ps -aux | less),从这一点就能看出,init进程是系统所有进程的起点,Linux在完成核内引导以后,就开始运行init程序. init程序需要读取配置文件/etc/inittab.inittab是一个不可执行的文本文件,它有若干行指令所组成. 理解Runlevel: runlevel用来表示在init进程结束之后的系统状态,在系统的硬

Linux学习— /etc/fstab文件详解

目录 /etc/fstab介绍 参数介绍 配置该文件的一些问题 一.介绍 在介绍/etc/fstab之前,需要先了解挂载和该文件的关系: 其实windows也一样需要挂载的,只不过在分区的时候windows被"挂载"到了C,D,E等盘. 任何硬件设备连接后,操作系统使用硬件,即需要挂载.windows只不过是自动"挂载"了,linux需要手动自己搞.在Linux系统下,例如每次挂载/dev/sr0(光盘设备文件)需要手动使用命令mount.当然,每次重启,开启时,硬

003--映射文件详解

映射文件详解 2.映射文件2.1.example<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE sqlMapPUBLIC "-//iBATIS.com//DTD SQL Map 2.0//EN""http://www.ibatis.com/dtd/sql-map-2.dtd"><sqlMap namespace="User">

jni.h头文件详解(二)

一:struct JNINativeInterface_{} 结构体的作用:它有点像我们char字符驱动的 file_ops结构体,它定义各种函数对在(jni.h头文件详解一)中定义的各种数据的操作函数集体. 二:它包含那些针对Java中类和对象的相关操作呢如下图. 三:下面我们讲详细介绍14个部分方法的用法和解析 3.1.版本信息操作函数. 一.GetVersion jint (JNICALL *GetVersion)(JNIEnv *env) --模块信息:该模块主要针对的JNI接口的版本信

SUBLIME TEXT 2 设置文件详解

SUBLIME TEXT 2 设置文件详解 Preferences.sublime-settings文件: // While you can edit this file, it’s best to put your changes in // “User/Preferences.sublime-settings”, which overrides the settings in here. // // Settings may also be placed in file type speci

jni.h头文件详解二

作者:左少华 博客:http://blog.csdn.net/shaohuazuo/article/details/42932813 转载请注明出处:http://blog.csdn.net/shaohuazuo 一:struct JNINativeInterface_{} 结构体的作用:它有点像我们char字符驱动的 file_ops结构体,它定义各种函数对在(jni.h头文件详解一)中定义的各种数据的操作函数集体. 二:它包含那些针对Java中类和对象的相关操作呢如下图. 三:下面我们讲详细

package-info.java文件详解

package-info.java文件详解 作者:chszs,转载需注明.博客主页:http://blog.csdn.net/chszs 一.pacakge-info.java介绍 pacakge-info.java是一个Java文件,可以添加到任何的Java源码包中.pacakge-info.java的目标是提供一个包级的文档说明或者是包级的注释. pacakge-info.java文件中,唯一要求包含的内容是包的声明语句,比如: package com.ch.service; 二.包文档 在