[性能分析]linux文件描述符

1、什么是文件和文件描述符

Linux中文件可以分为4种:普通文件、目录文件、链接文件和设备文件。
1、普通文件
是用户日常使用最多的文件,包括文本文件、shell脚本、二进制的可执行和各种类型的数据。
ls -lh 来查看某个文件的属性,可以看到有类似 -rw-r--r-- ,值得注意的是第一个符号是 - ,这样的文件在Linux中就是普通文件。这些文件一般是用一些相关的应用程序创建,比如图像工具、文档工具、归档工具... .... 或 cp工具等。这类文件的删除方式是用rm 命令;
2、目录文件
在linux中,目录也是文件,它们是包含文件名和子目录名以及指向那些文件和子目录的指针
当我们在某个目录下执行,看到有类似 drwxr-xr-x ,这样的文件就是目录,目录在Linux是一个比较特殊的文件。注意它的第一个字符是d。创建目录的命令可以用 mkdir 命令,或cp命令,cp可以把一个目录复制为另一个目录。删除用rm 或rmdir命令。
3、链接文件
链接文件类似于Windows中的“快捷方式”。
是通过ln -s 源文件名 新文件名 来创建的。
4、设备文件
包括两种,块设备文件,另一种是字符设备文件。字符设备(无缓冲且只能顺序存取)、块设备(有缓冲且可以随机存取)。
块设备文件是指数据的读写,它们是以块为单位的设备,如硬盘光驱。
字符设备主要是指串行端口的接口设备,如网卡等。

内核(kernel)利用文件描述符(file descriptor)来访问文件。文件描述符是非负整数。打开现存文件或新建文件时,内核会返回一个文件描述符。读写文件也需要使用文件描述符来指定待读写的文件。

习惯上,标准输入(standard input)的文件描述符是 0,标准输出(standard output)是 1,标准错误(standard error)是 2。尽管这种习惯并非 Unix 内核的特性,但是因为一些 shell 和很多应用程序都使用这种习惯,因此,如果内核不遵循这种习惯的话,很多应用程序将不能使用。 文件描述符的有效范围是 0 到 OPEN_MAX。

在Windows操作系统上,文件描述符被称作文件句柄。

2、文件描述符对性能的影响

linux服务器内核对文件描述符的个数存在限制,默认在1024左右(视不同的服务器类型,默认设置的值不太一样),这对于不太繁忙的程序,一般是够用的,但是如果是web服务器或者性能测试用的加压服务器,这个限制是不够用的,程序会打开大量的文件,导致文件描述符不够用,进而导致无法访问新的文件。

3、如何判断文件描述符设置存在问题

 

通过查看当先系统使用的文件描述符,可以判断文件描述符个数是否受限

使用cat /proc/sys/fs/file-nr

[[email protected] bin]# cat /proc/sys/fs/file-nr

5664        0        186405

其中第一个数表示当前系统已分配使用的打开文件描述符数,第二个数为分配后已释放的(目前已不再使用),第三个数等于file-max。

如图,大量并发请求时,当前系统已分配使用的打开文件描述符数会发生比较大的变化,默认的1024是不够的。

4、如何修改linux服务器内核的文件描述符

(1)临时修改,可以通过ulimit命令修改

  //显示当前文件描述符

  ulimit -n

  //修改当前用户环境下的文件描述符为65536

  ulimit -HSn 65536

  使用ulimit命令的缺点:

  1,只能修改当前登录用户环境下的文件描述符,如果此用户来另外打开一个连接,此链接环境的文件描述符依然是没改前的

  2,如果系统重启,以前修改都不再生效

(2)永久修改,通过修改nf文件

  编辑/etc/security/nf 文件,在最后加入如下两行

  *  soft    nofile  65536

  *  hard    nofile  65536

  保存退出,都不需要重启服务器,直接重新登陆用ulimit -n就能看到效果

  这样无论使用哪个用户,无论是否重启都不会失效了。

[性能分析]linux文件描述符

时间: 2024-12-13 15:22:43

[性能分析]linux文件描述符的相关文章

[性能分析]linux文件描述符(转)

1.什么是文件和文件描述符 Linux中文件可以分为4种:普通文件.目录文件.链接文件和设备文件.1.普通文件是用户日常使用最多的文件,包括文本文件.shell脚本.二进制的可执行和各种类型的数据.ls -lh 来查看某个文件的属性,可以看到有类似 -rw-r--r-- ,值得注意的是第一个符号是 - ,这样的文件在Linux中就是普通文件.这些文件一般是用一些相关的应用程序创建,比如图像工具.文档工具.归档工具... .... 或 cp工具等.这类文件的删除方式是用rm 命令:2.目录文件在l

Linux 文件描述符问题

昨天解了个bug,关于文件描述符的,这种问题很久之前也遇到过,这次再犯真的不该. 问题是这样的. fopen()打开一个文件,然后做了一些操作,然后函数执行结束...没有调用fclose()导致了,再执行此函数时,系统提示,文件描述符分配完毕. 分析了下: 根据以前的知识储备, 1.linux打开文件描述符的最大个数为1024,根据这次发现, 2.这是针对于单独进程的, 3.是从/proc/{pid}/fd/这个文件夹下可以看到. 4.分配文件描述符是递增的顺序.(看我之前的博客会发现这是那个b

[转帖]linux文件描述符文件/etc/security/limits.conf

linux文件描述符文件/etc/security/limits.conf https://blog.csdn.net/fanren224/article/details/79971359 需要多学习了解一下. 文件描述符是什么?和文件句柄有啥区别? 文件描述符是linux/unix操作系统中特有的概念.相当于windows系统中的文件句柄.一个意思不同叫法. Linux系统中, 每当进程打开一个文件时,系统就为其分配一个唯一的整型文件描述符,用来标识这个文件.标准C中每个进程默认打开的有三个文

关于Linux文件描述符的笔记

当某个程序打开文件时,操作系统返回相应的文件描述符,程序为了处理该文件必须引用此描述符.所谓的文件描述符是一个低级的正整数.最前面的三个文件描述符(0,1,2)分别与标准输入(stdin),标准输出(stdout)和标准错误(stderr)对应.因此,函数 scanf() 使用 stdin,而函数 printf() 使用 stdout.你可以用不同的文件描述符改写默认的设置并重定向进程的 I/O 到不同的文件. 首先说什么是文件描述符,它有什么作用? 文件描述符是一个简单的整数,用以标明每一个被

Linux 文件描述符设置为非阻塞的方法

通过fcntl设置文件描述符属性 fcntl即F_SETFL,F_GETFL的使用,设置文件的flags,阻塞设置成非阻塞,非阻塞设置成阻塞(这连个在server开发中可以封装为基本函数) 1.获取文件的flags,即open函数的第二个参数: flags = fcntl(fd,F_GETFL,0); 2.设置文件的flags: fcntl(fd,F_SETFL,flags); 3.增加文件的某个flags,比如文件是阻塞的,想设置成非阻塞: flags = fcntl(fd,F_GETFL,0

Linux 文件描述符

////////////////////////////////////////////////////////////////////////////////////////////////////// 1.UNIX文件描述符 Unix操作系统或者Linux操作系统的文件描述符使用一个非负整数来表示,但是文件描述符不仅仅是一个非负数,Unix对于文件IO有以下几个数据结构: A.       每个进程都有一个进程表,其中有个记录表项,这个记录表项指向的是一个打开文件描述符表,这个文件描述符表是

调整进程的最大linux文件描述符

1.介绍 ulimit 命令提供了针对 shell和或由该 shell 启动的进程占用资源的控制. 持久化修改生效是在/etc/security/limits.conf中进行数据写入. 写入的格式为:<domain><type><item><value> domain:用户名/用户组名/其他(查看man limits.conf) type: hard / soft ,分别指实际最大值类型和预警值类型,一个是max,一个是threshold,在threshol

Linux --- 文件描述符和重定向

1.预备知识 标准输入(stdin).标准输出(stdout)和标准错误(stderr)是编写脚本的时候经常使用的,因为输出的信息可能是上述的一种. 文件描述符 是与打开的某个文件或者数据流相关联的整数.文件描述符0,1,2是系统预留的. 0 - stdin(标准输入) 1 - stdout(标准输出) 2 - stderr(标准错误) 2.实例 echo This is a sample. > temp.txt 可将文本输出到 temp.txt 中,是通过截断文件的方式,也就是说在echo命令

linux文件描述符open file descriptors与open files的区别

一个文件被打开,也可能没有文件描述符,比如current working diretories,memory mapped files and executable text files ;losf可以查岀某个进程打开的文件数目: [email protected] ~]# sh sh-4.1# lsof |grep 1407 rpcbind 1407 rpc cwd DIR 253,0 4096 2 / rpcbind 1407 rpc rtd DIR 253,0 4096 2 / rpcbi