linux修改max user processes limits

说明:
这篇是网上看到的有关修改max user processes limits,觉得还可以,就保留了下来!稍微加了点东西

具体:
最近新上了一批服务器,内核升级到了2.6.32版本,部署完MySQL实例后上到线上,直接负载冲到15,cpu使用达到700%。

01:20:01 PM   runq-sz  plist-sz   ldavg-1   ldavg-5  ldavg-1503:50:01 PM        34      1506     22.95     18.11     11.7801:20:01 PM     CPU     %user     %nice   %system   %iowait    %steal     %idle03:50:01 PM     all     95.13      0.00      3.31      0.06      0.00      1.49

当时就有点蒙,io并不是瓶颈,业务也米有变更,线上的服务器都运行正常,为什么这台新机器就变成这个模样了呢?
最后才发现又是一个ulimit的坑啊,之前对于ulimit -n已经碰了多次头,这次又差点碰的头破血流,万幸灰度上了1台slave,并没有影响到线上。
这次碰到的问题是ulimit -u,这个-u是做什么用的呢?

core file size          (blocks, -c) 0data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0file size               (blocks, -f) unlimited
pending signals                 (-i) 514875max locked memory       (kbytes, -l) 64max memory size         (kbytes, -m) unlimited
open files                      (-n) 204800pipe size            (512 bytes, -p) 8POSIX message queues     (bytes, -q) 819200real-time priority              (-r) 0stack size              (kbytes, -s) 10240cpu time               (seconds, -t) unlimited
max user processes              (-u) 204800virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

可以从上面看出,用来限制max user processes的数量的。
但是这个user processes是什么呢?
Linux itself has a Max Processes per user limit. This feature allows us to control the number of processes an existing user on the server may be authorized to have
这个ulimit -u是用来限制每个用户的最大processes数量。如果ulimit -u进行了限制那么每个linux用户可以派生出来的process就会被限制再这个数值之内。
那么这个限制和MySQL有什么关系呢,我们看如下的测试。

测试:
首先,在一台服务器上启两个MySQL实例,分别限制max connetcionts=1024 , ulimit -u=1024
然后,在一台服务器上运行类似下面的脚本

for i in `seq 1 2010`do
    echo $i
    mysqlha_login.sh -h 10.77.7.56 -P 3306 -e‘system sleep 60;‘ &
    mysqlha_login.sh -h 10.77.7.56 -P 3307 -e‘system sleep 60;‘ &done

当i的数值超过1009的时候就会出现如下报错
Can’t create a new thread (errno 11); if you are not out of available memory, you can consult the manual for a possible OS-dependent bug
这就是无法再创建出新的process了。
如果我们将ulimit -u改为10240,再进行一次测试呢?
User myadmin already has more than ‘max_user_connections’ active connections
报错就变更为我们常见的超过最大连接数的报错了。
so,对于提供长链接的MySQL服务,建议都讲这个值调整为10240或者更大。对于提供短链接的服务,暂时并没有出现本次发现的错误。

修改:
不同内核参数的默认值也是不同的,请注意。

2.6.18ore file size          (blocks, -c) 0data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0file size               (blocks, -f) unlimited
pending signals                 (-i) 139264max locked memory       (kbytes, -l) 32max memory size         (kbytes, -m) unlimited
open files                      (-n) 288000pipe size            (512 bytes, -p) 8POSIX message queues     (bytes, -q) 819200real-time priority              (-r) 0stack size              (kbytes, -s) 10240cpu time               (seconds, -t) unlimited
max user processes              (-u) unlimitedvirtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited
2.6.32core file size          (blocks, -c) 0data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0file size               (blocks, -f) unlimited
pending signals                 (-i) 514875max locked memory       (kbytes, -l) 64max memory size         (kbytes, -m) unlimited
open files                      (-n) 204800pipe size            (512 bytes, -p) 8POSIX message queues     (bytes, -q) 819200real-time priority              (-r) 0stack size              (kbytes, -s) 10240cpu time               (seconds, -t) unlimited
max user processes              (-u) 1024virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

然后,一般来说,修改ulimit的数值,只需要修改/etc/security/limits.conf即可,但是这个参数需要修改/etc/security/limits.d/90-nproc.conf。
至于为什么需要修改这里,请看褚霸的这篇blog
但是,还有一个问题,这个参数需要在mysqld启动之前调整,如果mysqld已经启动,再动态调整是无效的。(大家都知道stop start mysql是一件比较麻烦的事情,涉及线上业务就更麻烦了)
那么,有没有可以动态调整的方法呢?
echo -n ‘Max processes=SOFT_LIMITS:HARD_LIMITS’ > /proc/`pidof mysqld`/limits
通过如上命令就可以动态调整已经存在的mysqld的processes限制了。

附录:
附录1:centos 6.*可以修改/etc/security/limits.d/90-nproc.conf
但,centos 5.*并没有90-nproc.conf这个文件,我这边是通过修改/etc/security/limits.conf,在最后添加
* soft nproc 65535
* hard nproc 65535



Linux对于每个用户,系统限制其最大进程数。为提高性能,可以根据设备资源情况,设置各linux 用户的最大进程数

可以用ulimit -a 来显示当前的各种用户进程限制。
下面我把某linux用户的最大进程数设为10000个:
     ulimit -u 10240
     对于需要做许多 socket 连接并使它们处于打开状态的 Java 应用程序而言,
     最好通过使用 ulimit -n xx 修改每个进程可打开的文件数,缺省值是 1024。
     ulimit -n 4096 将每个进程可以打开的文件数目加大到4096,缺省为1024
     其他建议设置成无限制(unlimited)的一些重要设置是:
     数据段长度:ulimit -d unlimited
     最大内存大小:ulimit -m unlimited
     堆栈大小:ulimit -s unlimited
     CPU 时间:ulimit -t unlimited
     虚拟内存:ulimit -v unlimited
  
     暂时地,适用于通过 ulimit 命令登录 shell 会话期间。
     永久地,通过将一个相应的 ulimit 语句添加到由登录 shell 读取的文件中, 即特定于 shell 的用户资源文件,如:

1)、解除 Linux 系统的最大进程数和最大文件打开数限制:
        vi /etc/security/limits.conf
        # 添加如下的行
        * soft noproc 11000
        * hard noproc 11000
        * soft nofile 4100
        * hard nofile 4100
       说明:* 代表针对所有用户,noproc 是代表最大进程数,nofile 是代表最大文件打开数
2)、让 SSH 接受 Login 程式的登入,方便在 ssh 客户端查看 ulimit -a 资源限制:
        a、vi /etc/ssh/sshd_config
             把 UserLogin 的值改为 yes,并把 # 注释去掉
        b、重启 sshd 服务:
              /etc/init.d/sshd restart
3)、修改所有 linux 用户的环境变量文件:
    vi /etc/profile
    ulimit -u 10000
    ulimit -n 4096
    ulimit -d unlimited
    ulimit -m unlimited
    ulimit -s unlimited
    ulimit -t unlimited
    ulimit -v unlimited

保存后运行#source /etc/profile 使其生效

/**************************************

有时候在程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。
修改2个文件。

1./etc/security/limits.conf
vi /etc/security/limits.conf
加上:
* soft nofile 8192
* hard nofile 20480

2./etc/pam.d/login
session required /lib/security/pam_limits.so
/**********
另外确保/etc/pam.d/system-auth文件有下面内容
session required /lib/security/$ISA/pam_limits.so
这一行确保系统会执行这个限制。

/***********
3.一般用户的.bash_profile
#ulimit -n 1024
重新登陆ok

ulimit 的作用
  =======================
 
ulimit:显示(或设置)用户可以使用的资源的限制(limit),这限制分为软限制(当前限制)和硬限制(上限),其中硬限制是软限制的上限值,应用程序在运行过程中使用的系统资源不超过相应的软限制,任何的超越都导致进程的终止。

参数 描述
ulimited 不限制用户可以使用的资源,但本设置对可打开的最大文件数(max open files)
和可同时运行的最大进程数(max user processes)无效
-a 列出所有当前资源极限
-c 设置core文件的最大值.单位:blocks
-d 设置一个进程的数据段的最大值.单位:kbytes
-f Shell 创建文件的文件大小的最大值,单位:blocks
-h 指定设置某个给定资源的硬极限。如果用户拥有 root 用户权限,可以增大硬极限。任何用户均可减少硬极限
-l 可以锁住的物理内存的最大值
-m 可以使用的常驻内存的最大值,单位:kbytes
-n 每个进程可以同时打开的最大文件数
-p 设置管道的最大值,单位为block,1block=512bytes
-s 指定堆栈的最大值:单位:kbytes
-S 指定为给定的资源设置软极限。软极限可增大到硬极限的值。如果 -H 和 -S 标志均未指定,极限适用于以上二者
-t 指定每个进程所使用的秒数,单位:seconds
-u 可以运行的最大并发进程数
-v Shell可使用的最大的虚拟内存,单位:kbytes
-x

范例1:

[root@localhost proc]# ulimit -a
core file size (blocks, -c) 100
data seg size (kbytes, -d) unlimited
file size (blocks, -f) unlimited
pending signals (-i) 2047
max locked memory (kbytes, -l) 32
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 2047
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
[root@localhost proc]#

输出的每一行由资源名字、(单位,ulimit命令的参数)、软限制组成。详细解释:
参数 描述
core file size core文件的最大值为100 blocks,
data seg size 进程的数据段可以任意大
file size 文件可以任意大
pending signals 最多有2047个待处理的信号
max locked memory 一个任务锁住的物理内存的最大值为32kB
max memory size 一个任务的常驻物理内存的最大值
open files 一个任务最多可以同时打开1024的文件
pipe size 管道的最大空间为4096字节
POSIX message queues POSIX的消息队列的最大值为819200字节
stack size 进程的栈的最大值为8192字节
cpu time 进程使用的CPU时间
max user processes 当前用户同时打开的进程(包括线程)的最大个数为2047
virtual memory 没有限制进程的最大地址空间
file locks 所能锁住的文件的最大个数没有限制

范例2:通过ulimit命令来限制文件的大小,从而导致拷贝命令的失败

[[email protected]]ls temp.txt
ls: temp.txt: 没有那个文件或目录
[[email protected]]ulimit -f 1 #设置创建文件的最大块(一块=512字节)
[[email protected]]cat a.c > temp.txt
文件大小超出限制

文件a.c的大小是5002字节,而我们设定的创建文件的大小是512字节x1块=512字节



linux修改max user processes limits

时间: 2024-10-03 19:43:31

linux修改max user processes limits的相关文章

关于linux修改max user processes limits的问题

我们都知道,ulimit -u 可以设置max user processes limits,但是往往在设置的过程中,这样直接修改,不仅只能临时生效,重启之后又无效了,而且老是会失败. 而一般来说,修改ulimit的数值,只需要修改/etc/security/limits.conf即可,但是max user processes这个数值和其他的配置不同,需要修改另一个配置文件: /etc/security/limits.d/90-nproc.conf 关于详细的原因和如何进行修改,我推荐一篇博客:h

Linux - 修改系统的max open files、max user processes(附ulimit的使用方法)

目录 1 问题说明 2 修改max open files 3 修改max user processes 4 附录: ulimit命令说明 1 问题说明 Linux 系统默认的max open files = 1024, 在大内存服务器中, 如果运行负载比较大的程序, 很容易发生error: too many open files, 特别是提供大量静态文件访问的Web服务器.缓存服务器中这种错误更加常见. open files表示系统级别的能够打开的文件句柄的数量, 是系统级别的安全策略: 限制所

linux 修改普通用户的 max user process

因为出现  fork: retry: No child processes 问题 , google了一下 , 大家说是要去修改 /etc/security/limits.conf 文件 , 然后我用root用户去修改了一下 , 如下图 : 后我切换到普通用户 后. 使用ulimit -a 查看的时候 发现max user processes竟然是4096 . 懵逼了 ,. 我不是改了所有用户都是1048576了嘛 . 最后的最后 .... 我看见网上的同志们说 普通用户修改应该在 :/etc/s

linux修改最大文件打开、句柄数

1.   查看linux系统版本号 cat /etc/issue    查看到所有的linux机器为 CentOS release 5.5 (Final) 2.    按照linux5.x的修改方法进行修改: a.  以root用户登录,修改系统参数数配置,vi /etc/sysctl.conf kernel.msgmax=65536(修改的参数) fs.file-max = 65536 (新增的参数) 修改完后运行  sysctl -p 命令使参数立即生效. b.     root用户修改 v

-bash: ulimit: max user processes: cannot modify limit: Operation not permitted

安装oracle时候在创建oracle用户后,切换oracle用户时,报如下错 [[email protected] ~]# su - oracle-bash: ulimit: max user processes: cannot modify limit: Operation not permitted 经查看结果是 忘记修改/etc/security/limits.conf 关于/etc/security/limits.conf解释及应用,看我转载如下文章 limits.conf的格式如下:

关于 CentOS 7 里面 普通用户 Ulimit   max user processes 值的问题

最近在对tomcat 的一个 项目进行 压测, 普通用户 启动 tomcat 的时候 压力上去以后就会报 java.lang.OutOfMemoryError 的错误, 这种错误 按道理来说都是 系统 max user processes 的问题. 当时我登陆了服务器查看 系统 的 ulimit  ulimit -a   core file size          (blocks, -c) 0 data seg size           (kbytes, -d) unlimited sc

[转载]linux修改open files数

概要:linux系统默认open files数目为1024, 有时应用程序会报Too many open files的错误,是因为open files 数目不够.这就需要修改ulimit和file-max.特别是提供大量静态文件访问的web服务器,缓存服务器(如squid), 更要注意这个问题.网上的教程,都只是简单说明要如何设置ulimit和file-max, 但这两者之间的关系差别,并没有仔细说明. 说明:1. file-max的含义.man proc,可得到file-max的描述:/pro

max user processes

ulimit -a max user processes 这个值默认是1024 如果需要调大,最直接的方法是在用户的shell下执行:ulimit -u 10240(可以写在用户的bashrc中) 另外两个需要修改的地方为: /etc/security/limits.conf /etc/security/limits.d/90-nproc.conf

linux修改open files数

概要:linux系统默认open files数目为1024, 有时应用程序会报Too many open files的错误,是因为open files 数目不够.这就需要修改ulimit和file-max.特别是提供大量静态文件访问的web服务器,缓存服务器(如squid), 更要注意这个问题.网上的教程,都只是简单说明要如何设置ulimit和file-max, 但这两者之间的关系差别,并没有仔细说明. 说明:1. file-max的含义.man proc,可得到file-max的描述:/pro