理解 Linux backlog/somaxconn 内核参数

Shihu

https://jaminzhang.github.io/linux/understand-Linux-backlog-and-somaxconn-kernel-arguments/

各参数的含义:https://www.alibabacloud.com/help/zh/faq-detail/41334.htm

理解 Linux backlog/somaxconn 内核参数

By 12月08日 2016 Linux LinuxTCPSocketbacklogsomaxconn

引言

之前负载均衡超时问题这篇博文中提到一个可能原因是:
后端服务器 Socket accept 队列满,系统的 somaxconn 内核参数默认太小。
下面我们我深入学习理解下 somaxconn 内核参数相关内容。

TCP SYN_REVD, ESTABELLISHED 状态对应的队列

TCP 建立连接时要经过 3 次握手,在客户端向服务器发起连接时,
对于服务器而言,一个完整的连接建立过程,服务器会经历 2 种 TCP 状态:SYN_REVD, ESTABELLISHED。

对应也会维护两个队列:
1. 一个存放 SYN 的队列(半连接队列)
2. 一个存放已经完成连接的队列(全连接队列)

当一个连接的状态是 SYN RECEIVED 时,它会被放在 SYN 队列中。
当它的状态变为 ESTABLISHED 时,它会被转移到另一个队列。
所以后端的应用程序只从已完成的连接的队列中获取请求。

如果一个服务器要处理大量网络连接,且并发性比较高,那么这两个队列长度就非常重要了。
因为,即使服务器的硬件配置非常高,服务器端程序性能很好,
但是这两个队列非常小,那么经常会出现客户端连接不上的现象,
因为这两个队列一旦满了后,很容易丢包,或者连接被复位。
所以,如果服务器并发访问量非常高,那么这两个队列的设置就非常重要了。

Linux backlog 参数意义

对于 Linux 而言,基本上任意语言实现的通信框架或服务器程序在构造 socket server 时,都提供了 backlog 这个参数,
因为在监听端口时,都会调用系统底层 API: int listen(int sockfd, int backlog);

listen 函数中 backlog 参数的定义如下:

Now it specifies the queue length for completely established sockets waiting to be accepted,
instead of the number of incomplete connection requests.
The maximum length of the queue for incomplete sockets can be set using the tcp_max_syn_backlog sysctl.
When syncookies are enabled there is no logical maximum length and this sysctl setting is ignored.
If the socket is of type AF_INET, and the backlog argument is greater than the constant SOMAXCONN(128 default),
it is silently truncated to SOMAXCONN.

backlog 参数描述的是服务器端 TCP ESTABELLISHED 状态对应的全连接队列长度。

全连接队列长度如何计算?
如果 backlog 大于内核参数 net.core.somaxconn,则以 net.core.somaxconn 为准,
即全连接队列长度 = min(backlog, 内核参数 net.core.somaxconn),net.core.somaxconn 默认为 128。
这个很好理解,net.core.somaxconn 定义了系统级别的全连接队列最大长度,
backlog 只是应用层传入的参数,不可能超过内核参数,所以 backlog 必须小于等于 net.core.somaxconn。

半连接队列长度如何计算?
半连接队列长度由内核参数 tcp_max_syn_backlog 决定,
当使用 SYN Cookie 时(就是内核参数 net.ipv4.tcp_syncookies = 1),这个参数无效,
半连接队列的最大长度为 backlog、内核参数 net.core.somaxconn、内核参数 tcp_max_syn_backlog 的最小值。
即半连接队列长度 = min(backlog, 内核参数 net.core.somaxconn,内核参数 tcp_max_syn_backlog)。
这个公式实际上规定半连接队列长度不能超过全连接队列长度。

其实,对于 Nginx/Tomcat 等这种 Web 服务器,都提供了 backlog 参数设置入口,
当然它们都会有默认值,通常这个默认值都不会太大(包括内核默认的半连接队列和全连接队列长度)。
如果应用并发访问非常高,只增大应用层 backlog 是没有意义的,因为可能内核参数关于连接队列设置的都很小,
一定要综合应用层 backlog 和内核参数一起看,通过公式很容易调整出正确的设置。

linux中tcp连接内核参数调优somaxconn

https://blog.csdn.net/jackyechina/article/details/70992308永久生效:vim /etc/sysctl.confnet.core.somaxconn=32768sysctl -p立即生效:sysctl -w net.core.somaxconn=32768

重启应用生效sysctl -a显示所有内核参数

看其解析:  对于一个TCP连接,Server与Client需要通过三次握手来建立网络连接.当三次握手成功后,  我们可以看到端口的状态由LISTEN转变为ESTABLISHED,接着这条链路上就可以开始传送数据了.  每一个处于监听(Listen)状态的端口,都有自己的监听队列.监听队列的长度,与如下两方面有关:  - somaxconn参数.  - 使用该端口的程序中listen()函数.

关于somaxconn参数:  定义了系统中每一个端口最大的监听队列的长度,这是个全局的参数,默认值为128.限制了每个端口接收新tcp连接侦听队列的大小。   对于一个经常处理新连接的高负载 web服务环境来说,默认的 128 太小了。大多数环境这个值建议增加到 1024 或者更多。   服务进程会自己限制侦听队列的大小(例如 sendmail(8) 或者 Apache),常常在它们的配置文件中有设置队列大小的选项。大的侦听队列对防止拒绝服务 DoS 攻击也会有所帮助。

Ref

关于 backlog 和相关内核参数
随手记之 Linux 内核 backlog 笔记
关于 somaxconn 参数

原文地址:https://www.cnblogs.com/liuhongru/p/11022323.html

时间: 2024-11-09 01:46:33

理解 Linux backlog/somaxconn 内核参数的相关文章

Linux之TCPIP内核参数

/proc/sys/net目录 参考1.Linux之TCPIP内核参数优化 所有的TCP/IP参数都位于/proc/sys/net目录下(请注意,对/proc/sys/net目录下内容的修改都是临时的,任何修改在系统重启后都会丢失),例如下面这些重要的参数: 参数(路径+文件) 描述 默认值 优化值 /proc/sys/net/core/rmem_default 默认的TCP数据接收窗口大小(字节). 229376 256960 /proc/sys/net/core/rmem_max 最大的TC

linux下修改内核参数进行Tcp性能调优 -- 高并发

前言: Tcp/ip协议对网络编程的重要性,进行过网络开发的人员都知道,我们所编写的网络程序除了硬件,结构等限制,通过修改Tcp/ip内核参数也能得到很大的性能提升, 下面就列举一些Tcp/ip内核参数,解释它们的含义并通过修改来它们来优化我们的网络程序,主要是针对高并发情况. 这里网络程序主要指的是服务器端 1. fs.file-max 最大可以打开的文件描述符数量,注意是整个系统. 在服务器中,我们知道每创建一个连接,系统就会打开一个文件描述符,所以,文件描述符打开的最大数量也决定了我们的最

Linux 下 Oracle 内核参数优化

数据库的性能优化涉及到整个数据库运行环境的方方面面,诸如操作系统,Oracle自身,存储,网络等等几个大块.而操作系统则是Oracle稳定运行与最大化性能的基石.本文主要描述基于Linux系统下 Oracle 内核参数的配置. 校验下面的列表中显示的内核参数的值被设置为大于或等于下面所显示的最小值. 如果你的系统中下面的任意参数的当前值已经大于或高于下面列出的值,请不要做任何修改. 下面的步骤给出了如何去校验并设置这些参数的值. 通过执行下面的命令进行校验 /sbin/sysctl -a | e

安装ORACLE时在Linux上设置内核参数的含义

转自:http://www.blogjava.net/tbwshc/archive/2012/09/13/387652.htmlhttp://blog.csdn.net/wuweilong/article/details/7420310 安装Oracle之前,除了检查操作系统的硬件和软件是否满足安装需要之外,一个重点就是修改内核参数,其中最主要的是和内存相关的参数设置. SHMMAX参数:Linux进程可以分配的单独共享内存段的最大值.一般设置为内存总大小的一半.这个值的设置应该大于SGA_MA

Linux oracle安装 内核参数讲解

在安装Oracle的时候需要调整linux的内核参数,但是各参数代表什么含义呢,下面做详细解析. Linux安装文档中给出的最小值: fs.aio-max-nr = 1048576 fs.file-max = 6815744 kernel.shmall = 2097152 kernel.shmmax = 4294967295 kernel.shmmni = 4096 kernel.sem = 250 32000 100 128 net.ipv4.ip_local_port_range = 900

Linux之TCPIP内核参数优化

/proc/sys/net目录 所有的TCP/IP参数都位于/proc/sys/net目录下(请注意,对/proc/sys/net目录下内容的修改都是临时的,任何修改在系统重启后都会丢失),例如下面这些重要的参数: 参数(路径+文件) 描述 默认值 优化值 /proc/sys/net/core/rmem_default 默认的TCP数据接收窗口大小(字节). 229376 256960 /proc/sys/net/core/rmem_max 最大的TCP数据接收窗口(字节). 131071 51

Mysql : L闪存卡linux中的内核参数设置

将 Nytro WarpDrive 加速卡配置为文件系统 本节说明的操作使您可调整 Nytro WarpDrive 加速卡,增强使用 Oracle Linux with Unbreakable Enterprise Kernel (UEK) 操作系统的性能.这些配置步骤在 UEK 和 Oracle Linux 操作系统中均有效.以下步骤将 Nytro WarpDrive 卡为 MySQL 数据库的每个主服务器和从 服务器配置为一个文件系统.其他选项可用于加倍 Nytro WarpDrive 加速

Linux安装Oracle内核参数配置说明

fs.file-max = 6815744 --表示文件句柄的最大数量,表示在Linux系统中可以打开的文件数量. fs.aio-max-nr = 1048576 --此参数限制并发未完成的请求,避免I/O子系统故障.推荐值是--1048576=1024*1024,即1024K . kernel.shmall = 2097152 --表示可用共享内存的总量,单位是页,在32位系统上一页等于4kB,也就是4096字节.一个共享内存段的最大大小是16G,那么需要共享内存页数是 16GB/4KB=16

linux内存回收 内核参数

ss -atu| awk '/^tcp/{++S[$2]} END {for(a in S) print a,S[a]}' ps up pid   (RSS:实际内存大小,长驻内存) ps o pid,comm,minflt,majflt pid  (依次是次页中断,主页中断)   页中断:分配内存的过程叫页中断  主页中断来自swap,(主页中断太多会影响性能)   次页中断来自内存    页错误:重新建立物理内存与虚拟内存的对应关系 vm.swappiness rhel-7(30%)  10