Linux性能优化实战:系统的swap变高(08)

一、Swap 原理

前面提到,Swap 说白了就是把一块磁盘空间或者一个本地文件(以下讲解以磁盘为例),当成内存来使用。它包括换出和换入两个过程

1、所谓换出

就是把进程暂时不用的内存数据存储到磁盘中,并释放这些数据占用的内存。

2、换入

则是在进程再次访问这些内存的时候,把它们从磁盘读到内存中来

所以你看,Swap 其实是把系统的可用内存变大了。这样,即使服务器的内存不足,也可以运行大内存的应用程序

3、应用场景

即是内存不足时,有些程序也并不像被OOM杀死,二十希望能缓一段时间,等待人工介入,或者等系统自动释放其他程序的内存,再分配给它(可以给运维人员处理故障一个缓冲的时间)

常见的笔记本电脑休眠和快速开机的功能,也基于Swap ,休眠时,把系统内存存入磁盘,这样等到再次开机时,只要从磁盘中加载内存就可以,这样就省去了很多应用程序的初始化过程,加快了开机速度

二、那么 Linux 到底在什么时候需要回收内存呢?

1、直接内存回收

有新的大块内存分配请求,但是剩余内存不足,这个时候系统就需要回收一部分内存(比如前面提到的缓存),进而尽可能地满足新内存请求,这个过程被称为直接内存回收

2、kswapd0(定期回收内存)

1、剩余内存页<最小阈值

[email protected]:~#  free -h
              total        used        free      shared  buff/cache   available
Mem:           4.9G        114M        4.0G        992K        770M        4.5G
Swap:          3.9G          0B        3.9G
[email protected]:~# cat /proc/sys/vm/min_free_kbytes
67584

说明进程可用内存都耗尽了,只有内核才可以分配内存

2、页最小阈值<剩余内存页<页低阈值

内存压力比较大,剩余内存不多了,这是kswapd0会执行内存回收,直接剩余内存大于高阈值为止

3、页低阈值<剩余内存<页高阈值

说明有一定压力,但还可以满足新内存请求

4、剩余内存>页高阈值

说明剩余内存比较多,没有内存压力

watch -d grep -A 15 ‘Normal‘ /proc/zoneinfo
Every 2.0s: grep -A 15 Normal /proc/zoneinfo                                                                              openstack: Wed Feb  6 08:45:01 2019

Node 0, zone   Normal
  pages free     146583
        min      4986
        low      6232
        high     7478
        spanned  399872
        present  399872
        managed  373102
        protection: (0, 0, 0, 0, 0)
      nr_free_pages 146583
      nr_zone_inactive_anon 35
      nr_zone_active_anon 11422
      nr_zone_inactive_file 64699
      nr_zone_active_file 120441
      nr_zone_unevictable 1352
      nr_zone_write_pending 0 

三、为什么剩余内存很多的情况下,也会发生 Swap 呢?

这正是处理器的 NUMA (Non-Uniform Memory Access)架构导致的。

在 NUMA 架构下,多个处理器被划分到不同 Node 上,且每个 Node 都拥有自己的本地内存空间。

而通一个Node内部的内存空间实际上可以进一步分为不同的内存域。比如直接内存访问区域、普通内存区,伪内存去等如下图所示

1、通过numactl查询node的分布情况

[email protected]:~# numactl --hardware
available: 1 nodes (0)
node 0 cpus: 0 1
node 0 size: 4976 MB
node 0 free: 4088 MB
node distances:
node   0
  0:  10

1、NUMA和swap什么关系?

1、三个内存阈值(页最小阈值、页低阈值和页高阈值)查询

cat  /proc/zoneinfo
Node 0, zone   Normal
  pages free     146583
        min      4986
        low      6232
        high     7478
        spanned  399872
        present  399872
        managed  373102
        protection: (0, 0, 0, 0, 0)
      nr_free_pages 146583
      nr_zone_inactive_anon 35
      nr_zone_active_anon 11422
      nr_zone_inactive_file 64699
      nr_zone_active_file 120441
      nr_zone_unevictable 1352
      nr_zone_write_pending 0 

1、pages 处的 min、low、high,就是上面提到的三个内存阈值,而 free 是剩余内存页数,它跟后面的nr_free_pages 相同

2、nr_zone_active_anon 和 nr_zone_inactive_anon,分别是活跃和非活跃的一名页数

3、nr_zone_active_file 和 nr_zone_inactive_anon,分别是活跃和非活跃的文件页数

从这个输出结果可以发现,剩余内存远大于高阈值,所以此时的不会回收内存

2、Node寻找空闲内存还是本地内存中回收内存?

[email protected]:~# cat /proc/sys/vm/zone_reclaim_mode
0

默认的0,也就是刚刚提到的模式,表示既可以从其他Node寻找空闲内存,也可以从本地回收内存

1、1、2、4都表示只回收本地内存,
2、2表示可以回写脏数据回收内存
3、4表示可以用方式回收

3、到底该先回收哪一种呢?

1、对文件页的回收

当然就是直接回收缓存,或者把脏页写回磁盘后再回收

2、而对匿名页的回收

其实就是通过 Swap 机制,把它们写入磁盘后再释放内存

[email protected]:~#  cat /proc/sys/vm/swappiness
60

swappiness 的范围是 0-100,数值越大,越积极使用Swap,更倾向于回收匿名页

也就是更倾向于回收匿名页;数值越小,越消极使用 Swap,也就是更倾向于回收文件页

虽然swappiness的范围是0-100,不过要注意,这并不是内存的百分比,而是Swap调整积极程度的权重

即使你把它设置成0,当剩余内存+文件页小于也高阈值时,还是会发生Swap

原文地址:https://www.cnblogs.com/luoahong/p/10353819.html

时间: 2024-11-05 22:37:36

Linux性能优化实战:系统的swap变高(08)的相关文章

Linux性能优化实战

你是否也曾跟我一样,看了很多书.学了很多 Linux 性能工具,但在面对 Linux 性能问题时,还是束手无策?实际上,性能分析和优化始终是大多数软件工程师的一个痛点.但是,面对难题,我们真的就无解了吗? 固然,性能问题的复杂性增加了学习难度,但这并不能成为我们进阶路上的“拦路虎”.在我看来,大多数人对性能问题“投降”,原因可能只有两个. 一个是你没找到有效的方法学原理,一听到“系统”.“底层”这些词就发怵,觉得东西太难自己一定学不会,自然也就无法深入学下去,从而不能建立起性能的全局观. 再一个

Linux性能优化实战: Linux 性能优化答疑(四)(32)

一.上节总结 专栏更新至今,四大基础模块的第三个模块——文件系统和磁盘 I/O 篇,我们就已经学完了.很开心你还没有掉队,仍然在积极学习思考和实践操作,并且热情地留言与讨论. 今天是性能优化的第四期.照例,我从 I/O 模块的留言中摘出了一些典型问题,作为今天的答疑内容,集中回复.同样的,为了便于你学习理解,它们并不是严格按照文章顺序排列的. 每个问题,我都附上了留言区提问的截屏.如果你需要回顾内容原文,可以扫描每个问题右下方的二维码查看. 二.问题 1:阻塞.非阻塞 I/O 与同步.异步 I/

Linux性能优化实战:系统的swap变高(09)

一.实验环境 1.操作系统 root@openstack:~# lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 18.04.1 LTS Release: 18.04 Codename: bionic 2.内存 root@openstack:~# free -h total used free shared buff/cache available Mem: 4.9G 1

Linux性能优化实战:如何利用系统缓存优化程序的运行效率?(17)

一.缓存命中率 1.引子 1.我们想利用缓存来提升程序的运行效率,应该怎么评估这个效果呢? 用衡量缓存好坏的指标 2.有没有哪个指标可以衡量缓存使用的好坏呢? 缓存命中率 3.什么是缓存命中率? 所谓缓存命中率,是指直接通过缓存获取数据的请求次数,占所有数据请求次数的百分比.命中率越高,表示使用缓存带来的收益越高,应用程序的性能也就越好 2.查看系统命中情况的工具 1.缓存在高并发系统的应用 实际上.缓存是现在所有高并发系统必须的核心模块,主要作用就是把经常访问的数据(也就是热点数据),提取读入

Linux性能优化实战:案例篇-DNS 解析时快时慢,我该怎么办?(37)

一.上节回顾 上一节,我带你一起学习了网络性能的评估方法.简单回顾一下,Linux 网络基于 TCP/IP协议栈构建,而在协议栈的不同层,我们所关注的网络性能也不尽相同. 在应用层,我们关注的是应用程序的并发连接数.每秒请求数.处理延迟.错误数等,可以使用 wrk.Jmeter 等工具,模拟用户的负载,得到想要的测试结果. 而在传输层,我们关注的是 TCP.UDP 等传输层协议的工作状况,比如 TCP 连接数.TCP 重传.TCP 错误数等.此时,你可以使用 iperf.netperf 等,来测

linux性能优化实战-磁盘子系统优化

转自:https://blog.csdn.net/twypx/article/details/80290764 磁盘子系统的调优 磁盘在LAMP架构中扮演着重要的角色,静态文件.模板和代码都来自磁盘,组成数据库的数据表和索引也来自磁盘,对磁盘的许多调优(尤其是对数据库)集中于避免磁盘访问,因为磁盘访问的延迟相当高,因此,花一些时间对磁盘硬件进行优化是有意义的. 首先要做的是,确保在文件系统上禁用atime日志记录特性.atime是最近访问文件的时间,每当访问文件时,底层文件系统必须记录这个时间戳

Linux性能优化实战:负载均衡与CPU使用率(01)

一.CPU使用率并没有直接关系 1.平均负载 单位时间内,系统处于可运行状态和不可终端状态的平均进程数也就是平均活跃进程数,它和cpu使用率并没有直接关系, 可运行状态: 正在使用的cpu或者正在等待cpu的进程 不可中断状态 进程是正处于内核关键流程中的进程,并且这些流程是不可打断的,比如最常见的是等待硬件设备I/O响应,也就是我们在ps命令中看到的D状态的状态 或者中断打断的 ,这个时候的 进程处于不可终端状态,如果此时的进程被打断了 ,就容易出现磁盘数据与进程不一致的 问题 所以,不可中断

linux性能优化实战-网络性能调优

转自:https://blog.csdn.net/twypx/article/details/80290759 大多数Linux发行版都定义了适当的缓冲区和其他TCP参数,可以通过修改这些参数来分配更多的内存,从而改进网络性能.设置内核参数的方法是通过proc接口,也就是通过读写/proc中的值.幸运的是,sysctl可以读取/etc/sysctl.conf中的值并根据需要填充/proc,这样就能够更轻松地管理这些参数. 下面展示了在互联网服务器上应用于Internet服务器的一些比较激进的网络

linux性能优化实战-内存性能指标

转自:https://blog.csdn.net/san_77227487/article/details/87938546 https://blog.csdn.net/zxcc1314/article/details/86751559 内存映射 Linux内核给每个进程提供了一个独立的连续虚拟地址空间(独立!可以将进程内存隔离). 每个进程的虚拟地址分为内核空间和用户空间.但内核空间,其实关联的都是相同的物理内存.进程用户态只能访问用户空间内存:内核态可以访问内核空间内存. 内存映射就是将虚拟