有关linux下redis overcommit_memory的问题

转载自:http://skly-java.iteye.com/blog/2167400

启动错误

  1.WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add ‘vm.overcommit_memory = 1‘ to /etc/sysctl.conf and then reboot or run the command ‘sysctl vm.overcommit_memory=1‘ for this to take effect.

  2.WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.

解决方法

  第一个警告有两个方式解决(overcommit_memory)

    1.   echo "vm.overcommit_memory=1" > /etc/sysctl.conf

      然后sysctl -p  /etc/sysctl.conf  使配置文件生效

    2.  echo 1 > /proc/sys/vm/overcommit_memory  不需要启机器就生效,临时生效而已,重启机器就失效了,要永久生效,就该配置文件sysctl.conf 吧



  linux相关知识点:转自:http://blog.csdn.net/hncdsun/article/details/5093983

  sysctl配置与显示在/proc/sys目录中的内核参数.可以用sysctl来设置或重新设置联网功能,如IP转发、IP碎片去除以及源路由检查等。用户只需要编辑/etc/sysctl.conf文件,即可手工或自动执行由sysctl控制的功能。

   命令格式:

    sysctl [-n] [-e] -w variable=value

    sysctl [-n] [-e] -p <filename> (default /etc/sysctl.conf)

    sysctl [-n] [-e] -a

    常用参数的意义:

      -w   临时改变某个指定参数的值,如

        sysctl -w net.ipv4.ip_forward=1

      -a   显示所有的系统参数

      -p   从指定的文件加载系统参数,如不指定即从/etc/sysctl.conf中加载

     如果仅仅是想临时改变某个系统参数的值,可以用两种方法来实现,例如想启用IP路由转发功能:

       1) #echo 1 > /proc/sys/net/ipv4/ip_forward

      2) #sysctl -w net.ipv4.ip_forward=1

      以上两种方法都可能立即开启路由功能,但如果系统重启,或执行了

      # service network restart

         命令,所设置的值即会丢失,如果想永久保留配置,可以修改/etc/sysctl.conf文件

        将 net.ipv4.ip_forward=0改为net.ipv4.ip_forward=1



  第二个警告解决

    1. echo 511 > /proc/sys/net/core/somaxconn

overcommit_memory参数说明

  设置内存分配策略    /proc/sys/vm/overcommit_memory(可选,根据服务器的实际情况进行设置)
  可选值:0、1、2。
    0, 表示内核将检查是否有足够的可用内存供应用进程使用;如果有足够的可用内存,内存申请允许;否则,内存申请失败,并把错误返回给应用进程。
    1, 表示内核允许分配所有的物理内存,而不管当前的内存状态如何。
    2, 表示内核允许分配超过所有物理内存和交换空间总和的内存

  注意:redis在dump数据的时候,会fork出一个子进程,理论上child进程所占用的内存和parent是一样的,比如parent占用 的内存为8G,这个时候也要同样分配8G的内存给child,如果内存无法负担,往往会造成redis服务器的down机或者IO负载过高,效率下降。所 以这里比较优化的内存分配策略应该设置为 1(表示内核允许分配所有的物理内存,而不管当前的内存状态如何)。这里又涉及到Overcommit和OOM。

什么是Overcommit和OOM

  在Unix中,当一个用户进程使用malloc()函数申请内存时,假如返回值是NULL,则这个进程知道当前没有可用内存空间,就会做相应的处理工作。许多进程会打印错误信息并退出。

  Linux使用另外一种处理方式,它对大部分申请内存的请求都回复"yes",以便能跑更多更大的程序。因为申请内存后,并不会马上使用内存。这种技术叫做Overcommit。

  当内存不足时,会发生OOM killer(OOM=out-of-memory)。它会选择杀死一些进程(用户态进程,不是内核线程),以便释放内存。

Overcommit的策略

  Linux下overcommit有三种策略(Documentation/vm/overcommit-accounting):
    0. 启发式策略。合理的overcommit会被接受,不合理的overcommit会被拒绝。
    1. 任何overcommit都会被接受。
    2. 当系统分配的内存超过swap+N%*物理RAM(N%由vm.overcommit_ratio决定)时,会拒绝commit。
      overcommit的策略通过vm.overcommit_memory设置。
      overcommit的百分比由vm.overcommit_ratio设置。

      # echo 2 > /proc/sys/vm/overcommit_memory
      # echo 80 > /proc/sys/vm/overcommit_ratio

当oom-killer发生时,linux会选择杀死哪些进程

  选择进程的函数是oom_badness函数(在mm/oom_kill.c中),该函数会计算每个进程的点数(0~1000)。点数越高,这个进程越有可能被杀死。每个进程的点数跟oom_score_adj有关,而且oom_score_adj可以被设置(-1000最低,1000最高)。

时间: 2024-10-24 10:47:57

有关linux下redis overcommit_memory的问题的相关文章

有关linux下redis overcommit_memory的问题(转)

一.背景 公司的redis有时background save db不成功,通过log发现下面的告警,很可能由它引起的: [13223] 17 Mar 13:18:02.207 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf

Linux下Redis服务器安装配置

说明:操作系统:CentOS1.安装编译工具yum install wget  make gcc gcc-c++ zlib-devel openssl openssl-devel pcre-devel kernel keyutils  patch perl 2.安装tcl组件包(安装Redis需要tcl支持)cd /usr/local/src #进入软件包存放目录wget  http://downloads.sourceforge.net/tcl/tcl8.6.6-src.tar.gztar 

Linux 下 Redis使用介绍

出自http://blog.csdn.net/ajun_studio/article/details/6698147 和http://www.oschina.net/question/12_18065?sort=time Redis 是一个高性能的key-value数据库. redis的出现,很大程度补偿了memcached这类keyvalue存储的不足,在部 分场合可以对关系数据库起到很好的补充作用.它提供了Python,Ruby,Erlang,PHP,Java客户端,使用很方便. Redis

Linux下Redis的安装使用

1.   Linux下Redis的安装使用 官方下载:http://redis.io/download 可以根据需要下载不同版本 下载,解压和安装: $ wgethttp://download.redis.io/releases/redis-2.6.17.tar.gz $ tar xzf redis-2.6.17.tar.gz $ cd redis-2.6.17 $ make 编译后的可执行文件在src目录中,可以使用下面的命令运行Redis: $ src/redis-server 你可以使用内

linux下Redis与phpredis扩展安装

++++++++++++++++++++++++++++++++++++++++++++++linux下Redis与phpredis扩展安装++++++++++++++++++++++++++++++++++++++++++++++操作系统   : [CentOS6.0]redis  : [redis-2.4.3]phpredis   : [phpredis-2.1.0]++++++++++++++++++++++++++++++++++++++++++++++准备安装软件(download) 

Linux下Redis的部署和启动笔记

Linux下Redis的部署和启动 下载安装介质 Redis官网地址:http://www.redis.io/目前最新版本是redis-3.0.3. 可以访问 http://download.redis.io/releases/redis-3.0.3.tar.gz 下载后使用SCP上传到服务器, 或者直接下载: wget http://download.redis.io/releases/redis-3.0.3.tar.gz 解压及编译 [email protected]:/data$ tar

linux下redis的安装及配置启动

linux下redis的安装及配置启动 标签: redisnosql 2014-10-24 14:04 19732人阅读 评论(0) 收藏 举报  分类: 数据与性能(41)  wget http://download.redis.io/releases/redis-2.8.6.tar.gztar xzf redis-2.8.6.tar.gzcd redis-2.8.6make 有是make会报错 gcc类的错误 则需安装 gcc 如: yum install -y gcc g++ gcc-c+

Linux下Redis的安装和部署

一.Redis介绍 Redis是当前比较热门的NOSQL系统之一,它是一个key-value存储系统.和Memcache类似,但很大程度补偿了Memcache的不足,它支持存储的value类型相对更多,包括string.list.set.zset和hash.这些数据类型都支持push/pop.add/remove及取交集并集和差集及更丰富的操作.在此基础上,Redis支持各种不同方式的排序. 和Memcache一样,Redis数据都是缓存在计算机内存中,不同的是,Memcache只能将数据缓存到

Linux下Redis的编译安装

介绍 redis是一个key-value存储系统.和Memcached类似,它支持存储的value类型相对更多,包括string(字符串).list(链表).set(集合).zset(sorted set --有序集合)和hash(哈希类型).这些数据类型都支持push/pop.add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的.在此基础上,redis支持各种不同方式的排序.与memcached一样,为了保证效率,数据都是缓存在内存中.区别的是redis会周期性的把更