进程监控工具supervisor 启动Mongodb

一什么是supervisor

Superviosr是一个UNIX-like系统上的进程监控工具。 Supervisor是一个Python开发的client/server系统,可以管理和监控*nix上面的进程。不过同daemontools一样,它也不能监控daemon进程

官网:http://supervisord.org/

二为啥用supervisor

部署简单 : 为啥简单呢?因为咱们通常管理linux进程的时候,一般来说都需要自己编写一个能够实现进程start/stop/restart/reload功能的脚本,然后丢到/etc/init.d/下面。这么做有很多不好的地方,第一我们要编写这个脚本,这就很耗时耗力了。第二,当这个进程挂掉的时候,linux不会自动重启它的,想要自动重启的话,我们还要自己写一个监控重启脚本。而,supervisor则可以完美的解决这些问题。好,怎么解决的呢,其实supervisor管理进程,就是通过fork/exec的方式把这些被管理的进程,当作supervisor的子进程来启动。这样的话,我们只要在supervisor的配置文件中,把要管理的进程的可执行文件的路径写进去就OK了。这样就省下了我们如同linux管理进程的时候,自己写控制脚本的麻烦了。第二,被管理进程作为supervisor的子进程,当子进程挂掉的时候,父进程可以准确获取子进程挂掉的信息的,所以当然也就可以对挂掉的子进程进行自动重启了,当然重启还是不重启,也要看你的配置文件里面有木有设置autostart=true了,这是后话。

集中管理: supervisor管理的进程,进程组信息,全部都写在一个ini格式的文件里就OK了。而且,我们管理supervisor的时候的可以在本地进行管理,也可以远程管理,而且supervisor提供了一个web界面,我们可以在web界面上监控,管理进程。 当然了,本地,远程和web管理的时候,需要调用supervisor的xml_rpc接口,这个也是后话。

supervisor管理的进程,进程组信息,全部都写在一个ini格式的文件里就OK了。而且,我们管理supervisor的时候的可以在本地进行管理,也可以远程管理,而且supervisor提供了一个web界面,我们可以在web界面上监控,管理进程。 当然了,本地,远程和web管理的时候,需要调用supervisor的xml_rpc接口,这个也是后话。

精确

为啥说精确呢?因为linux对进程状态的反馈,有时候不太准确。为啥不准确?这个楼主也不知道啊,官方文档是这么说的,知道的告诉楼主一下吧,感激不尽。而supervisor监控子进程,得到的子进程状态无疑是准确的。

进程组

supervisor可以对进程组统一管理,也就是说咱们可以把需要管理的进程写到一个组里面,然后我们把这个组作为一个对象进行管理,如启动,停止,重启等等操作。而linux系统则是没有这种功能的,我们想要停止一个进程,只能一个一个的去停止,要么就自己写个脚本去批量停止。

权限

大伙都知道linux的进程,特别是侦听在1024端口之下的进程,一般用户大多数情况下,是不能对其进行控制的。想要控制的话,必须要有root权限。而supervisor提供了一个功能,可以为supervisord或者每个子进程,设置一个非root的user,这个user就可以管理它对应的进程了。

不过这功能,用不用就看大伙自己的环境了

 supervisor结构

Supervisord :主进程,负责管理进程的server,它会根据配置文件创建指定数量的应用程序的子进程,管理子进程的整个生命周期,对crash的进程重启,对进程变化发送事件通知等。同时内置web server和XML-RPC Interface,轻松实现进程管理。

Supervisorctl: 管理client,用户通过命令行发送消息给supervisord,可以查看进程状态,加载配置文件,启停进程,查看进程标准输出和错误输出,远程操作等。

Web server: superviosr提供了web server功能,可通过web控制进程。

XML-RPC interface XML-RPC接口,提供XML-RPC服务来对子进程进行管理,监控

安装部署

为了统一python版本和各种依赖库,推荐使用pyrun代替系统的python进行部署,同时需要在pyrun安装pip,将安装包下载至pkg目录,执行如下命令:

/data/pyrun/bin/pip install --no-index -f pkg meld3==1.0.0

/data/pyrun/bin/pip install --no-index -f pkg elementtree==1.2.6-20050316

/data/pyrun/bin/pip install --no-index -f pkg supervisor==3.2.0

如果机器无法联网,可以源码安装:

1) 依赖 python,可将python版本升级

2) 需要第三方包 meld3setuptoolsElementTree

setuptools (latest) from http://pypi.python.org/pypi/setuptools.

meld3 (latest) from http://www.plope.com/software/meld3/.

elementtree (latest) from http://effbot.org/downloads#elementtree.

3) root解压相关包,批量安装。

配置

Supervisor 的配置文件命名为 supervisord.conf,它为 supervisord(Supervisor 的主服务命令) 和 supervisorctl(Supervisor 的监控管理命令) 提供配置选项设置。 Supervisor 并不规定配置文件 supervisord.conf 的存放位置,Supervisor 服务启动的时候默认会在:

  • $CWD/supervisord.conf
  • $CWD/etc/supervisord.conf
  • /etc/supervisord.conf

这几个目录位置查找配置文件 supervisord.conf。

Supervisor 也提供参数 "-c" 来指定配置文件的目录路径。
在终端输入 "echo_supervisord_conf" 命令可查看 Supervisor 的默认配置的内容。

生成一份默认的配置文件:

echo_supervisord_conf > /etc/supervisord.conf

supervisor配置比较简单,以下几个配置项满足基本的需求,更多配置项请参考官方配置说明

[supervisord]
nodeamon = false #以deamon方式启动进程

[supervisorctl] #使用系统默认配置项

[inet_http_server] #web管理页面的端口和用户密码
port = 8080

username = user

password = pwd

[rpcinterface:supervisor] #xml-rpc接口相关配置
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[program:mongodb]

command=/data1/mongodb_2.4.7_build/mongod -config /data1/mongodbrs/config/mongodb.conf --directoryperdb --quiet --profile 1 --slowms 1000 --noprealloc --shardsvr

directory=/data1/mongodb_2.4.7_build

autostart=false

user=root

注意默认配置文件的最后几行

你可以在supervisord.conf文件相同目录下supervisord.d目录内添加.ini文件分开配置

[include]

files = supervisord.d/*.ini

注意:被监控的进程要以非daemon方式运行,以mongodb为例,需要去掉mongodb进程启动命令里的--fork 参数

使用

#   启动supervisor

python /usr/bin/supervisord

#  启动监控的进程

supervisorctl start all

#  关闭监控的进程

supervisorctl stop all

#  查看状态

supervisorctl status

# 重新加载配置文件:

supervisorctl reload

其实,可以通过supervisorctl打开supervisor的命令行控制台,然后输入help可以查看看用的命令,然后help+命令可以查看每个命令的具体功能

 web控制

在 supervisord.conf中配置[inet_http_server],

[inet_http_server]

port = 0.0.0.0:8080 #IP和绑定端口

username = admin #管理员名称

password = 123456 #管理员密码

这样,在浏览器中输入配置中写的地址和端口号,输入配置好的用户名和密码,便可以看到基于网页的控制台界面。从中,可以察看supervisor监控的>信息,可以察看进程的日志等。

浏览器访问:http://10.14.4.84:8080/,(这里的IP为部署supervisor的IP)

八、监控告警

如果需求只是自动拉起crash的进程,通过命令行对进程进行管理,以上内容足矣。supervisor 3.0版本引入了事件,利用这个特性我们实现实时监控进程状态并告警。

首先了解一下supervisor提供的事件,supervisor通过子进程对应用程序进行管理,监控程序同样作为一个子进程运行,子进程的stdin、stdout、stderr都已经被重定向。事件处理过程如下:

  • 作为监听程序的子进程向stdout写入READY\n
  • 事件发生时,supervisor会选择一个处于Ready状态的子进程的stdin写入事件内容
  • 该子进程事件处理完毕后向stdout写入OK\n或FAIL\n,反馈处理结果
  • 重复上述操作

supervisor提供的多种事件类型,包括:进程状态事件、supervisor状态事件、定时事件、xmlrpc调用事件、进程日志事件等等。我们主要关注进程状态相关事件。supervisor对进程定义了如下状态,每个状态的切换都会触发相应的事件。

监控程序可以使用任何语言编写,只要按照supervisor的协议格式正确的处理事件消息即可。推荐使用python作为监控程序,supervisor提供了一个childutils模块使编写处理程序更简单。

九、延伸阅读

github上2个基于supervisor二次开发的集中进程管理工具,可在一个页面下管理多台机器的进程。

https://github.com/mlazarov/supervisord-monitor

https://github.com/TAKEALOT/nodervisor

原文地址:https://www.cnblogs.com/ExMan/p/10758068.html

时间: 2024-10-31 11:30:44

进程监控工具supervisor 启动Mongodb的相关文章

Linux进程监控工具:Supervisor

前言 我们知道现在的APP后台服务,必须可靠的运行,我们希望如果SOA服务进程挂了,可以迅速重启,那么就需要进程的监控了,而在Linux下Supervisor是管理进程的利器.Supervisor就是用Python开发的一套通用的进程管理程序,能将一个普通的命令行进程变为后台daemon,并监控进程状态,异常退出时能自动重启.想一想,其实不仅仅是在SOA服务上可以进行监控,还可以对Nginx等提供服务的任何进程进行监控和管理. 安装Supervisor 如果采用离线安装的方式,涉及到诸多前置软件

Supervisor – 用于 Unix 系统的进程监控工具

Supervisor 是一个客户端/服务端模式的系统,使用户能够监视和控制 UNIX 操作系统的进程.Supervisor 为你提供一个地方来启动,停止和监视进程.进程可以单独或成组的形式控制.您还可以配置 Supervisor 提供本地或远程命令行和 Web 界面. 您可能感兴趣的相关文章 太赞了!超炫的页面切换动画效果[附源码下载] 创意无限!一组网页边栏过渡动画[附源码下载] 好东西!动感的页面加载动画效果[附源码下载] 使用 CSS3 实现3D图片滑块效果[附源码下载] 时尚设计!三种奇

Windows 无法启动MongoDB服务 错误1067:进程意外终止

转自:http://www.cnblogs.com/xiaoit/p/3872790.html 1:Windows 无法启动MongoDB服务 错误1067:进程意外终止 2:解决方法: 进入MongoDB安装目录\data\将此文件夹下的mongod.lock删除(网友提供解决方案,实验之后貌似不行) mongod.exe --config E:\ruanjian\MongoDB\mongod.cfg --remove mongod.exe --config E:\ruanjian\Mongo

supervisor启动worker源码分析-worker.clj

supervisor通过调用sync-processes函数来启动worker,关于sync-processes函数的详细分析请参见"storm启动supervisor源码分析-supervisor.clj".sync-processes函数代码片段如下: sync-processes函数代码片段 ;; sync-processes函数用于管理workers, 比如处理不正常的worker或dead worker, 并创建新的workers;; supervisor标识supervis

管理ELK进程工具: Supervisor && Cesi

一.Supervisor简介 supervisor是一个Linux/Unix系统上的进程监控工具,supervisor是一个Python开发的通用的进程管理程序,可以管理和监控Linux上面的进程,能将一个普通的命令行进程变为后台daemon,并监控进程状态,异常退出时能自动重启.不过同daemontools一样,它不能监控daemon进程 1. yum安装supervisor yum install -y epel-release supervisor 2. 生成配置文件 echo_super

Supervisor启动error: <class 'socket.error'>, [Errno 101] Network is unreachable

全栈与架构 > 技术设计 Supervisor启动error: <class 'socket.error'>, [Errno 101] Network is unreachable 2015/08/03 技术设计 Linux,Python,Supervisor,Tornado 合作公司的MM今天送来第六份文档,我在开发之处留意并担心的问题最终还是被提出来了.文档中大多数为细节调整,重点问题集中在全站商品分类(goodcat)的增删改查和前端展开特效.current_item定位以及数据筛

进程管理supervisor的简单说明

背景: 项目中遇到有些脚本需要通过后台进程运行,保证不被异常中断,之前都是通过nohup.&.screen来实现,带着能否做一个start/stop/restart/reload的服务启动的想法找到里Supervisor.关于supervisor的介绍在网上大致搜索总结如下: Supervisor是用Python开发的一套通用的进程管理程序,能将一个普通的命令行进程变为后台daemon,并监控进程状态,异常退出时能自动重启.它是通过fork/exec的方式把这些被管理的进程当作superviso

守护进程和supervisor

守护进程和supervisor 前言 接触守护进程已经很久了,但是在工作中有时候却经常忘记它.这次是在需要后台跑一个十几万的数据处理工作,耗时较长的时候,习以为常的通过&将脚本放到后台去执行,将标准输出和错误输出重定向到日志文件.然后干其他的事情,却发现进程莫名奇妙的死掉,即使已经在所有可能出现异常的地方都比较注意,然后在合适的地方加上了try except这样的异常处理.但是任何异常信息都没有打印,后来突然发现,有可能是因为仅仅是通过&后台去跑,但是却并没有让该处理进程成为守护进程脱离终

Linux 进程监控工具 monit

如果你已经使用Cacti Nagios 以及zabbix 等一系列监控工具来监控你的项目,但仍然达不到你想要的进程挂掉可以自动拉起并且邮件报警的功能,那么请往下看,推荐一款及其好用的进程监控软件Monit: Monit是一款功能非常丰富的进程.文件.目录和设备的监测软件,适用于Linux/Unix平台. 它可以自动修复那些已经停止运作的程序,特使适合处理那些由于多种原因导致的软件错误,同时Monit 包含一个内嵌的 HTTP(S) Web 界面,你可以使用浏览器方便地查看 Monit 所监视的服