使用Supervisor管理Celery进程。

讲过一篇celery的,但是celery启动后并不是daemon的,在生产环境中这肯定是不可以的,那怎么办呢? 这就需要使用supervisor进行进程管理了,下面详细介绍。

一、 supervisor是干什么的。

supervisor是有Python语言编写的,基于linux操作系统的一款服务器管理工具,用以监控服务器进程的运行。
supervisor要求管理的程序是非daemon程序,supervisord会帮你把他转换成daemon程序。
因此如果使用supervisor来管理nginx进程的话,必须在nginx的配置文件里添加一行设置deamon off让nginx以非daemon方式启动,
我们这里是用supervisor是用它来管理celery进程。

二、supervisor安装

1. 安装好python环境,这个Linux系统都默认已经安装好了,但是建议安装2.7.0以上版本。
2. 使用pip或者easy_install安装
   sudo pip install supervisor 或者
   sudo easy_install supervisor
   安装完以后,进入python交互式环境,输入:
   import supervisor
   如果没有错误提示则表示安装成功。

三、 supervisor配置

1. superisor配置生成
   $ echo_supervidord_conf > /etc/supervisord.conf

2. 配置文件说明
   $ sudo cp /etc/supervisord.conf /etc/suprtvidord.conf.bak # 首先备份一下配置文件
   废话不多说,直接贴配置文件(配置文件中以;开头的行表示注释):

   ; Sample supervisor config file.
   ;
   ; For more information on the config file, please see:
   ; http://supervisord.org/configuration.html
   ;
   ; Notes:
   ;  - Shell expansion ("~" or "$HOME") is not supported.  Environment
   ;    variables can be expanded using this syntax: "%(ENV_HOME)s".
   ;  - Comments must have a leading space: "a=b ;comment" not "a=b;comment".

   # [unix_http_server] 这个模块主要是配置sock文件的路径及权限
   [unix_http_server]
   file=/var/run/supervisor.sock    ; (the path to the socket file)
   chmod=0700                       ; socket file mode (default 0700)
   chown=root:root                  ; socket file uid:gid owner
   ;username=admin                  ; (default is no username (open server))
   ;password=admin                  ; (default is no password (open server))
   # [inet_http_server] 这个模块只要是配置Web管理界面
   [inet_http_server]               ; inet (TCP) server disabled by default
   port=127.0.0.1:9001              ; (ip_address:port specifier, *:port for all iface)
   username=admin                   ; (default is no username (open server))
   password=admin                   ; (default is no password (open server))
   # [supervisord] 这个模块是supervisord服务的配置模块,比如日志文件位置,日志等级等等
   [supervisord]
   logfile=/home/liuyadong/log/supervisor/supervisord.log   ; (main log file;default $CWD/supervisord.log)
   logfile_maxbytes=50MB                                    ; (max main logfile bytes b4 rotation;default 50MB)
   logfile_backups=10                                       ; (num of main logfile rotation backups;default 10)
   loglevel=info                                            ; (log level;default info; others: debug,warn,trace)
   pidfile=/var/run/supervisord.pid                         ; (supervisord pidfile;default supervisord.pid)
   nodaemon=false                                           ; (start in foreground if true;default false)
   minfds=1024                                              ; (min. avail startup file descriptors;default 1024)
   minprocs=200                                             ; (min. avail process descriptors;default 200)
   ;umask=022                                               ; (process file creation umask;default 022)
   ;user=chrism                                             ; (default is current user, required if root)
   ;identifier=supervisor                                   ; (supervisord identifier, default is ‘supervisor‘)
   ;directory=/tmp                                          ; (default is not to cd during start)
   ;nocleanup=true                                          ; (don‘t clean up tempfiles at start;default false)
   ;childlogdir=/tmp                                        ; (‘AUTO‘ child log dir, default $TEMP)
   ;environment=KEY="value"                                 ; (key value pairs to add to environment)
   ;strip_ansi=false                                        ; (strip ansi escape codes in logs; def. false)

   ; the below section must remain in the config file for RPC
   ; (supervisorctl/web interface) to work, additional interfaces may be
   ; added by defining them in separate rpcinterface: sections
   [rpcinterface:supervisor]
   supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

   # [supervisorctl] 这个模块的值必须和"unix_http_server"里面设定的匹配
   [supervisorctl]
   serverurl=unix:///var/run/supervisor.sock                ; use a unix:// URL  for a unix socket
   ;serverurl=http://127.0.0.1:9001                         ; use an http:// url to specify an inet socket
   ;username=admin                                          ; should be same as http_username if set
   ;password=admin                                          ; should be same as http_password if set
   ;prompt=mysupervisor                                     ; cmd line prompt (default "supervisor")
   ;history_file=~/.sc_history                              ; use readline history if available

   ; The below sample program section shows all possible program subsection values,
   ; create one or more ‘real‘ program: sections to be able to control them under
   ; supervisor.
   # [program:xxx] 这个模块就是需要管理的进程模块, 字段属性也很简单,后面有注释就不详细介绍了。
   # 这个模块可以是多个
   [program:celery]
   command=celery worker -A monitorAuto.celery --loglevel=info          ; the program (relative uses PATH, can take args)
   ;process_name=%(program_name)s                                       ; process_name expr (default %(program_name)s)
   numprocs=1                                                           ; number of processes copies to start (def 1)
   directory=/home/liuyadong/git/monitor_auto/                          ; directory to cwd to before exec (def no cwd)
   autostart=true                                                       ; start at supervisord start (default: true)
   startsecs=10                                                         ; # of secs prog must stay up to be running (def. 1)
   startretries=3                                                       ; max # of serial start failures when starting (default 3)
   ;autorestart=ture                                                    ; when to restart if exited after running (def: unexpected)
   ;exitcodes=0,2                                                       ; ‘expected‘ exit codes used with autorestart (default 0,2)
   ;stopsignal=QUIT                                                     ; signal used to kill process (default TERM)
   stopwaitsecs=600                                                     ; max num secs to wait b4 SIGKILL (default 10)
   ;stopasgroup=false                                                   ; send stop signal to the UNIX process group (default false)
   killasgroup=true                                                     ; SIGKILL the UNIX process group (def false)
   user=liuyadong                                                       ; setuid to this UNIX account to run the program
   redirect_stderr=true                                                 ; redirect proc stderr to stdout (default false)
   stdout_logfile=/home/liuyadong/log/supervisor/supercelery.log        ; stdout log path, NONE for none; default AUTO
   ;stdout_logfile_maxbytes=1MB                                         ; max # logfile bytes b4 rotation (default 50MB)
   ;stdout_logfile_backups=10                                           ; # of stdout logfile backups (default 10)
   ;stdout_capture_maxbytes=1MB                                         ; number of bytes in ‘capturemode‘ (default 0)
   ;stdout_events_enabled=false                                         ; emit events on stdout writes (default false)
   stderr_logfile=/home/liuyadong/log/supervisor/supercelery.error.log  ; stderr log path, NONE for none; default AUTO
   ;stderr_logfile_maxbytes=1MB                                         ; max # logfile bytes b4 rotation (default 50MB)
   ;stderr_logfile_backups=10                                           ; # of stderr logfile backups (default 10)
   ;stderr_capture_maxbytes=1MB                                         ; number of bytes in ‘capturemode‘ (default 0)
   ;stderr_events_enabled=false                                         ; emit events on stderr writes (default false)
   ;environment=A="1",B="2"                                             ; process environment additions (def no adds)
   ;serverurl=AUTO                                                      ; override serverurl computation (childutils)

   ; The below sample eventlistener section shows all possible
   ; eventlistener subsection values, create one or more ‘real‘
   ; eventlistener: sections to be able to handle event notifications
   ; sent by supervisor.
   ;[group:thegroupname]
   ;programs=progname1,progname2  ; each refers to ‘x‘ in [program:x] definitions
   ;priority=999                  ; the relative start priority (default 999)

   ; The [include] section can just contain the "files" setting.  This
   ; setting can list multiple files (separated by whitespace or
           ; newlines).  It can also contain wildcards.  The filenames are
   ; interpreted as relative to this file.  Included files *cannot*
   ; include files themselves.

   ;[include]
   ;files = relative/directory/*.ini

四、 Supervisord管理 Supervidord安装完成以后有两个可用的命令行supervisor和supervisorctl

 ? supervisord,                     初始启动Supervisord,启动、管理配置中设置的进程。
 ? supervisorctl stop programxxx     停止某一个进程(programxxx),programxxx为[program:chatdemon]里配置的值,这个示例就是chatdemon。
 ? supervisorctl start programxxx    启动某个进程
 ? supervisorctl restart programxxx  重启某个进程
 ? supervisorctl stop groupworker    重启所有属于名为groupworker这个分组的进程(start,restart同理)
 ? supervisorctl stop all            停止全部进程,注:start、restart、stop都不会载入最新的配置文件。
 ? supervisorctl reload              载入最新的配置文件,停止原有进程并按新的配置启动、管理所有进程。
 ? supervisorctl update              根据最新的配置文件,启动新配置或有改动的进程,配置没有改动的进程不会受影响而重启。

 注意:显示用stop停止掉的进程,用reload或者update都不会自动重启。

 可以使用--help查看命令更多的用法,我启动时遇到配置文件没有放到默认路径使用-c 参数执行
时间: 2024-10-25 22:35:27

使用Supervisor管理Celery进程。的相关文章

celery和supervisor配合使用,实现supervisor管理celery进程

在这里我选择redis作为celery异步任务的中间人,系统选择CentOS6.5 64位.redis.celery和supervisor的安装参见官方文档. 安装完毕后: 1, 创建celery的实例/home/user_00/learn/tasks.py文件 tasks.py: # -*-coding:utf-8-*- from celery import Celery, platforms app = Celery('tasks', backend='redis://localhost:6

supervisor 管理uwsgi 进程

Supervisor是用Python开发的一套通用的进程管理程序,能将一个普通的命令行进程变为后台daemon,并监控进程状态,异常退出时能自动 重启.它是通过fork/exec的方式把这些被管理的进程当作supervisor的子进程来启动,这样只要在supervisor的配置文件中,把要 管理的进程的可执行文件的路径写进去即可.也实现当子进程挂掉的时候,父进程可以准确获取子进程挂掉的信息的,可以选择是否自己启动和报警 安装: Supervisor是python2写就的一款强大的运维工具(其实现

【Python】supervisor安装和管理celery

参考:http://blog.csdn.net/wawa8899/article/details/52743861 参考:http://www.cnblogs.com/mountaingeek/p/5911291.html 参考:http://www.linuxyw.com/718.html 参考:http://www.iitshare.com/supervisord-manage-process.html 参考:http://stackoverflow.com/questions/203468

使用Supervisor管理进程二

supervisor安装完成后会生成三个执行程序:supervisortd.supervisorctl.echo_supervisord_conf,分别是supervisor的守护进程服务(用于接收进程管理命令).客户端(用于和守护进程通信,发送管理进程的指令).生成初始配置文件程序. 3.配置 运行supervisord服务的时候,需要指定supervisor配置文件,如果没有显示指定,默认在以下目录查找: $CWD/supervisord.conf$CWD/etc/supervisord.c

使用supervisor管理进程

Supervisor (http://supervisord.org) 是一个用 Python 写的进程管理工具,可以很方便的用来启动.重启.关闭进程(不仅仅是 Python 进程).除了对单个进程的控制,还可以同时启动.关闭多个进程,比如很不幸的服务器出问题导致所有应用程序都被杀死,此时可以用 supervisor 同时启动所有应用程序而不是一个一个地敲命令启动. 安装 Supervisor 可以运行在 Linux.Mac OS X 上.如前所述,supervisor 是 Python 编写的

docker技术剖析--docker supervisor管理进程

http://hongge.blog.51cto.com/ 使用 Supervisor 来管理进程 Docker 容器在启动的时候开启单个进程,比如,一个 ssh 或者 apache 的 daemon 服务.但我们经常需要在一个机器上开启多个服务,这可以有很多方法,最简单的就是把多个启动命令放到一个启动脚本里面,启动的时候直接启动这个脚本. 例如:docker run –d 镜像 /run.sh 另外就是安装进程管理工具. 本节将使用进程管理工具 supervisor 来管理容器中的多个进程.使

docker之使用supervisor管理多个进程

docker题外话: centos7安装supervisor: 源码编译安装: 下载源码文件:supervisor-3.3.1.tar.gz 下载地址:https://pypi.python.org/pypi/supervisor 安装: [[email protected] src]# tar -zxf supervisor-3.3.1.tar.gz [[email protected] src]# cd supervisor-3.3.1/ [[email protected] supervi

【云计算】使用supervisor管理Docker多进程-ntpd+uwsgi+nginx示例最佳实践

supervisor安装启动: apt-get install supervisor -y # start supervisord nodaemon /usr/bin/supervisord --nodaemon nginx示例: [program:nginx] command = /usr/sbin/nginx -g 'daemon off;' process_name = %(program_name)s stopsignal = QUIT autostart = true # starts

使用supervisord 管理ELK进程

看教程安装ELK时,发现了supervisord这个简单好用的进程管理工具,他支持web和文本两种方式,下面我们就来说一说具体的使用.更加详细的配置文件说明大家可以自行百度. #安装 # yum -y install python-setuptools  #安装easy_install 这个命令的软件包 # easy_install supervisor           #安装supervisor #生成配置文件 # echo_supervisord_conf > /etc/supervis