管理ELK进程工具: Supervisor && Cesi

一、Supervisor简介

supervisor是一个Linux/Unix系统上的进程监控工具,supervisor是一个Python开发的通用的进程管理程序,可以管理和监控Linux上面的进程,能将一个普通的命令行进程变为后台daemon,并监控进程状态,异常退出时能自动重启。不过同daemontools一样,它不能监控daemon进程

1. yum安装supervisor

    yum install -y epel-release supervisor 

2. 生成配置文件

    echo_supervisord_conf > /etc/supervisord.conf

3. 编辑配置文件
```
    [unix_http_server]
file=/var/run/supervisor/supervisor.sock   ; (the path to the socket file)
[inet_http_server]         ; inet (TCP) server disabled by default
port=*:9001        ; (ip_address:port specifier, *:port for all iface)
[supervisord]
logfile=/var/log/supervisor/supervisord.log  ; (main log file;default $CWD/supervisord.log)
logfile_maxbytes=50MB       ; (max main logfile bytes b4 rotation;default 50MB)
logfile_backups=10          ; (num of main logfile rotation backups;default 10)
loglevel=info               ; (log level;default info; others: debug,warn,trace)
pidfile=/var/run/supervisord.pid ; (supervisord pidfile;default supervisord.pid)
nodaemon=false              ; (start in foreground if true;default false)
minfds=1024                 ; (min. avail startup file descriptors;default 1024)
minprocs=200                ; (min. avail process descriptors;default 200)
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
[supervisorctl]
serverurl=unix:///var/run/supervisor/supervisor.sock ; use a unix:// URL  for a unix socket
[include]
files = /etc/supervisord.d/*.conf                    ; 注意写绝对路径
```
4. 启动supervisord,设置开机启动

    supervisord -c /etc/supervisord.conf

    echo "supervisord -c /etc/supervisord.conf" >> /etc/rc.local
    chmod +x /etc/rc.d/rc.local

5. 访问supervisor的web界面

    http://ip:9001

6. 添加管理进程的配置文件,存放在/etc/supervisord.d/
```
    [program:elasticsearch]
command = /usr/local/elasticsearch/bin/elasticsearch            ; 程序的启动目录
user=elk                               ; 使用什么用户启动
priority=10                            ; 优先级,默认999 数字越小优先级越高
numprocs=1                             ; 启动几个进程
autostart=true                         ; 随着supervisord的启动而启动
autorestart=true                       ; 异常退出后,自动重启
startrestries=3                        ; 启动失败时的最多重试次数
redirect_stderr=true                   ; 重定向stderr到stdout
stdout_logfile_maxbytes = 20MB         ; stdout 日志文件大小,默认 50MB
stdout_logfile_backups = 10            ; stdout 日志文件备份数
stdout_logfile = /home/logs/supervisor/elasticsearch_stdout.log   ; 日志文件
```
展示图:

二、Cesi 简介

CeSi 是 Supervisor 官方推荐的集中化管理 Supervisor 实例的 Web UI,该工具是用 Python 编写,基于 Flask Web 框架 。

Superviosr 自带的 Web UI 不支持跨机器管理
Supervisor 进程,功能比较简单,通过 CeSi 可以集中管理各个服务器节点的进程,在 Web 界面就可以轻松管理各个服务的启动、关闭、重启等,很方便使用。

1. 安装依赖

    yum install -y git wget epel-release python34 python34-pip npm bzip2

    npm install -g n (升级node到最新版)
    n latest
    curl --silent --location https://dl.yarnpkg.com/rpm/yarn.repo | sudo tee /etc/yum.repos.d/yarn.repo
    yum install -y yarn (安装yarn)

2. 安装cesi (参考官网教程)
```
    export CESI_SETUP_PATH=/opt/cesi

mkdir ${CESI_SETUP_PATH}
cd ${CESI_SETUP_PATH}
wget https://github.com/gamegos/cesi/releases/download/v2.6.7/cesi-extended.tar.gz -O cesi.tar.gz
tar -xvf cesi.tar.gz
python3 -m venv venv
source venv/bin/activate
pip3 install -r requirements.txt
deactivate
cd ${CESI_SETUP_PATH}/cesi/ui
yarn install
yarn build

注意修改/etc/cesi.conf.toml 和 /etc/systemd/system/cesi.service

cp ${CESI_SETUP_PATH}/defaults/cesi.conf.toml /etc/cesi.conf.toml
vi /etc/cesi.conf.toml
[cesi]
database = "sqlite:///users.db" # Relative path
activity_log = "activity.log" # File path for CeSI logs
admin_username = "admin" # Username of admin user
admin_password = "admin" # Password of admin user
[[nodes]]
name = "node1"
environment = ""
username = ""
password = ""
host = "172.16.16.75"
port = "9001"
[[nodes]]
name = "node2"
environment = ""
username = "admin"
password = "btr2014"
host = "172.16.8.12"
port = "9001"
cp ${CESI_SETUP_PATH}/defaults/cesi.service /etc/systemd/system/cesi.service
vi /etc/systemd/system/cesi.service
[Unit]
Description=cesi
[Service]
Environment=
ExecStart=/root/cesi/venv/bin/python3 /root/cesi/cesi/run.py --config-file /etc/cesi.conf.toml
ExecReload=/bin/kill -HUP $MAINPID
KillSignal=TERM
User=root
WorkingDirectory=/root/cesi
Restart=on-failure
[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl start cesi


    展示图:
    ![](https://s1.51cto.com/images/blog/201903/05/398eda22207b54bd888ba09ebcfe03d3.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=)

原文地址:https://blog.51cto.com/11924224/2358490

时间: 2024-10-11 01:20:35

管理ELK进程工具: Supervisor && Cesi的相关文章

使用supervisord 管理ELK进程

看教程安装ELK时,发现了supervisord这个简单好用的进程管理工具,他支持web和文本两种方式,下面我们就来说一说具体的使用.更加详细的配置文件说明大家可以自行百度. #安装 # yum -y install python-setuptools  #安装easy_install 这个命令的软件包 # easy_install supervisor           #安装supervisor #生成配置文件 # echo_supervisord_conf > /etc/supervis

supervisor 管理uwsgi 进程

Supervisor是用Python开发的一套通用的进程管理程序,能将一个普通的命令行进程变为后台daemon,并监控进程状态,异常退出时能自动 重启.它是通过fork/exec的方式把这些被管理的进程当作supervisor的子进程来启动,这样只要在supervisor的配置文件中,把要 管理的进程的可执行文件的路径写进去即可.也实现当子进程挂掉的时候,父进程可以准确获取子进程挂掉的信息的,可以选择是否自己启动和报警 安装: Supervisor是python2写就的一款强大的运维工具(其实现

Python 进程管理工具 Supervisor 使用教程

Supervisor 是基于 Python 的进程管理工具,只能运行在 Unix-Like 的系统上,也就是无法运行在 Windows 上.Supervisor 官方版目前只能运行在 Python 2.4 以上版本,但是还无法运行在 Python 3 上,不过已经有一个 Python 3 的移植版 supervisor-py3k. 什么情况下我们需要进程管理呢?就是执行一些需要以守护进程方式执行的程序,比如一个后台任务,我最常用的是用来启动和管理基于 Tornado 写的 Web 程序. 除此之

进程管理工具supervisor的安装与使用教程

supervisor是用python写的一个进程管理工具,用来启动,重启,关闭进程.下面这篇文章主要给大家介绍了关于python实现的进程管理工具supervisor的安装与使用的相关资料,需要的朋友可以参考借鉴,下面来一起看看吧. 前言 在一个分布式环境中,每台机器上可能需要启动和停止多个进程,使用命令行方式一个一个手动启动和停止非常麻烦,而且查看每个进程的状态也很不方便.如果有一个工具能够实现每台机器上多个进程的简单高效中心化管理将是非常方便的.于是Supervisord工具应运而生.与Su

linux 使用进程管理工具 supervisor

1.supervisor是使用python进行开发的运行在linux服务器上的进程管理工具 supervisor需要运行在python2环境,如果需要使用supervisor管理python3的项目,需要借助于虚拟环境 2.安装supervisor: pip install supervisor 3.生成配置文件:echo_supervisord_conf > /etc/supervisord.conf, 当进行到这一步时,终端提示需要 apt install supervisor,如果有该提示

使用Supervisor管理Celery进程。

讲过一篇celery的,但是celery启动后并不是daemon的,在生产环境中这肯定是不可以的,那怎么办呢? 这就需要使用supervisor进行进程管理了,下面详细介绍. 一. supervisor是干什么的. supervisor是有Python语言编写的,基于linux操作系统的一款服务器管理工具,用以监控服务器进程的运行. supervisor要求管理的程序是非daemon程序,supervisord会帮你把他转换成daemon程序. 因此如果使用supervisor来管理nginx进

后台进程管理工具---supervisor

supervisor是一个linux下的进程管理工具,有时需要开发一些后台服务类的程序,这类程序通常不能因为意外挂掉,所以最好能在出现意外挂掉的情况下能够重启,继续服务.之前我一直采用创建daemon,即守护进程的方式来实现,再通过其他进程监控,最近发现了这个后台进程管理神器.通过supervisor,可以将命令行的控制台程序轻松变为daemon,并且在意外挂掉时,supervisor能够自动帮我们重启. 系统环境 ubuntu14.04,其他发行版linux安装配置大体相同 下面以一个小例子展

celery和supervisor配合使用,实现supervisor管理celery进程

在这里我选择redis作为celery异步任务的中间人,系统选择CentOS6.5 64位.redis.celery和supervisor的安装参见官方文档. 安装完毕后: 1, 创建celery的实例/home/user_00/learn/tasks.py文件 tasks.py: # -*-coding:utf-8-*- from celery import Celery, platforms app = Celery('tasks', backend='redis://localhost:6

用Supervisord管理Python进程

http://feilong.me/2011/03/monitor-processes-with-supervisord Supervisord是用Python实现的一款非常实用的进程管理工具,类似于monit(关于monit见我的博客:用monit监控系统关键进程),monit和supervisord的一个比较大的差异是supervisord管理的进程必须由supervisord来启动,monit可以管理已经在运行的程序:supervisord还要求管理的程序是非daemon程序,superv