Palo通过supervisor进行进程管理

下面一段文字是摘自doris官方文档：
注：在生产环境中，所有实例都应使用守护进程启动，以保证进程退出后，会被自动拉起，如 Supervisor。如需使用守护进程启动，需要修改各个 start_xx.sh 脚本，去掉最后的 & 符号

首先安装supervisor,具体请参照本人的另一篇博客CentOS7 安装supervisor守护进程管理器

1 配置palo be 进程管理

1.1 修改各个 start_be.sh 脚本，去掉最后的 & 符号

/home/workspace/palo-0.8.2/be/bin/start_be.sh

:wq保存退出

1.2 创建be supervisor进程管理配置文件

输入命令：

vim /etc/supervisord.d/palo_be-0.8.2.ini

填写以下内容

[program:palo_be]
process_name=%(program_name)s                 ;进程名称
directory=/opt/palo-0.8.2/be                  ;工作目录
command=sh /opt/palo-0.8.2/be/bin/start_be.sh ;运行的命令
autostart=true                                ;自动开启
autorestart=true                              ;自动重启
user=root                                     ;用户
numprocs=1                                    ;进程数
startretries=3                                ;启动重试次数
stopasgroup=true                              ;是否停止子进程
killasgroup=true                              ;是否杀死子进程
startsecs=5                                   ;启动5秒后，如果还是运行状态才认为进程已经启动
//redirect_stderr = true
//stdout_logfile_maxbytes = 20MB
//stdout_logfile_backups = 10
//stdout_logfile=/var/log/supervisor-palo_be-0.8.2.log

2 配置broker进程管理

2.1 修改各个 start_broker.sh 脚本，去掉最后的 & 符号

vim /opt/palo-0.8.2/apache_hdfs_broker/bin/start_broker.sh

:wq保存退出

 2.2 创建broker supervisor进程管理配置文件

输入命令

vim /etc/supervisord.d/palo_broker-0.8.2.ini

输入以下内容

[program:BrokerBootstrap]
process_name=%(program_name)s                                       ;进程名称
directory=/opt/palo-0.8.2/apache_hdfs_broker                        ;工作目录
command=sh /opt/palo-0.8.2/apache_hdfs_broker/bin/start_broker.sh   ;运行的命令
autostart=true                                                      ;自动开启
autorestart=true                                                    ;自动重启
user=root                                                           ;用户
numprocs=1                                                          ;进程数
startretries=3                                                      ;启动重试次数
stopasgroup=true                                                    ;是否停止子进程
killasgroup=true                                                    ;是否杀死子进程
startsecs=5                                                         ;启动5秒后，如果还是运行状态才认为进程已经启动
//redirect_stderr=true
//stdout_logfile_maxbytes=20MB
//stdout_logfile_backups=10
//stdout_logfile=/var/log/supervisor-BrokerBootstrap-0.8.2.log

3 配置fe进程管理

3.1 修改各个 start_fe.sh 脚本，去掉最后的 & 符号

vim /opt/palo-0.8.2fe/bin/start_fe.sh

:wq保存退出

 3.2 创建fe supervisor进程管理配置文件

输入命令

vim /etc/supervisord.d/palo_fe-0.8.2.ini

输入内容如下：

[program:PaloFe]
process_name=PaloFe                                 ;进程名称
directory=/opt/palo-0.8.2/fe                        ;工作目录
command=sh /opt/palo-0.8.2/fe/bin/start_fe.sh       ;运行的命令
autostart=true                                      ;自动开启
autorestart=true                                    ;自动重启
user=root                                           ;用户
numprocs=1                                          ;进程数
startretries=3                                      ;启动重试次数
stopasgroup=true                                    ;是否停止子进程
killasgroup=true                                    ;是否杀死子进程
startsecs=5                                         ;启动5秒后，如果还是运行状态才认为进程已经启动
//redirect_stderr=true
//stdout_logfile_maxbytes=20MB
//stdout_logfile_backups=10
//stdout_logfile=/var/log/supervisor-PaloFe-0.8.2.log

4. 验证

4.1 先确保没有palo fe，be，broker进程在运行，如果有则使用kill -9  [processid]杀死掉

停止掉fe,broker

[[email protected] palo-0.8.2]# jps
50258 DataNode
60387 Jps
59908 PaloFe
50109 NameNode
40318 BrokerBootstrap
[[email protected] palo-0.8.2]# kill -9 59908
[[email protected] palo-0.8.2]# kill -9 40318

说明： BrokerBootstrap为broker的进程名称，PaloFe为fe的进程名称

停止掉be

[[email protected] palo-0.8.2]# ps -e | grep palo
59362 ?        00:00:07 palo_be
[[email protected] palo-0.8.2]# kill -9 59362

4.2 启动supervisor,验证fe，be，broker是否启动

启动supervisor

supervisord -c /etc/supervisord.conf

查看状态：

[[email protected] palo-0.8.2]# supervisorctl status
BrokerBootstrap                  RUNNING   pid 64312, uptime 0:00:16
PaloFe                           RUNNING   pid 64314, uptime 0:00:16
palo_be                          RUNNING   pid 64313, uptime 0:00:16

验证fe,be,broker进程是否启动

[[email protected] palo-0.8.2]# jps
50258 DataNode
63846 Jps
61548 BrokerBootstrap
50109 NameNode
60734 PaloFe
[[email protected] palo-0.8.2]# ps -e | grep palo
61118 ?        00:00:01 palo_be

我们发现进程确实已经启动了。

4.3 通过supervisorctl stop后，进程是否停止

be：

[[email protected] palo-0.8.2]# supervisorctl stop palo_be
palo_be: stopped
[[email protected] palo-0.8.2]# ps -e | grep palo

be停止成功

fe：

[[email protected] palo-0.8.2]# supervisorctl stop PaloFe
PaloFe: stopped
[[email protected] palo-0.8.2]# jps
50258 DataNode
64411 BrokerBootstrap
50109 NameNode
65295 Jps

fe停止成功

broker:

[[email protected] palo-0.8.2]# jps
50258 DataNode
64411 BrokerBootstrap
50109 NameNode
65295 Jps
[[email protected] palo-0.8.2]# supervisorctl stop BrokerBootstrap
BrokerBootstrap: stopped
[[email protected] palo-0.8.2]# jps
65328 Jps
50258 DataNode
50109 NameNode

broker停止成功

4.4 通过supervisorctl start可以开启进程

[[email protected] palo-0.8.2]# jps
50258 DataNode
65400 Jps
50109 NameNode
[[email protected] palo-0.8.2]# ps -e | grep palo
[[email protected] palo-0.8.2]# supervisorctl start all
palo_be: started
PaloFe: started
BrokerBootstrap: started
[[email protected] palo-0.8.2]# supervisorctl status
BrokerBootstrap                  RUNNING   pid 65421, uptime 0:00:21
PaloFe                           RUNNING   pid 498, uptime 0:00:21
palo_be                          RUNNING   pid 65422, uptime 0:00:21
[[email protected] palo-0.8.2]# jps
50258 DataNode
65480 BrokerBootstrap
1212 Jps
50109 NameNode
1101 PaloFe
[[email protected] palo-0.8.2]# ps -e | grep palo
  500 ?        00:00:00 palo_be

结果显示启动控制成功。

4.5 验证在fe，be，broker崩溃后supervisor能够自动重启进程

输入命令ps xuf 查看进程间的父子关系

ps xuf
root     64311  0.0  0.0 221680 12884 ?        Ss   16:48   0:00 /usr/bin/python /usr/bin/supervisord -c /etc/supervisord.conf
root     65421  0.0  0.0 113124  1528 ?        S    16:55   0:00  \_ sh /opt/palo-0.8.2/apache_hdfs_broker/bin/start_broker.sh
root     65480  0.2  0.1 24345924 44188 ?      Sl   16:55   0:00  |   \_ /usr/java/jdk1.8.0_172-amd64/bin/java -Xmx20480m -Dfile.encoding=UTF-8 com.baidu.palo.broker.hdfs.BrokerBootstrap
root     65422  0.0  0.0 113128  1540 ?        S    16:55   0:00  \_ sh /opt/palo-0.8.2/be/bin/start_be.sh
root       500  0.5  0.3 1787780 91400 ?       Sl   16:55   0:00  |   \_ /opt/palo-0.8.2/be/lib/palo_be
root       498  0.0  0.0 113120  1492 ?        S    16:55   0:00  \_ sh /opt/palo-0.8.2/fe/bin/start_fe.sh
root      1101  6.1  1.3 9002228 342412 ?      Sl   16:55   0:10      \_ /usr/java/jdk1.8.0_172-amd64/bin/java -Xmx5120m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails

我们发现在该列表中 fe的pid为1101，be的pid为500，broker的pid为65480

执行下面命令杀死这三个进程

kill -9 1101
kill -9 500
kill -9 65480

再次输入ps xuf 查看进程父子关系

ps xuf
root     64311  0.0  0.0 221680 12892 ?        Ss   16:48   0:00 /usr/bin/python /usr/bin/supervisord -c /etc/supervisord.conf
root      1375  0.0  0.0 113124  1548 ?        S    17:03   0:00  \_ sh /opt/palo-0.8.2/fe/bin/start_fe.sh
root      1709 14.0  1.3 9004284 330748 ?      Sl   17:03   0:09  |   \_ /usr/java/jdk1.8.0_172-amd64/bin/java -Xmx5120m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+Us
root      1791  0.0  0.0 113128  1540 ?        S    17:03   0:00  \_ sh /opt/palo-0.8.2/be/bin/start_be.sh
root      2054  0.7  0.3 1774784 92008 ?       Sl   17:03   0:00  |   \_ /opt/palo-0.8.2/be/lib/palo_be
root      2265  0.0  0.0 113124  1528 ?        S    17:03   0:00  \_ sh /opt/palo-0.8.2/apache_hdfs_broker/bin/start_broker.sh
root      2295  0.6  0.1 24345924 42224 ?      Sl   17:03   0:00      \_ /usr/java/jdk1.8.0_172-amd64/bin/java -Xmx20480m -Dfile.encoding=UTF-8 com.baidu.palo.broker.hdfs.BrokerBootstrap

发现supervisor确实将进程重新启动起来了。

说明一下：

通过supervisorctl status查询出来的进程id其实不是fe，be，broker的进程id，而是启动他们的shell进程id，start_xxx.sh里面会启动真正的doris进程，所以才有了进程树之说，所以我们在配置的时候需要配置

stopasgroup=true ;是否停止子进程

killasgroup=true ;是否杀死子进程


这两个参数为true，否则通过supervisorctl控制doris的后台进程是无效的，这个是通过supervisor做doris守护进程的关键。

使用supervisor配置palo守护进程的完毕，使用supervisor后，确实能够提高应用的健壮性！

原文地址：https://www.cnblogs.com/lenmom/p/9973401.html

时间： 2024-10-15 11:29:36

Palo通过supervisor进行进程管理的相关文章

使用supervisor进行进程管理

简介:  Supervisor是基于Python开发的进程管理程序,能将一个命令行进程转为后台daemon,可以替换nohup.&.screen等启动方案.还可以实现监控进程状态,当进程异常退出时能自动重启.它通过fork/exec的方式把这些被管理的进程当作supervisor的子进程来启动,这样只须在supervisor的配置文件中,填写目标进程的执行命令配置即可.也实现当子进程挂掉的时候,父进程可以准确获取子进程挂掉的信息的,可以选择是否自己启动和报警. supervisor还可以为sup

supervisor：进程管理工具

一,安装(任何一种方式) apt-get install supervisor easy_install supervisor pip install supervisor 二,配置 配置supervisor.conf 添加web控制界面 2.    启动进程配置说明 ; 管理单个进程的配置,可创建多个,下面是所有可能的配置选项 ;[program:theprogramname] ;command=/bin/cat ; 启动进程的命令 使用相对路径,可以加参数 ;process_name=%(p

Docker 使用Supervisor来进程管理

supervisor 来管理容器中的多个进程.使用 Supervisor 可以更好的控制.管理.重启我们希望运行的进程.Supervisor 是一个进程控制系统. 它是一个 C/S 系统, 它允许用户去监控和控制在类 UNIX 系统的进程 配置首先创建一个Dockerfile 创建一个dockerfile的目录 生成密钥并创建authorized_keys文件. supervisor配置 第一段 supervsord 配置软件本身,使用 nodaemon 参数来运行.nodaemon=true

supervisor——进程管理工具

Supervisor (http://supervisord.org) 是一个用 Python 写的进程管理工具,可以很方便的用来启动.重启.关闭进程(不仅仅是 Python 进程).除了对单个进程的控制,还可以同时启动.关闭多个进程,比如很不幸的服务器出问题导致所有应用程序都被杀死,此时可以用 supervisor 同时启动所有应用程序而不是一个一个地敲命令启动. 1.安装 Supervisor 可以运行在 Linux.Mac OS X 上.如前所述,supervisor 是 Python 编

Supervisor 进程管理工具

Supervisor  进程管理工具时刻检测进程存活状态:可用来启动.重启.关闭进程: Supervisord(supervisor是一个C/S模型的程序,这是server端,对应的有client端:supervisorctl)和应用程序(即我们要管理的程序). 一.下载: https://pypi.python.org/packages/80/37/964c0d53cbd328796b1aeb7abea4c0f7b0e8c7197ea9b0b9967b7d004def/supervisor-3

Linux进程管理工具——supervisor

介绍 Supervisord是用Python实现的一款非常实用的进程管理工具 安装 这里用源码 supervisor-3.1.3.tar.gz tar -zxvf supervisor-3.1.3.tar.gz cd supervisor-3.1.3 sudo python setup.py install 生成默认配置文件 echo_supervisord_conf > /etc/supervisord.conf 修改默认配置文件 如需访问wenb界面,修改inet_http_server配置

supervisor进程管理工具

先说说supervisor是干什么的吧? supervisor这东西,其实就是用来管理进程的.咱们为什么要用supervisor呢?因为,相对于我们linux传统的进程管理方式来说, 它有很多的优势,要不然咱们也不会闲着没事去用supervisor了. OK,下面来看看supervisor有哪些好处吧. 简单 为啥简单呢?因为咱们通常管理linux进程的时候,一般来说都需要自己编写一个能够实现进程start/stop/restart/reload功能的脚本, 然后丢到/etc/init.d/下面

docker supervisor进程管理

博主QQ:819594300 博客地址:http://zpf666.blog.51cto.com/ 有什么疑问的朋友可以联系博主,博主会帮你们解答,谢谢支持! 一.使用 Supervisor 来管理进程 Docker 容器在启动的时候开启单个进程,比如,一个 ssh 或者 apache 的 daemon 服务.但我们经常需要在一个机器上开启多个服务,这可以有很多方法,最简单的就是把多个启动命令放到一个启动脚本里面,启动的时候直接启动这个脚本. 例如:docker run  –d  镜像  /ru

SUPERVISOR进程管理器配置指南

SUPERVISOR进程管理器配置指南 1. supervisor简介 1.1. 官网 http://supervisord.org/ 1.2. 介绍 Supervisor是一个进程控制系统. 它是一个C/S系统(注意: 其提供WEB接口给用户查询和控制), 它允许用户去监控和控制在类UNIX系统的进程. 它的目标与launchd, daemontools和runit有些相似, 但是与它们不一样的是, 它不是作为init(进程号pid是1)运行. 它是被用来控制进程, 并且它在启动的时候和一般程