Apache Doris通过supervisor进行进程管理

下面一段文字是摘自doris官方文档：
注：在生产环境中，所有实例都应使用守护进程启动，以保证进程退出后，会被自动拉起，如 Supervisor。如需使用守护进程启动，需要修改各个 start_xx.sh 脚本，去掉最后的 & 符号

首先安装supervisor,具体请参照本人的另一篇博客CentOS7 安装supervisor守护进程管理器

1 配置palo be 进程管理

1.1 修改各个 start_be.sh 脚本，去掉最后的 & 符号

/home/workspace/palo-0.8./be/bin/start_be.sh

:wq保存退出

1.2 创建be supervisor进程管理配置文件

输入命令：

vim /etc/supervisord.d/palo_be-0.8.2.ini

填写以下内容

[program:palo_be]
process_name=%(program_name)s                 ;进程名称
directory=/opt/palo-0.8./be                  ;工作目录
command=sh /opt/palo-0.8./be/bin/start_be.sh ;运行的命令
autostart=true                                ;自动开启
autorestart=true                              ;自动重启
user=root                                     ;用户
numprocs=                                    ;进程数
startretries=                                ;启动重试次数
stopasgroup=true                              ;是否停止子进程
killasgroup=true                              ;是否杀死子进程
startsecs=                                   ;启动5秒后，如果还是运行状态才认为进程已经启动
//redirect_stderr = true
//stdout_logfile_maxbytes = 20MB
//stdout_logfile_backups = 10
//stdout_logfile=/var/log/supervisor-palo_be-0.8.2.log 

2 配置broker进程管理

2.1 修改各个 start_broker.sh 脚本，去掉最后的 & 符号

vim /opt/palo-0.8./apache_hdfs_broker/bin/start_broker.sh

:wq保存退出

 2.2 创建broker supervisor进程管理配置文件

输入命令

vim /etc/supervisord.d/palo_broker-0.8.2.ini

输入以下内容

[program:BrokerBootstrap]
environment = JAVA_HOME="/usr/java/jdk1.8.0_172-amd64"
process_name=%(program_name)s                                       ;进程名称
directory=/opt/palo-0.8./apache_hdfs_broker                        ;工作目录
command=sh /opt/palo-0.8./apache_hdfs_broker/bin/start_broker.sh   ;运行的命令
autostart=true                                                      ;自动开启
autorestart=true                                                    ;自动重启
user=root                                                           ;用户
numprocs=                                                          ;进程数
startretries=                                                      ;启动重试次数
stopasgroup=true                                                    ;是否停止子进程
killasgroup=true                                                    ;是否杀死子进程
startsecs=                                                         ;启动5秒后，如果还是运行状态才认为进程已经启动
//redirect_stderr=true
//stdout_logfile_maxbytes=20MB
//stdout_logfile_backups=10
//stdout_logfile=/var/log/supervisor-BrokerBootstrap-0.8.2.log

3 配置fe进程管理

3.1 修改各个 start_fe.sh 脚本，去掉最后的 & 符号

vim /opt/palo-0.8.2fe/bin/start_fe.sh

:wq保存退出

 3.2 创建fe supervisor进程管理配置文件

输入命令

vim /etc/supervisord.d/palo_fe-0.8.2.ini

输入内容如下：

[program:PaloFe]
environment = JAVA_HOME="/usr/java/jdk1.8.0_172-amd64"
process_name=PaloFe                                 ;进程名称
directory=/opt/palo-0.8./fe                        ;工作目录
command=sh /opt/palo-0.8./fe/bin/start_fe.sh       ;运行的命令
autostart=true                                      ;自动开启
autorestart=true                                    ;自动重启
user=root                                           ;用户
numprocs=                                          ;进程数
startretries=                                      ;启动重试次数
stopasgroup=true                                    ;是否停止子进程
killasgroup=true                                    ;是否杀死子进程
;startsecs=                                        ;启动5秒后，如果还是运行状态才认为进程已经启动
//redirect_stderr=true
//stdout_logfile_maxbytes=20MB
//stdout_logfile_backups=10
//stdout_logfile=/var/log/supervisor-PaloFe-0.8.2.log

4. 验证

4.1 先确保没有palo fe，be，broker进程在运行，如果有则使用kill -9  [processid]杀死掉

停止掉fe,broker

[root@palo252 palo-0.8.]# jps
 DataNode
 Jps
 PaloFe
 NameNode
 BrokerBootstrap
[root@palo252 palo-0.8.]# kill - 
[root@palo252 palo-0.8.]# kill - 

说明： BrokerBootstrap为broker的进程名称，PaloFe为fe的进程名称

停止掉be

[root@palo252 palo-0.8.]# ps -e | grep palo
 ?        :: palo_be
[root@palo252 palo-0.8.]# kill - 

4.2 启动supervisor,验证fe，be，broker是否启动

启动supervisor

supervisord -c /etc/supervisord.conf 

查看状态：

[root@palo252 palo-0.8.]# supervisorctl status
BrokerBootstrap                  RUNNING   pid , uptime ::
PaloFe                           RUNNING   pid , uptime ::
palo_be                          RUNNING   pid , uptime ::

验证fe,be,broker进程是否启动

[root@palo252 palo-0.8.]# jps
 DataNode
 Jps
 BrokerBootstrap
 NameNode
 PaloFe
[root@palo252 palo-0.8.]# ps -e | grep palo
 ?        :: palo_be

我们发现进程确实已经启动了。

4.3 通过supervisorctl stop后，进程是否停止

be：

[root@palo252 palo-0.8.]# supervisorctl stop palo_be
palo_be: stopped
[root@palo252 palo-0.8.]# ps -e | grep palo

be停止成功

fe：

[root@palo252 palo-0.8.]# supervisorctl stop PaloFe
PaloFe: stopped
[root@palo252 palo-0.8.]# jps
 DataNode
 BrokerBootstrap
 NameNode
 Jps

fe停止成功

broker:

[root@palo252 palo-0.8.]# jps
 DataNode
 BrokerBootstrap
 NameNode
 Jps
[root@palo252 palo-0.8.]# supervisorctl stop BrokerBootstrap
BrokerBootstrap: stopped
[root@palo252 palo-0.8.]# jps
 Jps
 DataNode
 NameNode

broker停止成功

4.4 通过supervisorctl start可以开启进程

[root@palo252 palo-0.8.]# jps
 DataNode
 Jps
 NameNode
[root@palo252 palo-0.8.]# ps -e | grep palo
[root@palo252 palo-0.8.]# supervisorctl start all
palo_be: started
PaloFe: started
BrokerBootstrap: started
[root@palo252 palo-0.8.]# supervisorctl status
BrokerBootstrap                  RUNNING   pid , uptime ::
PaloFe                           RUNNING   pid , uptime ::
palo_be                          RUNNING   pid , uptime ::
[root@palo252 palo-0.8.]# jps
 DataNode
 BrokerBootstrap
 Jps
 NameNode
 PaloFe
[root@palo252 palo-0.8.]# ps -e | grep palo
   ?        :: palo_be

结果显示启动控制成功。

4.5 验证在fe，be，broker崩溃后supervisor能够自动重启进程

输入命令ps xuf 查看进程间的父子关系

ps xuf

root       0.0  0.0   ?        Ss   :   : /usr/bin/python /usr/bin/supervisord -c /etc/supervisord.conf
root       0.0  0.0    ?        S    :   :  \_ sh /opt/palo-0.8./apache_hdfs_broker/bin/start_broker.sh
root       0.2  0.1   ?      Sl   :   :  |   \_ /usr/java/jdk1..0_172-amd64/bin/java -Xmx20480m -Dfile.encoding=UTF- com.baidu.palo.broker.hdfs.BrokerBootstrap
root       0.0  0.0    ?        S    :   :  \_ sh /opt/palo-0.8./be/bin/start_be.sh
root         0.5  0.3   ?       Sl   :   :  |   \_ /opt/palo-0.8./be/lib/palo_be
root         0.0  0.0    ?        S    :   :  \_ sh /opt/palo-0.8./fe/bin/start_fe.sh
root        6.1  1.3   ?      Sl   :   :      \_ /usr/java/jdk1..0_172-amd64/bin/java -Xmx5120m -XX:+UseMembar -XX:SurvivorRatio= -XX:MaxTenuringThreshold= -XX:+PrintGCDateStamps -XX:+PrintGCDetails 

我们发现在该列表中 fe的pid为1101，be的pid为500，broker的pid为65480

执行下面命令杀死这三个进程

kill -
kill -
kill - 

再次输入ps xuf 查看进程父子关系

ps xuf

root       0.0  0.0   ?        Ss   :   : /usr/bin/python /usr/bin/supervisord -c /etc/supervisord.conf
root        0.0  0.0    ?        S    :   :  \_ sh /opt/palo-0.8./fe/bin/start_fe.sh
root       14.0  1.3   ?      Sl   :   :  |   \_ /usr/java/jdk1..0_172-amd64/bin/java -Xmx5120m -XX:+UseMembar -XX:SurvivorRatio= -XX:MaxTenuringThreshold= -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+Us
root        0.0  0.0    ?        S    :   :  \_ sh /opt/palo-0.8./be/bin/start_be.sh
root        0.7  0.3   ?       Sl   :   :  |   \_ /opt/palo-0.8./be/lib/palo_be
root        0.0  0.0    ?        S    :   :  \_ sh /opt/palo-0.8./apache_hdfs_broker/bin/start_broker.sh
root        0.6  0.1   ?      Sl   :   :      \_ /usr/java/jdk1..0_172-amd64/bin/java -Xmx20480m -Dfile.encoding=UTF- com.baidu.palo.broker.hdfs.BrokerBootstrap

发现supervisor确实将进程重新启动起来了。

说明一下：

通过supervisorctl status查询出来的进程id其实不是fe，be，broker的进程id，而是启动他们的shell进程id，start_xxx.sh里面会启动真正的doris进程，所以才有了进程树之说，所以我们在配置的时候需要配置

stopasgroup=true ;是否停止子进程

killasgroup=true ;是否杀死子进程

这两个参数为true，否则通过supervisorctl控制doris的后台进程是无效的，这个是通过supervisor做doris守护进程的关键。

5. FAQ

5.1. 如果在使用过程中出现类似：Exited too quickly (process log may have details)的错误，则应该是由于找不到JAVA_HOME造成的，在ini文件中添加相应的环境变量即可。尽管系统中已经配置了JAVA_HOME环境变量，但是supervisor启动时并不会加载/etc/profile 文件

以加载环境变量，supervisor 提供了一个配置参数enviroment。配置格式为：

environment = JAVA_HOME="jdk具体路径"

如果有多个环境变量，中间以逗号分隔.如果应用程序依赖其他环境变量亦同理.

5.2 还有一个原因会导致出现Exited too quickly (process log may have details)，就是sh脚本中的&没有去掉，本人在使用supervisor管理hdfs的启动的时候，就遇到了这个问题，默认start-dfs.sh,hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode,

时，就遇到&没有去掉的问题。

5.3 使用supervisor管理后，doris数据丢失厉害，尤其是频繁创建表的时候

通过下面命令查看supervisor进程的文件描述符数目

cat /proc/{supervisor_proc_id}/limits

结果如下：

[edw@palo101 ~]$ ps -e | grep supervisor
  ?        :: supervisord
[edw@palo101 ~]$ cat /proc//limits
Limit                     Soft Limit           Hard Limit           Units
Max cpu time              unlimited            unlimited            seconds
Max file size             unlimited            unlimited            bytes
Max data size             unlimited            unlimited            bytes
Max stack size                          unlimited            bytes
Max core file size        unlimited            unlimited            bytes
Max resident set          unlimited            unlimited            bytes
Max processes                                           processes
Max open files                             1024                 files
Max locked memory                                         bytes
Max address space         unlimited            unlimited            bytes
Max file locks            unlimited            unlimited            locks
Max pending signals                                     signals
Max msgqueue size                                       bytes
Max nice priority
Max realtime priority
Max realtime timeout      unlimited            unlimited            us  

发现supervisor的最大文件描述符数量为1024，doris的be操作很多都是文件操作，被supervisor管理的子进程会继承父进程的文件描述数量限制，所以这个有可能会导致be数据丢失，设置crash。

解决办法为修改supervisor的最大文件描述符数目

sudo vim /usr/lib/systemd/system/supervisord.service

在service下添加内容：

LimitCORE=infinity
LimitNOFILE=
LimitNPROC=

修改后的完整文件内容为：

[Unit]
Description=Process Monitoring and Control Daemon
After=rc-local.service nss-user-lookup.target

[Service]
LimitCORE=infinity
LimitNOFILE=
LimitNPROC=

Type=forking
ExecStart=/usr/bin/supervisord -c /etc/supervisord.conf

[Install]
WantedBy=multi-user.target

if you wana to see the file descriptor number of your current process, you can use the command as follows:

 ls -lR /proc/{process_id}/fd | grep "^l" | wc -l

show an example:

[lenmom@192.168.1.101 log]$ ps -ef | grep palo
lenmom          : ?        :: /opt/user/lenmom/doris-0.11./be/lib/palo_be
lenmom         : pts/    :: grep --color=auto palo
[lenmom@192.168.1.102 log]$  ls -lR /proc//fd | grep "^l" | wc -l

使用supervisor配置palo守护进程的完毕，使用supervisor后，确实能够提高应用的健壮性！