centos7.X 安装配置 celery worker(python3.6 celery 4.4.7 django 3.0.8)

celery 安装

pip3 install celery==4.4.7

supervisor 安装

pip3 install supervisor

supervisor配置

进入项目更目录 创建 supervisor 文件夹

cd /mnt/workspace/project_demo
mkdir supervisor

进入 supervisor 目录

cd ./supervisor

使用echo_supervisord_conf命令来得到supervisor配置模板

echo_supervisord_conf > supervisord.conf

如果显示找不到命令,则组要将python3 的bin 目录添加到环境变量中
打开 profile 文件

vim /etc/profile

在其末尾添加如下代码

export = $PATH:python3 bin 目录

如果上面path已经存在,在path的末尾添加即可,中间用英文冒号分割

保存退出,执行

source /etc/profile

启用

环境变量查看

echo $PATH

操作完成之后,进入项目supervisor目录,重新执行

echo_supervisord_conf > supervisord.conf

编辑supervisord.conf文件 修改日志文件与include分发ini文件目录

vim supervisord.conf

修改[unix_http_server]标签(第22行)下file的值(sock文件存放位置)

file=/mnt/workspace/project_demo/supervisor/supervisor.sock   ; the path to the socket file
;chmod=0700                 ; socket file mode (default 0700)
;chown=nobody:nogroup       ; socket file uid:gid owner
;username=user              ; default is no username (open server)
;password=123               ; default is no password (open server)

修改[supervisord] 标签下(第44行)pidfile与 logfile的值(pid文件与日志文件存放位置)

[supervisord]
logfile=/mnt/workspace/project_demo/supervisor/supervisor.log ; main log file; default $CWD/supervisord.log
logfile_maxbytes=50MB        ; max main logfile bytes b4 rotation; default 50MB
logfile_backups=10           ; # of main logfile backups; 0 means none, default 10
loglevel=info                ; log level; default info; others: debug,warn,trace
pidfile=/mnt/workspace/project_demo/supervisor/supervisor.pid ; supervisord pidfile; default supervisord.pid
nodaemon=false               ; start in foreground if true; default false

修改[supervisorctl] 标签下serverurl的值为前面配置sock文件的地址

[supervisorctl]
serverurl=unix:////mnt/workspace/project_demo/supervisor/supervisor.sock ; use a unix:// URL  for a unix socket
;serverurl=http://127.0.0.1:5000 ; use an http:// url to specify an inet socket
;username=chris              ; should be same as in [*_http_server] if set
;password=123                ; should be same as in [*_http_server] if set
;prompt=mysupervisor         ; cmd line prompt (default "supervisor")
;history_file=~/.sc_history  ; use readline history if available

配置[inet_http_server]标签下监控监听参数port Ip:Port 其中ip为ipv4地址(内网地址) 不能使用127.0.0.1

[inet_http_server]         ; inet (TCP) server disabled by default
port=192.168.3.5:5000        ; ip_address:port specifier, *:port for all iface
username=admin              ; default is no username (open server)
password=admin               ; default is no password (open server)

配置[include]标签下 ini文件目录

[include]
files = /mnt/workspace/project_demo/supervisor/*.ini

保存退出

—————————————————————————————

celery 配置

在supervisord.conf [include] 标签指定位置 创建 celery.ini 配置文件 添加worker与beat配置文件

cd /mnt/workspace/project_demo/supervisor
vim celery.ini

复制以下内容

[program:celery_worker]
# 启动命令入口
command=celery worker -A project_demo-l info --logfile=/var/log/celery/celery_worker.log --	pidfile=/home/workspace/project_demo/celeryworker.pid -c 1
	
# 命令程序所在目录
directory=/home/workspace/project_demo/
	 
# 运行命令的用户名
user=root
autostart=true
autorestart=true
	
# 进程数量
numprocs=1
	
# 日志地址
stdout_logfile=/var/log/celery/celery_worker.log
stderr_logfile=/var/log/celery/celery_worker_err.log
	
[program:celery_beat]
# 指定运行目录
directory=/home/workspace/project_demo/
# 运行目录下执行命令
command=celery -A project_demo beat --loglevel info --scheduler django_celery_beat.schedulers:DatabaseScheduler --logfile=/var/log/celery/celery_beat.log
	
# 启动设置
numprocs=1          ;进程数
autostart=true      ;当supervisor启动时,程序将会自动启动
autorestart=true    ;自动重启
	
# 停止信号
stopsignal=INT
	
stdout_logfile=/var/log/celery/celery_beat.log
stderr_logfile=/var/log/celery/celery_beat_err.log

运行supervisord

supervisord -c /home/workspace/project_demo/supervisor/supervisord.conf

运行 worker 与 beat 进程

指定运行

supervisorctl -c /home/workspace/project_demo/supervisor/supervisord.conf start celery_beat

指定重启

supervisorctl -c /home/workspace/project_demo/supervisor/supervisord.conf restart celery_worker

指定停止

supervisorctl -c /home/workspace/project_demo/supervisor/supervisord.conf stop celery_beat

全部运行

supervisorctl -c /home/workspace/project_demo/supervisor/supervisord.conf

重新加载

每次修改完 .ini .conf 文件之后 需要重新加载
更新新的配置到supervisord

supervisorctl update

重新启动配置中的所有程序

supervisorctl reload

查看进程状态

supervisorctl -c /home/workspace/project_demo/supervisor/supervisord.conf status all

如下图即表示已经正常启动
进程状态查看

进程状态监控

登录监控地址 查看worker与beat 的运行情况
在浏览器输入 [inet_http_server] 标签内配置的地址 账号 密码信息 即可查看运行情况
进程监控页面

任务配置

登录django管理控制台 配置定时任务即可

django管理控制台地址: 服务器地址:后台端口/admin


版权声明:本文为tao_129原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。