Python-模塊和包.深入Celery之使用隊列以及優(yōu)先級提高響應

2019-11-08 01:54:26

字體：大中小

供稿：網(wǎng)友

多個隊列:

1. Celery默認使用的隊列名為celery默認綁定在direct交換機celery,可通過CELERY_DEFAULT_QUEUE/CELERY_DEFAULT_EXCHANGE/CELERY_DEFAULT_ROUTING_KEY等參數(shù)配置修改.

1234567891011121314151617181920212223242526272829303132333435 #!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2016-12-24 17:32:54# @Author : 李滿滿 (xmdevops@vip.QQ.com)# @Link : http://xmdevops.blog.51cto.com/# @Version : $Id$from __future__ import absolute_import# 說明: 導入公共模塊from kombu import Queue, Exchange# 說明: 導入其它模塊# BROKER_URL = 'amqp://root:qwertyuiop@172.24.10.1:5672//'# CELERY_RESULT_BACKEND = 'redis://172.24.10.1:6379/0'BROKER_URL = 'amqp://root:qwertyuiop@10.2.5.51:5672//'CELERY_RESULT_BACKEND = 'redis://10.2.5.51:5123/0'CELERY_TASK_SERIALIZER = 'msgpack'CELERY_RESULT_SERIALIZER = 'json'CELERY_TASK_RESULT_EXPIRES = 60 * 60 * 24CELERY_ACCEPT_CONTENT = ['json', 'msgpack']CELERYD_MAX_TASKS_PER_CHILD = 40CELERY_QUEUES = ( Queue( name='email_queue', exchange=Exchange('email_exchange', 'direct'), routing_key='email'), Queue( name='wixin_queue', exchange=Exchange('wixin_exchange', 'direct'), routing_key='wixin'),)CELERY_ROUTES = { 'work.notify.email.send_mail': { 'queue': 'email_queue', 'routing_key': 'email' }}

擴展: 多個隊列主要為了解決由于默認子進程池大小有限制,當其中一個任務消息量特別大時,那么其它重要消息可能會被被滯后處理,導致嚴重影響用戶體驗,可以根據(jù)業(yè)務實際情況將不同的任務放于不同的隊列中且指定不同的子進程數(shù)來提高整體的響應,如上分別定義了綁定到email_exchange的direct交換機的email_queue和綁定到wixin_exchange的direct交換機的wixin_queue

疑問: Queue應該是binding到交換機上,為何參數(shù)中給出的是routing_key很奇怪...?

注意: 啟動的時候并不推薦在一個worker進程中啟動這兩個隊列(celery worker -A work.app -l info),強烈建議分開進程跑(celery worker -A work.app -c 2 -Q email_queue -l info;celery worker -A work.app -c 4 -Q wixin_queue -l info),分開獨立工作進程跑,進程之間不會互相影響~

登錄樂搏學院官網(wǎng)http://www.learnbo.com/

或關注我們的官方微博微信，還有更多驚喜哦~