tornado celery mysql_tornado中使用celery实现异步MySQL查询

用tornado快一年了,做的项目访问量也不大,除了在一些耗时的网络操作上,没怎么考虑异步的问题。 正在做的一个项目,需要对MySQL中的大量数据进行操作,有的请求需要耗时10s左右,当然,你也知道,别的请求就没响应了。 查了很多资料,目前采用tornado-cele

用tornado快一年了,做的项目访问量也不大,除了在一些耗时的网络操作上,没怎么考虑异步的问题。

正在做的一个项目,需要对MySQL中的大量数据进行操作,有的请求需要耗时10s左右,当然,你也知道,别的请求就没响应了。

查了很多资料,目前采用tornado-celery这个项目,将celery和tornado结合起来,实现异步MySQL查询。

celery 是一个专注于实时处理的任务队列,celery 需要一个broker(中间人)来发送和接收消息,最佳的broker当然是RabbitMQ,是AMPQ协议的一种实现,下面具体说一下怎么操作。安装 RabbitMQ

Mac 上用 HomeBrew 安装 brew install rabbitmq

安装成功之后启动服务

sudo rabbitmq-server -detached

安装celery

pip install celery

安装tornado-celery

pip install celery

创建tasks.pycelery = Celery('tasks', broker='amqp://')

celery.conf.CELERYRESULTBACKEND = os.environ.get('CELERYRESULTBACKEND', 'amqp')

@celery.task(name='task.queryusers')

def queryusers():

# 数据查询的耗时操作

users = db.queryusers()

return users

运行tasks.py

python tasks.py worker --loglevel=info

建handlerfrom tasks import query_users

class UserHandler(RequestHandler):

@asynchronous

def get(self, *args, **kwargs):

query_users.apply_async(args=[], callback=self.on_success)

def on_success(self, response):

self.write(str(response.result)

self.finish()


版权声明:本文为weixin_29368453原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。