栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

celery如何在python爬虫中安装?

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

celery如何在python爬虫中安装?

在我们学习了不少关于celery框架的知识后,很多小伙伴已经想要正式使用celery了。这里小编也不知道大家安装好了celery没有~为了照顾一下动手能力不太强的python小白,小编把celery框架安装的方法整理了出来,没有安装成功的小伙伴也可以参考一下。接下来我们就以看看celery在python爬虫中的安装吧。


先安装celery

pip install celery

我们以官网给出的例子来做说明,并对其进行扩展。首先在项目根目录下,这里我新建一个项目叫做celerystudy,然后切换到该项目目录下,新建文件tasks.py,然后在其中输入下面代码

from celery import Celery
 
app = Celery('tasks', broker='redis://:''@223.129.0.190:6379/2', backend='redis://:''@223.129.0.190:6379/3')
 
@app.task
def add(x, y):
return x + y


这里我详细讲一下代码:我们先通过app=Celery()来实例化一个celery对象,在这个过程中,我们指定了它的broker,是redis的db 2,也指定了它的backend,是redis的db3, broker和backend的连接形式大概是这样

redis://:password@hostname:port/db_number


然后定义了一个add函数,重点是@app.task,它的作用在我看来就是将add()

 

注册为一个类似服务的东西,本来只能通过本地调用的函数被它装饰后,就可以通过网络来调用。这个tasks.py中的app就是一个worker。它可以有很多任务,比如这里的任务函数add。我们再通过在命令行切换到项目根目录,执行

celery -A tasks worker -l info


启动成功后就是下图所示的样子

 


已经安装好的小伙伴,可以跟小编的结果对比一下,是不是最后运行成功的界面。不成功的小伙伴也别着急,多尝试几遍。更多Python学习指路:PyThon学习网教学中心。


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/11669.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号