栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

Windows scrapyd-deploy无法识别

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Windows scrapyd-deploy无法识别

我遇到了同样的问题,并且我还读到了一些观点,即scrapyd不可用/无法在Windows上运行,并且几乎放弃了它(因为我打算部署到linux机器上,所以并不需要它,想要scrapyd在Windows上进行调试)。但是,经过一些研究,我找到了一种方法。由于我没有找到任何明确的说明,因此我将尽可能详细地回答我,列出适用于我的所有步骤。

假设要在本地计算机上运行scrapyd,则需要运行两个命令行:第一个用于连接到scrapyd并保持连接打开,第二个用于部署和调度。

  • 您已经安装了scrapyd。

  • 在此文件夹中创建一个文件夹C: scrapyd和一个名为scrapyd.log的空.log文件(不确定此步骤是否必要)。

  • 打开cmd和cd到Python中的scripts文件夹。通常类似于:C: Python27 scripts。类型:

    python scrapyd

  • 在这一点上,您应该看到类似的内容:

    2014-03-26 13:57:30+0200 [-] Log opened.

    2014-03-26 13:57:30+0200 [-] twistd 13.2.0 (C:Python27python.exe 2.7.6) starting up.

    2014-03-26 13:57:30+0200 [-] reactor class: twisted.internet.selectreactor.SelectReactor.

    2014-03-26 13:57:30+0200 [-] Site starting on 6800

    2014-03-26 13:57:30+0200 [-] Starting factory

    2014-03-26 13:57:30+0200 [Launcher] Scrapyd 1.0.1 started: max_proc=16, runner=’scrapyd.runner’

  • 如果您可以打开浏览器并转到,

    http://localhost:6800
    则可以。命令行窗口应在后台保持打开状态,因为如果您关闭它,连接将被关闭。

  • 在Windows资源管理器上,导航到您的scrapy项目文件夹,然后编辑在该文件夹中找到的scrapy.cfg文件:例如,输入您的部署目标名称:[deploy:scrapyd],然后取消注释URL行。

  • 打开第二个命令行,然后进入scrapy项目文件夹。类型:

    scrapy deploy -l

  • 部署:类型:

    scrapy deploy scrapyd -p project_name
    (scrapyd是您的目标)。您应该获得服务器响应代码200和正常状态。您还可以通过键入以下命令检查部署是否成功:
    scrapy deploy -L scrapyd

  • 计划:您需要为Windows安装curl。方法如下:questions / 9507353 / steps-to-setup-curl-in-windows 类型:

    curl http://localhost:6800/schedule.json -d project=project_name -d spider=spider_name
    再次,您应该获得一个正常的状态,并且在浏览器中的
    http://localhost:6800
    作业下,您可以检查该作业是否确实已调度。

我希望这有帮助。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/662650.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号