栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

gerapy分布式爬虫管理工具

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

gerapy分布式爬虫管理工具

首先安装依赖的模块:

pip install pymongo

pip install gerapy

(建议:内外环境都安装)

创建新文件夹:WORK_GERAPY ——> 在此路径下运行cmd命令行,

输入:gerapy init   生成gerapy文件夹

命令行输入: cd gerapy 

在输入:gerapy migrate

启动gerapy

命令输入:gerapy runserver

(注意:需要在cmd启动 scrapy )

到这里gerapy已经启动了

打开浏览器:访问管理平台界面 http://localhost:8000

创建主机:

添加项目:

找到需要部署的爬虫项目文件夹,复制到所创建的 projects路径下

回到平台界面,

回到主机管理:

到此项目部署结束,运行项目


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/220770.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号