栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Python爬虫编程思想(147):在PyCharm中使用Scrapy

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Python爬虫编程思想(147):在PyCharm中使用Scrapy

        前面的例子是通过文本编辑器编写的,但在实际的开发中不可能用文本编辑器编写整个网络爬虫,所以需要选择一个IDE。我推荐目前最流行的PyCharm作为Python IDE。

        PyCharm不支持建立Scrapy工程,所以要先使用上一节介绍的方法通过命令行方式创建一个工程,然后再使用PyCharm创建一个普通的Python工程,将包含spiders子目录的myscrapy目录和scrapy.cfg文件复制到新建立的Python工程中。为了能直接在Python工程中运行网络爬虫,需要在myscrapy目录中建立一个execute.py脚本文件(文件名可以任意起),然后输入下面的代码。

from scrapy import cmdline
# 通过代码运行基于Scrapy框架的网络爬虫
cmdline.execute('scrapy crawl FirstSpider'.split())

        如果要运行其他的网络爬虫,只需要修改上面代码中字符串里面的命令即可。

        使用scrapy命令创建的工程包含两个myscrapy目录࿰

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/932059.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号