与“
Scrapy一目了然”网页相反,您可能会更好地先阅读本教程。
该教程暗示Scrapy实际上是一个单独的程序。
运行该命令
scrapy startproject tutorial将创建一个
tutorial已为您设置的名为多个文件的文件夹。
例如,在我的情况下,所述模块/包
items,
pipelines,
settings和
spiders已被添加到根包
tutorial。
tutorial/ scrapy.cfg tutorial/ __init__.py items.py pipelines.py settings.py spiders/ __init__.py ...
该
TorrentItem班将被放在里面
items.py,而
MininovaSpider类会去里面
spiders的文件夹。
设置项目后,Scrapy的命令行参数似乎非常简单。它们采用以下形式:
scrapy crawl <website-name> -o <output-file> -t <output-type>
另外,如果您希望在没有创建项目目录的开销的情况下运行scrapy,则可以使用runtimepider命令:
scrapy runspider my_spider.py



