在2016年5月11日发布的新版本(scrapy1.1)中,抓取功能先在抓取之前下载了robots.txt。要更改此行为,请
settings.py
ROBOTSTXT_OBEY = False
这是发行说明
上一篇 如何从字符串列表中删除所有转义序列?
下一篇 平方列表中的所有元素
版权所有 (c)2021-2022 MSHXW.COM
ICP备案号:晋ICP备2021003244-6号