栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

Scrapy:使用start_requests()的正确方法是什么?

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Scrapy:使用start_requests()的正确方法是什么?

从文档中

start_requests
,覆盖
start_requests
意味着
start_urls
将忽略中定义的url 。

这是Scrapy调用的方法,当未指定任何特定URL时打开抓取工具抓取蜘蛛。如果指定了特定的URL,则使用

make_requests_from_url()
来创建请求。
[…]
如果要更改用于开始抓取域的请求,则可以使用此方法来覆盖。

如果你只想从/ some-url抓取,请删除

start_requests
。如果你想同时从两者中抓取,则将/ some-url添加到
start_urls
列表中。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/368586.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号