对于蜘蛛,抓取周期经历如下过程:
- 首先,生成初始请求以爬网第一个URL,然后指定要调用的回调函数,并从这些请求中下载响应。
要执行的第一个请求是通过调用
start_requests()(默认情况下)
Request为方法中指定的URL 生成start_urls的
parse方法以及作为请求的回调函数的方法而获得的。
在回调函数中,你解析响应(网页)并返回
Item
对象,Request
对象或两者的迭代。这些请求还将包含一个回调(可能相同),然后由Scrapy下载,然后由指定的回调处理响应。在回调函数中,通常使用选择器(但也可以使用BeautifulSoup,lxml或你喜欢的任何机制)来解析页面内容,并使用已解析的数据生成项目。
最后,通常将从spider返回的项目保存到数据库(在某些项目管道中)或使用Feed导出写入文件。
答案:
在
line in之前
'item',该
request.meta行如何执行?
response.metaparse_page2
spider由
Scrapy引擎管理。它首先从中指定的URL发出请求,
start_urls然后将其传递给下载器。下载完成后,将调用请求中指定的回调。如果回调返回另一个请求,则重复同样的事情。如果回调返回
Item,则该项目将传递到管道以保存抓取的数据。
退回的物品从哪
parse_page2里去?
有什么需要return request陈述的parse_page1?我认为提取的物品需要从这里退回吗?
如文档中所述,每个回调(
parse_page1和
parse_page2)都可以返回
a Request或
an Item(或它们的可迭代)。
parse_page1返回
Request不是
Item,因为需要从其他URL刮除其他信息。第二个回调parse_page2返回一个项目,因为所有信息都已被抓取并准备好传递到管道。



