start_urls定义在
start_requests方法中使用的URL
。
parse下载页面时,将为您的方法调用每个起始URL的响应。但是您无法控制加载时间-第一个起始URL可能最后一个到达
parse。
一个解决方案-
覆盖
start_requests方法并添加到生成的请求
metawith中
priority。在
parse提取此
priority值并将其添加到中
item。在管道中,基于此值执行某些操作。(我不知道为什么需要这些URL以及在何处按此顺序进行处理)。
或使其具有同步性-
将这些起始网址存储在某个地方。放在
start_urls第一个。在
parse处理第一个响应并产生商品时,然后从您的存储中获取下一个网址,并使用的回调进行请求
parse。



