栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

爬取图片文件时 Lazy Load(图片延迟加载)的处理(xpath定位方式)

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

爬取图片文件时 Lazy Load(图片延迟加载)的处理(xpath定位方式)

注意:以后再遇到图片lazyload问题,先从找到真正属性入手,不要被加密和混淆绕远:如果控制台的elements里面看不到真正属性,那就右键从网页源代码里面找图片链接对应的真正属性!
在爬取脑筋猜词画迷题库的时候,爬取到的图片没有正常显示网页src后面对应的链接,而是显示’data:image/gif;base64,R0lGODdhAQABAPAAAMPDwwAAACwAAAAAAQABAAACAkQBADs=',如下图所示:

原因是src对应的链接,设置了lazyloaded(延迟加载),所以不应用src来获取图片链接,而是用data-src来获取

最终修改了图片的xpath定位方式后,能够成功拿到图片,而不再是base64的结果:

img = html.xpath('//table[@]/tbody/tr/td/a/img/@data-src')

2022年3月10日更新:
今天在爬取另一个网站(https://verbalearn.com/game-tri-tue/dap-an-duoi-hinh-bat-chu/)的图片时,直接控制台查看elements,会发现没有“伪属性”用来存储真正的图片链接,只有一个noscript里面的text内容,包含了src:

如果直接拉取带有lazyload延迟加载的@src,则爬取到的内容不是图片地址,而是:
“data:image/svg+xml,%3Csvg%20xmlns=‘http://www.w3.org/2000/svg’%20viewBox=‘0%200%20750%20490’%3E%3C/svg%3E”

path = '//div[@]/figure/img | //div[@]/p/img'
results = html.xpath(path)
for result in results:
    img_text = result.xpath('./@src')
    print(img_text)
# 会输出:"data:image/svg+xml,%3Csvg%20xmlns='http://www.w3.org/2000/svg'%20viewBox='0%200%20750%20490'%3E%3C/svg%3E"

然而,如果爬取noscript的text()内容,又会输出:[],因为noscript的内容是非js内容,没法用xpath来选取

最终解决方式:
是通过右键查看网页源代码,发现图片的真正代码如下,可以看到@src的内容是"data:image/svg+xml,…",所以不是图片被加密,而是爬取的@src是伪属性,在源代码中看到图片真正地址对应的属性是@data-lazy-src


Đáp án từ câu 10 đến câu 18
Đáp án từ câu 10 đến câu 18

或者在还未点击elements里面的图片元素时,也可以看到图片链接对应的属性是data-lazy-src,而不是src:

走偏了(纯记录,实际解决方式根本该没必要分析SVG反爬虫):一番搜索之后,从"data:image/svg+xml,%3Csvg%20xmlns=‘http://www.w3.org/2000/svg’%20viewBox=‘0%200%20750%20490’%3E%3C/svg%3E"得知图片是svg+xml形式的,以为是svg反爬,这里还了解了下svg的原理,但是没有找到解决方式,有序有空再了解:
svg是一种反爬措施:SVG反爬虫不同于字体反爬虫,它巧妙的利用css 与 svg的关系,将字符映射到网页中,看起来虽然正常,但是却抓取不到有效内容。
SVG是一种基于xml用于描述矢量图的图形格式,由于矢量图放大或缩写都不会影响图形的质量,所以被较多的应用在web站点与APP中,常见的存在形式是图标。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/893310.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号