栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

检查scrapy的404错误网址

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

检查scrapy的404错误网址

您可以执行以下操作:

from __future__ import print_functionimport urllib2baseURL = "http://www.website.com/page/"for n in xrange(100):    fullURL = baseURL + str(n)    #print fullURL    try:        req = urllib2.Request(fullURL)        resp = urllib2.urlopen(req)        if resp.getpre() == 404: #Do whatever you want if 404 is found print ("404 Found!")        else: #Do your normal stuff here if page is found. print ("URL: {0} Response: {1}".format(fullURL, resp.getpre()))    except:        print ("Could not connect to URL: {0} ".format(fullURL))

这会遍历整个范围,并尝试通过连接到每个URL

urllib2
。我不知道
scapy
或您的示例函数如何打开URL,但这是一个有关如何通过进行操作的示例
urllib2

请注意,大多数利用这种URL格式的站点通常都在运行CMS,该CMS可以自动将不存在的页面重定向到自定义

404 - NotFound
页面,该页面仍将显示为HTTP状态代码200。在这种情况下,最好的查找方式对于可能显示但实际上只是自定义404页面的页面,您应该进行一些屏幕抓取,并寻找在“正常”页面返回期间可能不会出现的所有内容,例如显示“找不到页面”的文本或类似内容并且是自定义404页所独有的。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/645270.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号