栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

scrapy返回400

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

scrapy返回400

  • 场景
    使用scrapy对数据进行抓取,需要传递的参数是Request Payload参数,使用Resquest发送post请求
  • 代码如下
    这是返回400的代码
yield scrapy.Request(url=url,
             method="POST",
             headers={"Content-Type":"application/json","Host":"web.hi-teeth.com","Content-Length":"18"},
             encoding="utf-8",
             body=json.dumps({"key":"value"}),
             dont_filter=True,
             callback=回调函数)
  • 原因
    头部信息中的"Content-Length":"18"造成的错误信息,取消掉就可以,个人任务可能是限制为18造成长度不足的错误

  • 解决方案
    去掉头部信息中的"Content-Length"即可

正确代码

yield scrapy.Request(url=url,
             method="POST",
             headers={"Content-Type":"application/json","Host":"web.hi-teeth.com"},
             encoding="utf-8",
             body=json.dumps({"key":"value"}),
             dont_filter=True,
             callback=回调函数)

有知道正确原因的同学可以指导一下,万分感谢

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/987351.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号