栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

使用scrapy登录表单

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

使用scrapy登录表单

loginform
只是一个库,与Scrapy完全分离。

您必须编写代码将其插入所需的蜘蛛中,可能是在回调方法中。

这是执行此操作的结构示例:

import scrapyfrom loginform import fill_login_formclass MySpiderWithLogin(scrapy.Spider):    name = 'my-spider'    start_urls = [        'http://somewebsite.com/some-login-protected-page',        'http://somewebsite.com/another-protected-page',    ]    login_url = 'http://somewebsite.com/login-page'    login_user = 'your-username'    login_password = 'secret-password-here'    def start_requests(self):        # let's start by sending a first request to login page        yield scrapy.Request(self.login_url, self.parse_login)    def parse_login(self, response):        # got the login page, let's fill the login form...        data, url, method = fill_login_form(response.url, response.body,self.login_user, self.login_password)        # ... and send a request with our login data        return scrapy.FormRequest(url, formdata=dict(data),     method=method, callback=self.start_crawl)    def start_crawl(self, response):        # OK, we're in, let's start crawling the protected pages        for url in self.start_urls: yield scrapy.Request(url)    def parse(self, response):        # do stuff with the logged in response


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/625151.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号