栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python > python爬虫

python爬虫中cookie如何操作?

python爬虫 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

python爬虫中cookie如何操作?

python爬虫在客户端访问Web服务器时,服务器可以根据cookie来跟踪客户状态,这对于需要区别客户的场合(如电子商务)特别有用。cookie存在与缓存中或者硬盘中,在硬盘中的是一些文本文件,当你访问该网站时,就会读取对应的网站的cookie信息,本文介绍python爬虫中cookie操作原理。

1、cookie的格式:

Set-cookie: NAME=VALUE;Expires/Max-age=DATE;Path=PATH;Domain=DOMAIN_NAME;SECURE

参数意义:

NAME:cookie的名字。

VALUE:cookie的值。

Expires:cookie的过期时间。

Path:cookie作用的路径。该 cookie 是在当前的哪个路径下生成的,如 path=/wp-admin/。

Domain:cookie作用的域名。

SECURE:是否只在https协议下起作用。如果设置了这个属性,那么只会在 SSH 连接时才会回传该 cookie

2、cookie机制

当用户第一次访问并登陆一个网站的时候,cookie的设置以及发送会经历以下4个步骤:

客户端发送一个请求到服务器 --》 服务器发送一个HttpResponse响应到客户端,其中包含Set-cookie的头部 --》 客户端保存cookie,之后向服务器发送请求时,HttpRequest请求中会包含一个cookie的头部 --》服务器返回响应数据。

3、cookie实例:从本地加载cookie

从本地加载cookie,需要使用cookiejar的load方法,并且也需要指定方法:

from urllib import request,parse
from http.cookiejar import MozillacookieJar
 
#加载本地cookie
#保存cookie到本地文件
cookiejar1=MozillacookieJar('cookie.txt')
cookiejar1.load(ignore_discard=True)
handler=request.HTTPcookieProcessor(cookiejar)
opener=request.build_opener(handler)
 
resp=opener.open('http://httpbin.org/cookies')
 
for cookie in cookiejar1:  #将cookie打印到控制台
    print(cookie)

以上就是python爬虫中cookie操作原理及实例,cookie有效地提升了用户体验,一般来说,一旦将cookie保存在计算机上,则只有创建该cookie的网站才能读取它哦~

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/12513.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号