python爬虫---cookie和代理基础

1. cookie:用来让服务器端记录客户端的相关状态

• 手动处理：通过抓包工具获取cookie值，将该值封装到headers中（不建议使用）
• 自动处理：
  • cookie值来源是哪里
    • 模拟登陆post，由服务器端创建 
  • session会话对象：
    •   作用：可以进行请求的发送；如果请求过程中产生了cookie，则该cookie会被自动存储/携带在该session对象 
  • 创建一个session对象，session=request.Session()
  • 使用sesssion对象进行模拟登陆post请求的发送（cookie就会被存储在session中）
  • session对象对个人主页对应的get请求进行发送（携带了cookie）

     2.代理:破解封IP这种反爬机制

        代理的作用：

• 可以突破自身IP访问的限制
• 可以隐藏自身真实的IP免受攻击

        代理相关的网站：

• 快代理
• 西祠代理
• http://www.goubanjia.com