Python爬虫----cookie，main，接口问题补充

• Python爬虫----cookie，main，接口问题补充
• cookie
• main
• 找接口问题(动静态加载)
• • 动态数据加载
  • 如何确定真正有数据的接口？
• 可以尝试案例

• 反反爬
• 模拟登陆(模拟登陆QQ空间）

1、如果是执行当前文件 当前文件的所有代码都会被执行

2、如果是通过import_test去运行test文件 test文件里面的if name == 'main’这里面的代码就不会被执行

3、所以你们把不想要被其他文件引用的代码部分 放在if name == 'main’里面

如果你要爬取的数据 在右键查看网页源码中找不到 就就证明你要爬取的数据是动态加载出来的
对于动态加载出来的数据：

• 找数据接口（network 先去XHR中找 如果找不到 会到ALL里面找）
• 通过selenium

1、去数据包中的 preview或者是response里面找 有没有你想要的数据 有就是

2、在确定数据包中有我们想要的数据之后 我们就能够确定爬取的目标url了

3、如果目标url和代码都没啥问题 但是爬取下来的数据跟在浏览器中看到的不太一样
那就证明很有可能是被反爬了

4、一般通过分析数据接口爬取到的数据 是类似于json格式的

网址：案例网址
爬取需求：爬取品名和发布日期