Python 爬虫入门级

• Python 爬虫 （一）
• • 查找网址
  • 安装包
  • 编程
  • • 导入包
    • 获取数据
    • 打印数据
    • 完整内容
  • 问题

你好！ 这是最最最入门级别的爬虫内容。慎入！！！！！！！

找到网页，右键点击检查，会出现以下的这种选框。点击红圈圈出来的内容，找到请求url复制。

命令行数据
pip install requests

ps: 环境不同，命令不同。若不适用自行查找

首先分为三大步：导入需要的程序包->获取网址内容->打印查看
在编译器中输入以下内容

import requests

req = requests.get(‘https://browser.events.data.msn.com/OneCollector/1.0?cors=true&content-type=application/x-json-stream&client-id=NO_AUTH&client-version=1DS-Web-JS-2.2.2&apikey=0ded60c75e44443aa3484c42c1c43fe8-9fc57d3f-fdac-4bcf-b927-75eafe60192e-7279&upload-time=1634750679504&ext.intweb.msfpc=GUID%3D9d76734896764141b002db422dbe7d91%26HASH%3D9d76%26LV%3D202108%26V%3D4%26LU%3D1630330870902&w=0&anoncknm=app_anon’)

ps ： get的内容是复制的网址

print(req.text)

import requests
req = requests.get('https://browser.events.data.msn.com/OneCollector/1.0?cors=true&content-type=application/x-json-stream&client-id=NO_AUTH&client-version=1DS-Web-JS-2.2.2&apikey=0ded60c75e44443aa3484c42c1c43fe8-9fc57d3f-fdac-4bcf-b927-75eafe60192e-7279&upload-time=1634750679504&ext.intweb.msfpc=GUID%3D9d76734896764141b002db422dbe7d91%26HASH%3D9d76%26LV%3D202108%26V%3D4%26LU%3D1630330870902&w=0&anoncknm=app_anon')
print(req.text)

现象：打印的结果为空，也就是说没有输出。但是复制网址到浏览器上是有数据的
原因：暂无
解决方案：手动设置header
样例：

import requests
headers = {
  'cookie':'OCSSID=4df0bjva6j7ejussu8al3eqo03',
  'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
         '(KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
}
req = requests.get('https://browser.events.data.msn.com/OneCollector/1.0?cors=true&content-type=application/x-json-stream&client-id=NO_AUTH&client-version=1DS-Web-JS-2.2.2&apikey=0ded60c75e44443aa3484c42c1c43fe8-9fc57d3f-fdac-4bcf-b927-75eafe60192e-7279&upload-time=1634750679504&ext.intweb.msfpc=GUID%3D9d76734896764141b002db422dbe7d91%26HASH%3D9d76%26LV%3D202108%26V%3D4%26LU%3D1630330870902&w=0&anoncknm=app_anon',headers = headers)
# ps:     req = requests.ge......末尾加上 headers = headers
print(req.text)