爬虫-代理理论

#代理理论
#破解封IP这种反爬机制
#作用：
#突破自身IP访问的限制
#隐藏自身真实IP
#代理IP类型：http（应用http协议对应的URL中）
#https（应用https协议对应的URL中）
#代理IP的匿名度：
#透明：服务器知道该次请求使用了代理，也知道请求对应的真实IP
#匿名：知道使用了代理，不知道真实的IP
#高匿：不知道使用了代理，也不知道真实IP

import requests
url='https://www.baidu.com/s?word=ip&tn=site888_pg&ch=4&lm=-1&ssl_s=1&ssl_c=ssl1_17d148053da&prec=1'
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36'}
page_text=requests.get(url=url,headers=headers,proxies={"https":'ip'}).text
with open('ip.html','w',encoding='utf-8')as fp:
    fp.write(page_text)

#反爬机制：封IP
    #反反爬策略：使用代理进行请求发送