栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Python爬虫-解决IP封禁-代理

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Python爬虫-解决IP封禁-代理

原理:

使用第三方的一个机器去请求,然后第三方的机器把信息返回给我们。

proxies就是我们的代理池子:当访问使用的是https协议时,使用123.70.46.13这个ip地址的3128端口来进行访问。(不要忘记端口号)

proxies={
	"http":"ip地址:端口号"
    "https": "ip地址:端口号"
}
resp=requests.get(url,proxies=proxies)
老版本request
#原理,通过第三方的一个机器去请求
import requests

url="https://www.baidu.com"
proxies={
    "https": "124.70.46.14:3128"
}

resp=requests.get(url,proxies=proxies)
resp.encoding=resp.apparent_encoding
print(resp.text)
新版本request
#原理,通过第三方的一个机器去请求
import requests

url="https://www.baidu.com"
proxies={
    "https": "https://124.70.46.14:3128"
}

resp=requests.get(url,proxies=proxies)
resp.encoding=resp.apparent_encoding
print(resp.text)

我所使用的一个免费代理IP的网站https://www.zdaye.com/Free/

友情提示:代理终究是涉及到灰色地带的,能不用尽量不用,跟作者无任何关系,技术无罪!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/460808.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号