栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

python爬虫时如何知道是否代理ip伪装成功

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

python爬虫时如何知道是否代理ip伪装成功


      有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。

Python¶

requests

        #! -*- encoding:utf-8 -*-

        import requests

        import random

 

        # 要访问的目标页面

        targetUrl = "http://httpbin.org/ip"

        # 要访问的目标HTTPS页面

        # targetUrl = "https://httpbin.org/ip"

        # 代理服务器

        proxyHost = "t.16yun.cn"

        proxyPort = "31111"

        # 代理隧道验证信息

        proxyUser = "16ZKBRLB"

        proxyPass = "234076"

        proxymeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {

            "host" : proxyHost,

            "port" : proxyPort,

            "user" : proxyUser,

            "pass" : proxyPass,

        }

        # 设置 http和https访问都是用HTTP代理

        proxies = {

            "http"  : proxymeta,

            "https" : proxymeta,

        }

        #  设置IP切换头

        tunnel = random.randint(1,10000)

        headers = {"Proxy-Tunnel": str(tunnel)}

        resp = requests.get(targetUrl, proxies=proxies, headers=headers)

        print resp.status_code

        print resp.text

要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/219779.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号