URL详细分析及在python中处理URL

• • • URL
    • • URL介绍
      • URL案例
    • URL处理
    • • urlparse方法
      • urlsplit方法
      • urlunparse方法
      • urlunsplit方法
      • urljoin方法
      • URL序列化与反序列化
    • 其他相关文章推荐

URL(Uniform Resource Locator)中文名为统一资源定位符，有时也被俗称为网页地址。它表示为互联网上的资源，例如网页或者FTP地址。一个标准的URL格式如下:

scheme://[username:password@]hostname[:port][/path][;parameters][?query][#fragment]

• 中括号包括的内容代表非必要部分

我们对url的这些组成部分进行介绍

1. scheme(协议)：指定使用的传输协议，最常用的是HTTP和HTTPS协议

   HTTPS就是在 HTTP 下加入 SSL 层，简单讲是 HTTP 的安全版

2. username、password：用户名和密码,

   某些情况下 URL 需要提供用户名和密码才能访问

3. hostname(主机地址)：可以是域名或 IP 地址
4. post(端口)：服务器设定的服务端口，默认为8080
5. path(访问路径)：网络资源在服务器中的指定地址
6. params(参数)：制定访问某个资源的时候的附加信息，用的很少
7. query(查询条件)：一般 GET 类型的 URL 会用
8. fragment(片段)：对资源描述的部分补充，可以理解为资源内部的书签

有两个作用:

1. 用作单页面路由,
2. 用作 HTML 锚点，用它可以控制一个页面打开时自动下滑滚动到某个特定的位置

• 案例1：

https://admin:123@ssr3.scrape.center/
# 用户名是admin,密码是123
#hostname是ssr3.scrape.center
#端口是8080()

• 案例2

https://6.6.6.6:8090/
# hostname 是 6.6.6.6(IP地址)
# 端口是8090

• 案例3

https://github.com/favicon.ico;user?id=1&name="hello"
# path是favicon.ico
# parameters是user
# query是id=1&name="hello"

scheme://host/path;params?query#fragment

• python中urllib库的parse 模块定义了处理 URL 的标准接口

• 按url标准格式解析成scheme、host、path、params、query 和 fragment六部分

from urllib.parse import urlparse
result = urlparse('https://www.baidu.com/index.html#comment')
print(result.scheme, result[0], result.netloc, result[1], sep='n')

• 按url标准格式解析成scheme、host、path、params、query五部分
• 类似于urlparse方法,只不过fragment合并到path中

from urllib.parse import urlsplit
result = urlsplit('https://www.baidu.com/index.html#comment')
print(result.scheme, result[0], result.netloc, result[1], sep='n')

• 把urlparse方法解析的结果逆着解析方式拼装回去
• 接收一个长度为6的可迭代对象作为参数

from urllib.parse import urlunparse
data = ['h', 'www.baidu.com', 'index.html', 'user', 'a=6', 'comment']
#将data中的元素拼接成一个url,data可以是列表,元组等,但长度要为6
print(urlunparse(data))

• 将urlsplit方法解析的结果逆着解析方式拼装回去
• 接收一个长度5的可迭代对象作为参数

from urllib.parse import urlunsplit
date = ['https', 'www.baidu.com', 'index.html', 'user', 'a=6']
#将data中的元素拼接成一个url,date可以是列表,元组等,但长度要是5
print(urlunsplit(date))

• 方法签名：urljoin(base, url, allow_fragments=True)
• 如果url中不存在 scheme、netloc 和 path 就拿base的对应来用(有的话)
• 用于url的解析、拼合与生成

print(urljoin('https://www.baidu.com', 'https://cuiqingcai.com/FAQ.html'))
print(urljoin('https://www.baidu.com/about.html', 'https://cuiqingcai.com/FAQ.html'))

1. urlencode(dict)：将字典dict序列化为GET请求中的query并返回

from urllib.parse import urlencode

params = {
    'name': 'germey',
    'age': 25
}
base_url = 'https://www.baidu.com?'
url = base_url + urlencode(params)
print(url)

2. parse_qs(query)：将GET请求中的query反序列化为字典并返回

from urllib.parse import parse_qs

query = 'name=germey&age=25'
print(parse_qs(query))

3. parse_qsl(query)：将GET请求中的query转化为元组组成的列表并返回

from urllib.parse import parse_qsl

query = 'name=germey&age=25'
print(parse_qsl(query))

4. quote(word)：用于将URL 中的中文参数转化为 URL 编码的格式(防止乱码)并返回

from urllib.parse import quote

keyword = '壁纸'
url = 'https://www.baidu.com/s?wd=' + quote(keyword)
print(url)

5. unquote(word)： 对URL解码并返回

from urllib.parse import unquote

url = 'https://www.baidu.com/s
print(unquote(url))

1. 爬虫学习——爬虫学习——Robots协议和 robotparser模块
2. 一文速通的正则表达式
3. python中使用正则表达式——为所欲为
4. 爬虫实战小案例
5. 爬虫实战(1)——小试牛刀