Regular expression,正则表达式,一种使用表达式的方式对字符串进行匹配的语法规则.
爬虫中我们抓取到的网页源代码本质上就是一个超长的字符串,想从里面提取内容.用正则再合适不过了.
正则的语法: 使⽤元字符进⾏排列组合⽤来匹配字符串
元字符具有固定含义的特殊符号
常⽤元字符
1 . 匹配除换⾏符以外的任意字符, 2. w 匹配字⺟或数字或下划线 3. s 匹配任意的空⽩符 4 d 匹配数字 5 n 匹配⼀个换⾏符 6 t 匹配⼀个制表符 78 ^ 匹配字符串的开始 9 $ 匹配字符串的结尾 10 11 W 匹配⾮字⺟或数字或下划线 12 D 匹配⾮数字 13 S 匹配⾮空⽩符 14 a|b 匹配字符a或字符b 15 () 匹配括号内的表达式，也表示⼀个组 16 [...] 匹配字符组中的字符 17 [^...] 匹配除了字符组中字符的所有字符
量词: 控制前⾯的元字符出现的次数
1 * 重复零次或更多次
2 + 重复⼀次或更多次
3 ? 重复零次或⼀次
4 {n} 重复n次 5 {n,} 重复n次或更多次
6 {n,m} 重复n到m次
贪婪匹配和惰性匹配
1 .* 贪婪匹配, 尽可能多的去匹配结果 2 .*? 惰性匹配, 尽可能少的去匹配结果 -> 回溯
这两个要着重的说⼀下. 因为我们写爬⾍⽤的最多的就是这个惰性匹
配
那么接下来的问题是, 正则我会写了, 怎么在python程序中使⽤正则
呢?
答案是re模块
re模块中我们只需要记住这么⼏个功能就⾜够我们使⽤了.
1. findall 查找所有. 返回list
lst = re.findall("m", "mai le fo len, mai nimei!")
print(lst) # ['m', 'm', 'm']
lst = re.findall(r"d+", "5点之前. 你要给我5000
万")
print(lst) # ['5', '5000']
2. search 会进⾏匹配. 但是如果匹配到了第⼀个结果. 就会返回这
个结果. 如果匹配不上search返回的则是None
ret = re.search(r'd', '5点之前. 你要给我5000万').group() print(ret) # 5
3. match 只能从字符串的开头进⾏匹配
1 ret = re.match('a', 'abc').group()
2 print(ret) # a
4. finditer, 和findall差不多. 只不过这时返回的是迭代器(重点)
it = re.finditer("m", "mai le fo len, mai nimei!")
for el in it:
print(el.group())#依然需要分组
5. compile() 可以将⼀个⻓⻓的正则进⾏预加载. ⽅便后⾯的使⽤
obj = re.compile(r'd{3}') # 将正则表达式编译成为⼀个 正则表达式对象, 规则要匹配的是3个数字
ret = obj.search('abc123eeee') # 正则表达式对象调⽤search, 参数为待匹配的字符串
print(ret.group()) # 结果: 123
6. 正则中的内容如何单独提取?单独获取到正则中的具体内容可以给分组起名字
?P<组名>正则表达式
s = """ 中国联通 """ obj = re.compile(r"d+)'>(?Pw+)", re.S) result = obj.search(s) print(result.group()) # 结果: 中国联通 print(result.group("id")) # 结果: 10010 # 获取id组的内容 print(result.group("name")) # 结果: 中国联通 #获取name组的内容
这⾥可以看到我们可以通过使⽤分组. 来对正则匹配到的内容进⼀步的进⾏筛选
