栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

python进阶第二篇-re模块-爬轻小说文库

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

python进阶第二篇-re模块-爬轻小说文库

​
​

活动地址:CSDN21天学习挑战赛

学习的最大理由是想摆脱平庸,早一天就多一份人生的精彩;迟一天就多一天平庸的困扰。各位小伙伴,如果您:
想系统/深入学习某技术知识点…
一个人摸索学习很难坚持,想组团高效学习…
想写博客但无从下手,急需写作干货注入能量…
热爱写作,愿意让自己成为更好的人…

…
欢迎参与CSDN学习挑战赛,成为更好的自己,请参考活动中各位优质专栏博主的免费高质量专栏资源(这部分优质资源是活动限时免费开放喔~),按照自身的学习领域和学习进度学习并记录自己的学习过程。您可以从以下3个方面任选其一着手(不强制),或者按照自己的理解发布专栏学习作品,参考如下:

**

学习日记

**
1,学习知识点

已经详细的正则和re模块的使用
备受打击感觉自己好菜,请叫我菜狗!

2,学习遇到的问题

逻辑问题

3,学习的收获及实操

首先是re模块的使用,

#导入re
import re
ll = re.match(正则表达式,要匹配的字符串)
#使用match方法进行匹配操作
ll.group()#group提取数据
ll =re.match('ls','ls123.11')
ll.group()
会得到‘ls’

re.match(pattern,string,flags=0)

re.match尝试从在字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回none。
pattern:正则表达式 string:爬的内容。 flags:标志位,用于控制正则表达式的匹配方式,如是否区分大小写,多行匹配等等。

匹配单个字符

字符功能
.匹配任意1个(是一个)字符(除了n)
[]匹配[]中列举的字符
d匹配数字
D匹配非数字
s匹配空白,空格,tab键
S匹配非空白
w匹配单词字符,即a-z、A-Z、0-9、_
W匹配非单词字符
import re
k=re.match('j.l','jkljkl')
s=re.match('1.2.4','12214234')
print(k.group())
print(s.group())
>>>jkl
>>>12214

字符串检查从左向右检索,一旦一个字符匹配对就会向下一个字符匹配,下一个字符不对就会不进行错误

import re
lk = re.match('[0-9]hel','5hel')
>>>hel
lp = re.match('[0-46-9]','5hel')
>>>输出lp会报错,原因没匹配到5

d

import re
kk = re.match('第d好','第1好')
会输出第1好
kk = re.match('第dd好','第12好')
第12好

匹配多个字符

字符功能
*匹配前一个字符出现0次或者无限次,即可有可无
+匹配前一个字符出现1次或者无限次,至少一次
?匹配要么有1次,要么没有
{m}匹配前一个字符出现m次
{m,n}匹配前一个字符出现从m到n次
*用法
要:匹配开头大写其他小写的字符,小写没有也可以
import re
ls = re.match('[A-Z][a-z]*','E')
print(ret.group())
>>>E
ls = re.match('[A-Z][a-z]*','EsssE')
print(ret.group())
>>>Esss
ls = re.match('[A-Z][a-z]*','Eolololololololol')
print(ret.group())
>>>Eolololololololol

要,变量名有效

import re
names = ["name1","_name","2_name"]
for name in names:
    ret = re.match("[a-zA-Z_]+[w]*",name)
    if ret:
        print("变量名%s符合"%ret.group())
    else:
        print("变量名%s非法"%name)

》》》变量名 name1符合
     变量名 _name符合
     变量名 2_name非法
            
字符功能
^匹配字符串开头
$匹配字符串结尾
用法:^**
       **$

匹配分组

字符功能
(**)将括号中的字符最为一个分组
**应用**分组匹配的字符
(?p)分组起别名
(?=name)引用别名为name分组匹配到的字符串

高级用法
re.search(pattern,string,flags)
re.match只匹配字符串开头,如果开始不对就会匹配失败,而re.search是匹配整个字符串,直到找到匹配

re.findall
re.findall(pattern,string,flags=0)
找到表达式匹配的所有字符串,并返回一个列表,如果有多个匹配模式,则返回元组列表,如果没有找到匹配,则返回空列表。
**match和search是匹配一次findall匹配所有

re.sub
匹配到的数据进行替换
re.sub(正则中模式字符,替换的字符串,原始字符,count=)
r‘删除的内容’

re.split
根据匹配进行切割字符串,并返回一个列表
re.split(正则,字符[,maxsplit(切割次数)=0,flags])

import requests
import re
i=82491

def get_dict(number):
    url = 'https://www.wenku8.net/novel/2/2255/{}.htm'.format(number)
    hea = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36'}

    html = requests.get(url, headers=hea)
    # html.encoding='utf-8'#utf-8依然乱码
    MyHtml = html.text.encode('iso-8859-1').decode('gbk')  # 解析成功 (对爬去的内容进行转义解析)
    ti = r'(.*?)'  # 标题  (匹配title属性中的字符# )
    title = re.findall(ti, MyHtml, re.S)
    tet = r'    (.*?)<.*?'  # 正文   (匹配前为**bnsp后为<的字符)
    test = re.findall(tet, MyHtml, re.S)#(采用findall模式,爬去全部内容,防止遗失)
    out_path = r'C:UserslenovoDesktoptest{}.txt'.format(title)#存储位置 并重命名为章节(妈妈再也不用忘了我看到哪里了)
    with open(out_path, "a+", encoding='utf-8-sig') as f:  # 打开文件
        f.write(str(title) + "n")  # 写入小说内容
        f.write(str(test)+'n')
    yz ='{}爬取成功'.format(title)
    print(yz)

while i<82508:
    get_dict(i)
    i = i + 1
#测试成功逻辑上还是有点问题
#各卷之间间隔几千的随机数,这个不知道怎么解决? 哭了


未全部执行,可以近一半优化正则。
…

提醒:在发布作品前请把不用的内容删掉(活动地址请保留)

​

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/1034669.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号