栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

CSDN如何统计博客阅读量(python+selenium)

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

CSDN如何统计博客阅读量(python+selenium)

这个功能是比较容易实现的,按理说一个人的所有文章都在博客主页,每篇文章的标题大致如下

耗时一个月对Python标准库20多个模块的整理

文章标题为耗时一个月对Python标准库20多个模块的整理,其class为blog-list-box-top。

接下来通过selenium进入该页面。

from selenium import webdriver
url = 'https://blog.csdn.net/m0_37816922?type=blog'
driver = webdriver.Edge()
driver.get(url)

然后查找class,如果使用find_element的方法,则只显示第一个匹配对象,

>>> Title = driver.find_element_by_class_name('blog-list-box-top')
>>> print(Title.text)
【Python标准库textwrap】对段落文本进行格式化

如果采用find_elements,则可定位所有文章,从而得到当前页所有文章的标题。

>>> titleClass = 'blog-list-box-top'
>>> for T in driver.find_elements_by_class_name(titleClass):
...   print(T.text)
...
【Python标准库textwrap】对段落文本进行格式化
python将文件名改为文件夹名
一文学会Android布局
耗时一个月对Python标准库20多个模块的整理
【python标准库】json
【python标准库】读取和保存csv文件
【python标准库】如何打出字符π
python命令行版2048小游戏
#。。。

然而这个页面采用了无限滚动,所以并没有得到我的全部博文。这时先滚动一下试试

driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")

这回再寻找相应的元素,则果然内容变多了。

可以通过元素个数来确认滚动条是否已经到底,即

import time
titleClass = 'blog-list-box-top'
script = "window.scrollTo(0,document.body.scrollHeight)"
Titles = driver.find_elements_by_class_name(titleClass)
oldLen, newLen = 0, len(Titles)
while oldLen!=newLen:
    driver.execute_script(script)
    time.sleep(2)   #发出命令后等待2秒
    Titles = driver.find_elements_by_class_name(titleClass)
    oldLen, newLen = newLen, len(Titles)

运行结束后,获取了165篇博客。

>>> len(Titles)
165

接下来就是摘取每篇博客的信息,博客中,除了标题之外还有阅读量、点赞以及评论量。

91 阅读 ·
5 点赞 ·
0 评论

可以看到数量和描述之间有一个空格,可split之后再转化为数字。

titleClass = 'blog-list-box-top'
viewClass = 'view-num'
likeClass = 'give-like-num'
commentClass = 'comment-num'
Titles = [t.text for t in driver.find_elements_by_class_name(titleClass)]
Views = [int(v.text.split(' ')[0]) for v in driver.find_elements_by_class_name(viewClass)]
Likes = [int(L.text.split(' ')[0]) for L in driver.find_elements_by_class_name(likeClass)]
Comments = [int(c.text.split(' ')[0]) for c in driver.find_elements_by_class_name(commentClass)]

得到所有博文的数据之后,接下来就要展示这些数据了,好在博客不多,故可以导入到excel中,毕竟所见即所得,这里使用python内置的csv模块

import csv
f = open('blog.csv','w',newline='')
w = csv.writer(f)
for i in range(len(Titles)):
    w.writerow([Titles[i],Views[i],Likes[i],Comments[i]])

剩下的通过excel就可以进行统计,最终得到博客的总阅读量为221.22k,平均阅读量为1340;平均点赞5.25个;平均评论1条……实在是太可怜了

每篇博客的阅读量如下,的确是拖着长长的尾巴

尽管看上去尾巴很长,但到底服从帕累托还是服从长尾,这个还得计算一下。

所谓帕累托法则,就是百分之二十的博文占据了百分之八十的阅读量。由于总博客为165篇,则其五分之一为33,则前33篇文章的总阅读量为161891,占了总阅读量的73%,尽管没到80%,但也差不多了。

其分布如下,横轴为阅读量区间,纵轴为文章数,果然大部分的阅读量都在250以内……太可怜了

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/618742.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号