栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Selenium文章获取所有评论,涵盖内容(点击下一页)

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Selenium文章获取所有评论,涵盖内容(点击下一页)

静态页面爬取网页,涵盖内容(点击下一页)
具体代码操作如下:

# for i in range(2,10):
from selenium import webdriver
import requests
import time
driver_url = r"D:ancondamsedgedriver.exe"
browser = webdriver.Edge(executable_path=driver_url)
browser.get("http://www.santostang.com/2018/07/04/hello-world/")
time.sleep(10)
s = 0
for i in (2,6):
    print("这是第{}页".format(i),'n')
    time.sleep(5)
    browser.switch_to.frame(browser.find_element_by_css_selector("iframe[title='livere-comment']"))
    browser.execute_script("window.scrollTo(0,document.body.scrollHeight);")
    comments = browser.find_elements_by_css_selector("div.reply-content")
    for eachonecomment in comments:
        content = eachonecomment.find_element_by_tag_name('p')
        s = s+1
        print("第{}条评论".format(s),content.text)
    load_more_clic = browser.find_element_by_css_selector("button.page-btn[data-page='{}']".format(i))
    load_more_clic.click()
    browser.switch_to.default_content()
    if i ==3:
        print("完成")

没有用class的一个简单for循环,后续可以持续优化

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/276075.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号