栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Python 教你 4 行代码开发新闻网站通用爬虫

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Python 教你 4 行代码开发新闻网站通用爬虫

GNE(GeneralNewsExtractor)是一个通用新闻网站正文抽取模块,输入一篇新闻网页的 HTML, 输出正文内容、标题、作者、发布时间、正文中的图片地址和正文所在的标签源代码。GNE在提取今日头条、网易新闻、游民星空、 观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻等数百个中文新闻网站上效果非常出色,几乎能够达到100%的准确率。

一、如何安装:

可以直接使用 pip 安装 GNE 了:

pip install gne
# 速度慢可以使用下面方式
pip install gne -i https://mirrors.163.com/pypi/simple/
二、使用方式非常简单:

使用requests模块

from gne import GeneralNewsExtractor
import requests
extractor = GeneralNewsExtractor()


def parse_info(html):
    result = extractor.extract(html)
    print(result)


def run():
    resp = requests.get('http://www.jjckb.cn/2022-06/22/c_1310629793.htm')
    resp.encoding = 'utf8'
    # print(resp.text)
    parse_info(resp.text)


run()

GNE 配合 Selenium 实现的一个 Demo:

import time
from gne import GeneralNewsExtractor
from selenium.webdriver import Chrome


driver = Chrome('./chromedriver')
driver.get('https://www.toutiao.com/a6766986211736158727/')
time.sleep(3)
extractor = GeneralNewsExtractor()
result = extractor.extract(driver.page_source)
print(result)
关于GNE

GNE 官方文档:https://generalnewsextractor.readthedocs.io/

GNE 的项目源代码在:https://github.com/kingname/GeneralNewsExtractor。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/990715.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号