栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

通过Python爬虫技术获取小说信息

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

通过Python爬虫技术获取小说信息

资源下载地址:https://download.csdn.net/download/sheziqiong/85673772

实验目的

使用Python爬虫技术获取小说信息,包括小说名称、小说作者以及小说简介等作品信息!在实验中掌握Python的第三方库requests和lxml

实验内容
  1. 明确实验需求——获取小说页面的相关小说信息
  2. 使用Python的requests库获取响应信息
  3. 使用python的lxml库进行必要信息的提取
  4. 保存信息到txt文件中!
  5. 进行多页信息提取,找到规律
主要仪器设备(必填)
  1. python编译器Pycharm
  2. Chrome浏览器F12进行网页的分析
操作方法和实验步骤
  1. 确定网页URL链接:http://www.ijjxsw.com/txt/Xuanhuan/index_1.html
  2. 确定爬取的信息:小说名称、作者以及简介

  1. 进行网页的分析,在Chrome浏览器打开网页之后,按快捷键F12开始分析网页,得到要爬取得信息的标签和属性信息!

  1. 编写代码,逐步实现需求!
实验结果和分析

实验结果:通过编写代码,并合理解析页面以及多次调试解决爬虫过程中出现的问题,代码运行成功,获取到了第一页的10本小说的作者名、小说简介以及小说名称!

运行截图如下:

得到的txt文件截图:

实验分析:

本次实验通过编写爬虫代码,从网页中之间抓取信息,保存到本地文件中!较好的达到了实验前的需求!

讨论、心得
  1. Python爬虫技术能大大方便人们的生活,很多手工操作需要大量时间,但是通过编写python爬虫代码很快就能从网页中获取信息

  2. Txt文件保存信息有缺陷,格式方面很不美观,建议用excel替代

  3. 爬虫能获取大量数据,因此了解到了有反爬的相关内容

资源下载地址:https://download.csdn.net/download/sheziqiong/85673772

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/976608.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号