栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

爬虫:从入门到入狱(二)——网页收集器

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

爬虫:从入门到入狱(二)——网页收集器

直奔主题

        目前python3版本中已经有了非常完善的requests模块,我们主要是利用这个模块进行爬取网页数据

requests模块:python中原生的一款基于网络请求的模块,功能非常强大,简单便捷,效率极高。
作用:模拟浏览器发请求。 如何使用:(requests模块的编码流程)
    - 指定url
    - 发起请求
    - 获取响应数据
    - 持久化存储 首先,打开终端安装环境
pip install requests

环境安装完成之后,我们就可以正式地开始进行爬取代码的主体的构建了

创建一个python文件,导入requests模块 
import requests
if __name__ == "__main__":
将目标网站的URL地址存储在字符串变量当中 一定是以“字符串”形式存储
URL="你爬取的目标网址的URL"
利用requests模块的get方法向目标网页发起请求
result=requests.get(url=URL)
然后将网页的内容储存在本地对应格式的文件下
with open("./test.html","w",encoding="utf-8") as fp
    fp.write(result.text)
打印结束提示语
print("爬取完毕!")

 一个简单的网页原始数据获取器就做好了,可以在本地预览爬取的网页

补充一个概念!

阿贾克斯请求:Ajax即Asynchronous Javascript And XML(异步JavaScript和XML)在 2005年被Jesse James Garrett提出的新术语,用来描述一种使用现有技术集合的‘新’方法,包括: HTML 或 XHTML, CSS, JavaScript, DOM, XML, XSLT, 以及最重要的XMLHttpRequest。 [3]  使用Ajax技术网页应用能够快速地将增量更新呈现在用户界面上,而不需要重载(刷新)整个页面,这使得程序能够更快地回应用户的操作。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/1008382.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号