栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Scrapy(二. 数据持久化存储)

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Scrapy(二. 数据持久化存储)

简单的持久化存储数据

Scrapy快速入门





两种存储方式:
​ 一. 通过执行命令(有局限性)
​ 二. 编写pipelines.py等文件 (操作相对复杂)
                      1.  修改、编写 items.py
                      2.  修改、编写 baidu.py
                      3.  编写 pipelines.py
                      4.  修改、编写 settings.py
                      5.  运行
​




一. 通过Terminal窗口,执行命令,对数据进行存储 (有局限性)

  只能用于生成 json、 jsonlines、 jl、 csv、 xml、 marshal、 pickle 类型文件







二. 通过piplines.py文件,对数据进行存储

1. 编写items.py文件



2. 编写baidu.py文件



3. 编写pipelines.py文件



4. 编写settings.py文件



5. Terminal 窗口中执行命令 scrapy crawl baidu

等待, 则生成名为baidu.txt文件,且爬取网页源码数据自动存储至该文件

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/674861.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号