栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

scrapy入门教程(scrapy创建项目)

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

scrapy入门教程(scrapy创建项目)

Scrapy教程 - (1) 安裝與創建專案

以Scrapy教程紀錄一下近期的學習,以便複習。使用環境為win + anaconda

安裝Scrapy

如沒有創建虛擬環境,可用以下語法創建

//env_name 虛擬環境名稱
conda create --name env_name python==3.9
//並用以下語法啟用環境
conda activate env_name

//如要跳出該虛擬環境
conda deactivate env_name

啟用虛擬環境後,在anaconda下可以使用

//安裝scrapy包
pip install scrapy
創建專案

安裝好Scrapy後,可以輸入 scrapy 查看相關語法使用

//創建新專案
//project_name為專案名稱
scrapy startproject project_name

創建好專案後,可以新增爬蟲

//新建爬蟲
//spider_name為爬蟲名稱
//domain.com是將要爬取的網站的域名
scrapy genspider spider_name domain.com

新增完畢後,主檔案為scrapy.cfg所在的位置,爬蟲會在spider folder裡面

//目錄
--project_name
	-scrapy.cfg
	--project_name
		-__init__.py
  		-items.py
  		-middlewares.py
  		-pipelines.py
  		-settings.py
  		--spiders
   			-__init__.py
   			-spider_name.py

簡單紀錄

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/773072.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号