以Scrapy教程紀錄一下近期的學習,以便複習。使用環境為win + anaconda
安裝Scrapy如沒有創建虛擬環境,可用以下語法創建
//env_name 虛擬環境名稱 conda create --name env_name python==3.9
//並用以下語法啟用環境 conda activate env_name //如要跳出該虛擬環境 conda deactivate env_name
啟用虛擬環境後,在anaconda下可以使用
//安裝scrapy包 pip install scrapy創建專案
安裝好Scrapy後,可以輸入 scrapy 查看相關語法使用
//創建新專案 //project_name為專案名稱 scrapy startproject project_name
創建好專案後,可以新增爬蟲
//新建爬蟲 //spider_name為爬蟲名稱 //domain.com是將要爬取的網站的域名 scrapy genspider spider_name domain.com
新增完畢後,主檔案為scrapy.cfg所在的位置,爬蟲會在spider folder裡面
//目錄 --project_name -scrapy.cfg --project_name -__init__.py -items.py -middlewares.py -pipelines.py -settings.py --spiders -__init__.py -spider_name.py
簡單紀錄



