搭建scrapy框架

1.安装scrapy

修改镜像，全局设置，只需要设置一次
pip config set global.index-url https://pypi.doubanio.com/simple

安装
pip install scrapy

补充：

更新安装
pip install -U scrapy

如果windows报错说没有磁盘访问权限可用这个命令
pip install --user scrapy

2.检验scrapy是否安装成功

scrapy

3.创建scrapy项目

scrapy startproject spider0609

4.创建蜘蛛程序

scrapy genspider douban movie.douban.com

5.pycharm打开项目并运行

pycharm->open->spider0609->file->setting->project->python interpreter 配置虚拟环境->add

第一步：以管理员身份运行powershell
第二步：执行：get-ExecutionPolicy 回复Restricted，表示状态是禁止的。
第三步：执行：set-ExecutionPolicy RemoteSigned
第四步：选择Y，回车

 再次打开terminal即可解决

 虚拟环境安装scrapy(之前装是装在全局环境的，现在是给虚拟环境装)

scrapy crawl douban -o douban.csv