scrapy多线程(scrapy定时爬虫)

scrapyd是一个用于部署和运行scrapy爬虫的程序，它允许你通过JSON API来部署爬虫项目和控制爬虫运行，scrapyd是一个守护进程，监听爬虫的运行和请求，然后启动进程来执行它们

pip install scrapyd

scrapyd

访问链接，访问不成功 原因：

防火墙问题(尝试把防火墙关掉在开启scrapyd服务)

systemctl status firewalld   # 查看防火墙状态


systemctl stop firewalld    # 关闭防火墙


systemctl start firewalld  # 开启防火墙

查看scrapyd的配置文件：

/usr/local/lib/python3.9/site-packages/scrapyd/default_scrapyd.conf

配置文件选项