在腾讯云配置scrapyd并编写scrapyd后台启动脚本

安装 scrapyd服务端
sudo pip install scrapyd


最好加sudo 否则可能出现环境问题


修改scrapyd配置文件
使用find查找到 default_scrapyd.conf 文件
sudo find / -name default_scrapyd.conf


进入目录下编辑default_scrapyd.conf 文件
将bind_address由127.0.0.1修改成0.0.0.0允许远程访问


通过sudo scrapyd启动scrpyd

之后在腾讯云的安全组配置中开放6800端口

访问演示

参考文献：https://blog.csdn.net/weixin_42477251/article/details/83689180

新建文件/etc/init.d/scrapyd
vi /etc/init.d/scrapyd在文件里写入如下代码
其中HOME为scrapyd运行的目录，如果没有需要新建。
BIN为scrapyd安装目录，可以通过whereis scrapyd来查看

#!/bin/bash
PORT=6800
HOME="/var/scrapyd"
BIN="/usr/local/bin/scrapyd"
 
pid=`netstat -lnopt | grep :$PORT | awk '/python/{gsub(//python/,"",$7);print $7;}'`
start() {
   if [ -n "$pid" ]; then
      echo "server already start,pid:$pid"
      return 0
   fi
 
   cd $HOME
   nohup $BIN >> $HOME/scrapyd.log 2>&1 &
   echo "start at port:$PORT"
}
 
stop() {
   if [ -z "$pid" ]; then
      echo "not find program on port:$PORT"
      return 0
   fi
 
   #结束程序，使用讯号2，如果不行可以尝试讯号9强制结束
   kill -9 $pid
   echo "kill program use signal 9,pid:$pid"
}
 
status() {
   if [ -z "$pid" ]; then
      echo "not find program on port:$PORT"
   else
      echo "program is running,pid:$pid"
   fi
}
 
case $1 in
   start)
      start
   ;;
   stop)
      stop
   ;;
   status)
      status
   ;;
   *)
      echo "Usage: {start|stop|status}"
   ;;
esac
 
exit 0

赋予该文件可执行权限
sudo chmod 755 /etc/init.d/scrapyd
通过ll可以看到scraypd文件有可执行权限


进行测试

开启服务：
service scrapyd start

查看状态：

service scrapyd status


关闭服务：
service scrapyd stop

参考文献：

https://www.jianshu.com/p/9db217b8a3de
http://www.javashuo.com/article/p-qczcgvcg-hg.html