栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 系统运维 > 运维 > Linux

docker部署scrapy项目

Linux 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

docker部署scrapy项目

将scrapy爬虫或者分布式爬虫通过docker发布到docker hub 上
1.准备工作,本机有docker
2.在项目的根目录下创建 requirements.txt 和Dockerfile 文件(Dockerfile文件没有后缀名)
3.在requirements.txt 列出项目需要的第三方库+版本 ,也可以不加版本:
Scrapy>=1.8.0
scrapy-redis>=0.7.1
pymongo>=3.12.1

4.在Dockerfile文件中:
FROM python:3.8 #自己Python版本
ENV PATH /usr/local/bin:$PATH
ADD . /code
WORKDIR /code
RUN pip install -r requirements.txt
CMD scrapy crawl qsbk_spider # qsbk_spider 这个名字随意
5. sudo docker build -t qsbk_spider:latest . 构建镜像,加latest 按指定版本下载,否则,下最新版本,注意后面有个点,qsbk_spider这是爬虫名
6. sudo docker images
7. sudo docker run ef9f4fa69b0f
8. sudo docker rmi -f d237c372d252 强制删除
9. sudo docker rmi d237c372d252 普通删除
10. docker ps // 查看所有正在运行容器
docker stop containerId // containerId 是容器的ID
docker ps -a // 查看所有容器
docker ps -a -q // 查看所有容器ID
docker start $(docker ps -a -q) // start启动所有停止的容器
docker stop $(docker ps -a -q) // stop停止所有容器
docker rm $(docker ps -a -q) // remove删除所有容器
docker kill 容器id/容器名字
查看自己主机外网IP:sudo apt-get install curl curl ifconfig.me 即可查看

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/641942.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号