栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 系统运维 > 运维 > Linux

Airflow Docker安装

Linux 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Airflow Docker安装

相信很多data工程师都或多或少接触过Airflow,airflow是apache基金会的开源项目,能白嫖为啥不用是吧!!

官网:https://airflow.apache.org/

目的:很多小伙伴在airflow安装的时候遇到了pip的一些问题,很烦是吧,所以废话不多说,docker安装,直接撸他

环境介绍:Centos 7.5

Airflow官网教程在这里
https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html
1、首先你得安装了docker,并且启动
普通用户记得用sudo,我这里直接用root权限
安装:

yum install -y docker

启动:

systemctl start docker

检查:

systemctl status docker

2、安装docker-compose
官方教程:https://docs.docker.com/compose/install/
官网这里是采用的docker-compose容器编排,拆分了好几个容器,具体的可以往下看
从github拉取docker-compose文件,直接在服务器执行即可:

sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

给文件加可执行文件:

sudo chmod +x /usr/local/bin/docker-compose

能输出版本信息应该就安装成功了:

docker-compose --version

3、现在开始安装Airflow
创建属于airflow的目录:

mkdir airflow
cd airflow

进入此目录,执行下面命令:
这个命令的作用只是获取yaml文档,需要改两个地方

curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.2.5/docker-compose.yaml'
vim docker-compose.yaml

把这两个参数改成下面下个,选择postgres的latest版本,privileged=true就是提升权限

image: postgres:latest
privileged: true


在这里你用docker-compose config -q是会一个警告的,为了不报这个警告官网也推荐了以下这个方式,

mkdir -p ./dags ./logs ./plugins
echo -e "AIRFLOW_UID=$(id -u)" > .env

直接执行即可,可以查看到.env(.env是隐藏文件)的内容是有AIRFLOW_UID=0

初始化:

docker-compose up airflow-init

docker-compose后台启动airflow:

docker-compose -f docker-compose.yaml up -d

默认是8080端口(注意不要和Tomcat冲突了),浏览器访问
IP:8080

默认账号:airflow
默认密码:airflow
别忘了点赞
别忘了点赞
别忘了点赞
谢谢

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/828003.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号