相信很多data工程师都或多或少接触过Airflow,airflow是apache基金会的开源项目,能白嫖为啥不用是吧!!
官网:https://airflow.apache.org/
目的:很多小伙伴在airflow安装的时候遇到了pip的一些问题,很烦是吧,所以废话不多说,docker安装,直接撸他
环境介绍:Centos 7.5
Airflow官网教程在这里
https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html
1、首先你得安装了docker,并且启动
普通用户记得用sudo,我这里直接用root权限
安装:
yum install -y docker
启动:
systemctl start docker
检查:
systemctl status docker
2、安装docker-compose
官方教程:https://docs.docker.com/compose/install/
官网这里是采用的docker-compose容器编排,拆分了好几个容器,具体的可以往下看
从github拉取docker-compose文件,直接在服务器执行即可:
sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
给文件加可执行文件:
sudo chmod +x /usr/local/bin/docker-compose
能输出版本信息应该就安装成功了:
docker-compose --version
3、现在开始安装Airflow
创建属于airflow的目录:
mkdir airflow cd airflow
进入此目录,执行下面命令:
这个命令的作用只是获取yaml文档,需要改两个地方
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.2.5/docker-compose.yaml'
vim docker-compose.yaml
把这两个参数改成下面下个,选择postgres的latest版本,privileged=true就是提升权限
image: postgres:latest privileged: true
在这里你用docker-compose config -q是会一个警告的,为了不报这个警告官网也推荐了以下这个方式,
mkdir -p ./dags ./logs ./plugins echo -e "AIRFLOW_UID=$(id -u)" > .env
直接执行即可,可以查看到.env(.env是隐藏文件)的内容是有AIRFLOW_UID=0
初始化:
docker-compose up airflow-init
docker-compose后台启动airflow:
docker-compose -f docker-compose.yaml up -d
默认是8080端口(注意不要和Tomcat冲突了),浏览器访问
IP:8080
默认账号:airflow
默认密码:airflow
别忘了点赞
别忘了点赞
别忘了点赞
谢谢



