栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 其他

Airflow2常用命令

其他 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Airflow2常用命令

帮助手册中的命令行见这里

1、启动服务

airflow webserver -p 80 -D  //启动网站
airflow scheduler -D    //启动守护进程运行调度
airflow celery worker -D   //启动celery worker
airflow celery flower -D   //启动flower

使用Celery扩大规模

CeleryExecutor是您扩展worker数量的方法之一。为此,您需要设置Celery后端(RabbitMQ,Redis,…)并更改airflow.cfg以将执行程序参数指向CeleryExecutor并提供相关的Celery设置。

您的worker一旦启动就应该开始接收任务。

请注意,您还可以运行“Celery Flower”,这是一个建立在Celery之上的Web UI,用于监控您的worker。 您可以使用快捷命令airflow flower启动Flower Web服务器。

如果没有装celery分布式计算,后面两个不用执行

2、关闭服务

查了半天,没有关闭的命令???!!!

ps -ef |grep airflow
//找到对应的进程(webserver,schedule),然后kill

这个方法不好,网上有关闭pid的,关docker的,官方为什么没有关闭重启的命令??

3、查看

# 打印出所有 DAGs
airflow dags list

# 命令样式: command subcommand dag_id task_id date
# 测试 print_date
airflow test tutorial print_date 2015-06-01
# 测试 sleep
airflow test tutorial sleep 2015-06-01

airflow test命令在本地运行任务实例时,会将其日志输出到 stdout(在屏幕上),不会受依赖项影响,并且不向数据库传达状态(运行,成功,失败,…)。它只允许测试单个任务实例。

4、运行任务

airflow run dag_id task_id //运行task
airflow list_tasks dag_id //列出DAG中任务
airflow pause dag_id  //暂停任务
airflow unpause dag_id //取消暂停,等同于在管理界面打开off按钮

补充点概念

DAG:描述工作应该发生的顺序
操作器:作为执行某些工作的模板的类
任务:操作器参数化实例
任务实例:1)已分配给DAG的任务,2)具有与DAG的特定运行相关联的状态
通过组合DAGs和Operators来创建TaskInstances,您可以构建复杂的工作流

5、命令行

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/279234.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号