帮助手册中的命令行见这里
1、启动服务
airflow webserver -p 80 -D //启动网站 airflow scheduler -D //启动守护进程运行调度 airflow celery worker -D //启动celery worker airflow celery flower -D //启动flower
使用Celery扩大规模
CeleryExecutor是您扩展worker数量的方法之一。为此,您需要设置Celery后端(RabbitMQ,Redis,…)并更改airflow.cfg以将执行程序参数指向CeleryExecutor并提供相关的Celery设置。
您的worker一旦启动就应该开始接收任务。
请注意,您还可以运行“Celery Flower”,这是一个建立在Celery之上的Web UI,用于监控您的worker。 您可以使用快捷命令airflow flower启动Flower Web服务器。
如果没有装celery分布式计算,后面两个不用执行
2、关闭服务
查了半天,没有关闭的命令???!!!
ps -ef |grep airflow //找到对应的进程(webserver,schedule),然后kill
这个方法不好,网上有关闭pid的,关docker的,官方为什么没有关闭重启的命令??
3、查看
# 打印出所有 DAGs airflow dags list # 命令样式: command subcommand dag_id task_id date # 测试 print_date airflow test tutorial print_date 2015-06-01 # 测试 sleep airflow test tutorial sleep 2015-06-01
airflow test命令在本地运行任务实例时,会将其日志输出到 stdout(在屏幕上),不会受依赖项影响,并且不向数据库传达状态(运行,成功,失败,…)。它只允许测试单个任务实例。
4、运行任务
airflow run dag_id task_id //运行task airflow list_tasks dag_id //列出DAG中任务 airflow pause dag_id //暂停任务 airflow unpause dag_id //取消暂停,等同于在管理界面打开off按钮
补充点概念
DAG:描述工作应该发生的顺序
操作器:作为执行某些工作的模板的类
任务:操作器参数化实例
任务实例:1)已分配给DAG的任务,2)具有与DAG的特定运行相关联的状态
通过组合DAGs和Operators来创建TaskInstances,您可以构建复杂的工作流
5、命令行



