栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

64 任务调度神器 Airflow

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

64 任务调度神器 Airflow

        Airflow是Apache下孵化项目,是纯Python编写的一款非常优雅的开源调度平台。Airflow使用DAG(有向无环图)来定义工作流,配置作业以来关系非常方便,毫不夸张的说:再开源的调度工具中,Airflow是首屈一指。

        Airflow简介

        Airflow具备以下天然优势:

1 . 灵活易用。 Airflow本身是Python编写的,且工作流的定义也是Python编写,有了Python胶水的特性,没有什么任务是调度不了的,有了开源的代码,没有什么问题是无法解决的,我们可以修改源代码来满足个性化的需求,而且代码都是--human-readable 。

2. 功能强大。自带的Operators都有15+ , 也就是说本身已经支持15+不同类型的作业,而且还可以自定义Operators,如shell脚本、Python、Mysql、Oracle、Hive等。无论是传统数据库平台还是大数据平台,统统不在话下,若对官方提供的不满足,则完全可以自己编写Operators.

3. 优雅。作业的定义简单明了,基于JinJa模板引擎很容易做到脚本命令参数化,Web页面更是非常--human-readable。

4. 极易扩展。提供各种基类供扩展,以及多种执行器供选择,其中CeleryExcutor使用了消息队列来编排多个工作节点(worker),可分布式部署多个worker,Airflow可以做到无限扩展。

5. 丰富的命令工具。 可以直接在终端敲命令完成测

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/444607.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号