马士兵-AirFlow分布式任务调度框架

课程是一套面向大数据与数据工程场景的Apache Airflow 任务调度实战课程，围绕“原理认知—单机入门—DAG开发—Operator实战—分布式集群—高可用测试”的学习路径，系统讲解 Airflow 的架构角色、任务调度机制、DAG 依赖配置、常用 Operator 使用方式，以及分布式集群搭建与 Scheduler HA 高可用测试，帮助学员从零基础掌握 Airflow 工作流调度能力，能够独立完成生产级任务调度环境部署与数据流程编排。
核心学习内容
1. Airflow 架构原理与基础认知
课程首先介绍 Airflow 作为任务流调度工具的定位，讲解其核心架构角色、关键术语和任务调度原理，帮助学员建立对 DAG、Task、Scheduler、Webserver、Worker、Executor 等核心概念的完整理解。
2. Airflow 单机环境搭建与 WebUI 使用
从 Anaconda 与 Python 3.7 环境安装开始，逐步完成 Airflow 单节点安装、配置初始化、管理员用户创建与服务启动，并结合 WebUI 界面熟悉 DAG 管理、任务运行状态查看、日志排查等日常运维操作。
3. DAG 依赖、调度策略与参数配置
课程深入讲解 DAG 的三种定义方式、Task 创建与依赖关系设置，覆盖手动调度、自动调度、DAG 删除、调度触发时间、Catchup 参数、调度周期设置以及任务依赖控制，帮助学员掌握复杂工作流的编排方法。
4. Operator 实战与多场景任务调度
围绕 Airflow 常用 Operator 展开案例教学，包括 BaseOperator 参数、BashOperator 执行 Shell 命令与脚本、PythonOperator 执行 Python 任务、SSHOperator 远程执行脚本、HiveOperator 调度 Hive 任务，以及任务失败邮件告警配置，贴近真实数据开发、ETL 调度与自动化运维场景。
5. Airflow 分布式集群与高可用测试
课程进一步讲解 Airflow 分布式集群原理，完成多节点环境准备、集群搭建、配置文件调整、Scheduler HA 高可用配置、集群启动与 HA 故障切换测试，帮助学员理解生产环境中如何通过多节点部署提升任务调度稳定性与扩展能力。
课程亮点
从单机到集群，路径完整：先掌握单节点部署与 DAG 开发，再进入分布式集群与高可用测试，学习梯度清晰。
强调实战 Operator 场景：覆盖 Shell、Python、SSH、Hive 等常用任务类型，适合数据开发、ETL 调度、自动化脚本管理等场景。
贴近生产调度需求：讲解调度周期、Catchup、任务依赖、邮件告警、Scheduler HA 等内容，帮助学员理解生产环境关键配置。
适合大数据工程落地：可作为数据仓库调度、ETL 流程编排、批处理任务管理、多节点任务分发等场景的入门与进阶课程。

课程目录：
AirFlow分布式
+—1-第一章-Airflow架构原理及术语
| 1-01-Airflow任务流调度工具-什么是Airflow.mp4
| 2-02-Airflow任务流调度工具-Airflow架构角色及作用.mp4
| 3-03-Airflow任务流调度工具-Airflow术语.mp4
| 4-04-Airflow任务流调度工具-任务调度原理.mp4
|
+—2-第二章-Airflow单机搭建及启动
| 1-05-Airflow任务流调度工具-Anconda及python3.7环境安装.mp4
| 2-06-Airflow任务流调度工具-Airflow单节点安装.mp4
| 3-07-Airflow任务流调度工具-Airflow配置及配置用户.mp4
| 4-08-Airflow任务流调度工具-Airflow启动.mp4
| 5-09-Airflow任务流调度工具-Airflowwebui介绍.mp4
|
+—3-第三章-AirflowWebUI及DAG依赖参数设置
| 1-10-Airflow任务流调度工具-Airflow使用.mp4
| 2-11-Airflow任务流调度工具-AirflowDAG定义三种方式.mp4
| 3-12-Airflow任务流调度工具-Airflowtask创建及指定task依赖关系.mp4
| 4-13-Airflow任务流调度工具-Airflow手动、自动调度DAG、删除DAG.mp4
| 5-14-Airflow任务流调度工具-Airflow调度触发时间.mp4
| 6-15-Airflow任务流调度工具-AirflowDAGCatchup参数.mp4
| 7-16-Airflow任务流调度工具-DAG调度周期三种设置方式.mp4
| 8-17-Airflow任务流调度工具-Airflow任务依赖设置.mp4
|
+—4-第四章-AirflowOperator及案例实战
| 1-18-Airflow任务流调度工具-AirflowBaseOperator参数.mp4
| 10-27-Airflow任务流调度工具-PythonOperator配置及执行案例.mp4
| 2-19-Airflow任务流调度工具-AirflowBashOperator执行shell命令.mp4
| 3-20-Airflow任务流调度工具-Airflow发送邮件配置.mp4
| 4-21-Airflow任务流调度工具-BashOperator执行shell命令测试.mp4
| 5-22-Airflow任务流调度工具-BashOperator执行shell脚本.mp4
| 6-23-Airflow任务流调度工具-SSHOperator参数及依赖安装配置.mp4
| 7-24-Airflow任务流调度工具-SSHOpeator远程执行脚本案例.mp4
| 8-25-Airflow任务流调度工具-HiveOperator使用环境准备.mp4
| 9-26-Airflow任务流调度工具-HiveOperatorDAG执行案例.mp4
|
\—5-第五章-Airflow分布式集群原理、搭建及HA测试
1-28-Airflow任务流调度工具-Airflow分布式集群知识扩展.mp4
2-29-Airflow任务流调度工具-Airflow集群搭建环境准备.mp4
3-30-Airflow任务流调度工具-Airflow分布式集群搭建.mp4
4-31-Airflow任务流调度工具-Airflow集群配置及SchedulerHA配置.mp4
5-32-Airflow任务流调度工具-Airflow集群启动.mp4
6-33-Airflow任务流调度工具-Airflow集群HA测试.mp4

下载地址：

感谢您的来访，获取更多精彩文章请收藏本站。