尚硅谷-大数据项目之快餐数仓

课程是一套面向大数据开发与数据仓库建设者的 企业级数仓实战课程，以”快餐外卖”业务场景为驱动，围绕”数仓概念与架构—大数据基础组件部署—数据采集与同步—Hive数据仓库—数仓分层建模（ODS/DIM/DWD/DWS/ADS）—工作流调度—数据可视化”的完整学习路径，系统讲解 Hadoop 集群搭建与调优、Zookeeper 协调服务、Kafka 消息队列、Flume 日志采集、Maxwell 增量同步、DataX 数据迁移、Hive on Spark 数据仓库引擎等核心大数据组件的部署与实战应用。课程深入数仓建模方法论——ER 模型、维度模型、事务型/周期快照/累积快照事实表设计、维度表设计、规范化与反规范化、数据仓库分层架构与构建流程，并通过 ODS 层、DIM 维度层、DWD 明细层、DWS 汇总层、ADS 应用层的完整建模实践，实现交易统计、评价分析、活动减免 TopN 等真实业务指标开发。最终结合 DolphinScheduler 工作流调度与 FineBI 数据可视化，帮助学员掌握从数据采集、存储、计算到可视化展示的完整数仓建设能力。
核心学习内容
1. 数仓基础与项目规划
课程从数仓概念、数仓架构、技术选型入手，结合快餐外卖业务场景进行系统数据流程设计与项目需求分析。讲解服务器选型、集群规模规划、资源规划设计，完成虚拟机安装、SSH 免密配置、脚本分发等基础环境搭建，为后续大数据组件部署做好准备。
2. 大数据基础组件部署与实战
课程系统讲解 Hadoop 集群安装、启动脚本编写、存储多目录配置、数据均衡与参数调优等项目经验；Zookeeper 集群部署、启动脚本与常用客户端指令；Kafka 安装、Topic 管理、生产者与消费者操作；Flume 安装与项目实战。帮助学员掌握大数据生态核心组件的集群化部署与运维能力。
3. 数据采集与同步方案
课程深入讲解 Maxwell 原理与安装配置（基于 Binlog 的 MySQL 增量数据采集）、同步策略选择与工具对比。DataX 部分覆盖架构原理、安装、任务提交、配置文件格式、tableMode/querysql 模式数据同步、HDFS 到 MySQL 反向同步、传参优化、速度与内存调优、配置文件自动生成等完整能力。同时讲解全量表与增量数据的 Flume 配置、拦截器设计与增量同步时间处理等实战问题。
4. Hive 数据仓库引擎搭建
课程讲解 Hive 安装与中文乱码问题解决、Hive 引擎选择与 Hive on Spark 搭建、ApplicationMaster 资源比例调整、DataGrip 开发工具使用等。通过模拟数据生成与 Hive 常见问题排查，帮助学员建立稳定可靠的 Hive 数据仓库运行环境。
5. 数仓建模方法论
课程系统讲解数仓建模核心理论：数据仓库分层架构（ODS/DIM/DWD/DWS/ADS）、数仓构建流程（数据调研→明确数据域→构建业务总线矩阵→明确统计指标→维度模型和汇总模型设计）、ER 模型与维度模型对比、事务型事实表/周期型快照事实表/累积型快照事实表的设计与适用场景、维度表设计、规范化与反规范化策略、维度变化处理、多值维度和多值属性等，为后续分层建模奠定坚实的理论基础。
6. ODS 层与 DIM 维度层开发
课程讲解 ODS 层设计要点，完成全量数据建表与 Hive 复杂数据类型处理、JSON 数据建表、增量表字段异常问题排查，编写 ODS 层数据加载脚本。DIM 层覆盖顾客维度表、菜品维度表、套餐维度表、优惠活动维度表、行政区划维度表、店铺维度表等首日与每日数据加载脚本开发，构建完整的静态与缓慢变化维管理能力。
7. DWD 明细层与 DWS 汇总层建模
DWD 层部分讲解设计要点，完成下单事务型事实表、支付成功事实表、退单事实表、退款成功事实表、评价事实表等核心业务事实表的建表与首日/每日数据加载脚本开发。DWS 层涵盖交易域（店铺粒度、营销活动粒度、菜品规格粒度、套餐粒度）和互动域（菜品粒度、套餐粒度、店铺粒度）的最近 1 日与最近 N 日汇总表设计，以及 DWS 首日与每日数据加载脚本、ND 数据加载脚本的完整实现。
8. ADS 应用层开发与业务指标实现
课程进入应用层开发，实现各店铺/经营模式/省份/城市/时段交易统计、订单减免统计、优惠分摊统计、营销活动优惠统计、菜品/套餐/菜品分类交易统计、菜品交易分时统计、套餐交易分时统计、活动减免 Top10、评价统计等丰富业务指标。同时完成 ADS 层数据加载脚本、建库建表、HDFS 数据导入 MySQL 案例演示及 ADS 数据同步脚本开发。
9. 工作流调度与数据可视化
课程讲解 DolphinScheduler 分布式工作流任务调度平台——部署模式、安装配置、安全中心配置、工作流定义与执行、定时调度、局部/全局/传递/内置参数、引用依赖资源、工作流告警、重跑与恢复失败等高级功能，实现数仓ETL流程的自动化调度。最后通过 FineBI 安装、数据源配置、启动脚本编写与数据可视化看板搭建，将数仓成果以可视化形式呈现，形成从数据采集到可视化的完整闭环。
课程亮点
真实业务场景驱动：以快餐外卖业务为载体，涵盖交易、评价、活动等多域数据分析，贴近企业真实数仓需求。
大数据组件全覆盖：Hadoop、Zookeeper、Kafka、Flume、Maxwell、DataX、Hive 等核心组件集群化部署与实战。
数仓建模体系完整：从 ER 模型到维度模型，从事实表设计到维度表设计，从规范化到反规范化，理论+实战双轮驱动。
五层架构落地实践：ODS→DIM→DWD→DWS→ADS 完整分层建模，首日与每日数据加载脚本全覆盖。
工程化能力突出：集群批量命令脚本、环境变量配置、参数调优、增量同步策略等项目级实践经验。
调度与可视化闭环：DolphinScheduler 工作流自动化调度 + FineBI 数据可视化，实现数仓成果业务化呈现。
配套资源丰富：提供完整代码、课程笔记与资料包，方便课后复习与项目复现。

课程目录：
快餐数仓
| 代码.zip
| 笔记.zip
| 资料.zip
|
\—视频
01-课程内容介绍与数仓概念.mp4
02-数据仓库架构.mp4
03-技术选型.mp4
04-系统数据流程设计.mp4
05-项目需求分析.mp4
06-服务器选型.mp4
07-集群规模.mp4
08-资源规划设计.mp4
09-安装虚拟机.mp4
10-ssh免密.mp4
100-dim层每日数据加载脚本.mp4
101-dwd层设计要点.mp4
102-下单事务型事实表建表.mp4
103-下单事实表首日数据加载.mp4
104-下单事实表每日数据加载.mp4
105-支付成功事实表首日数据加载.mp4
106-支付成功事实表每日数据加载.mp4
107-退单事实表首日数据加载.mp4
108-退单事实表每日数据加载.mp4
109-退款成功事实表首日数据加载.mp4
11-分发脚本.mp4
110-退款成功每日数据加载.mp4
111-评价事实表首日数据加载.mp4
112-评价事实表每日数据加载.mp4
113-dwd首日数据加载脚本.mp4
114-dwd每日数据加载脚本.mp4
115-dws设计要点.mp4
116-交易域店铺粒度用户下单最近 1 日汇总表.mp4
117-交易域店铺粒度用户支付成功最近 1 日汇总表.mp4
118-交易域店铺粒度退款成功最近 1 日汇总表.mp4
119-交易域营销活动粒度用户下单最近 1 日汇总表.mp4
12-安装jdk.mp4
120-交易域菜品规格粒度用户下单最近 1 日汇总表.mp4
121-交易域套餐粒度用户下单最近 1 日汇总表.mp4
122-互动域菜品粒度用户评价最近 1 日汇总表.mp4
123-互动域套餐粒度用户评价最近 1 日汇总表.mp4
124-互动域店铺粒度用户评价最近 1 日汇总表.mp4
125-dws 1d表首日数据加载脚本.mp4
126-dws 1d表每日数据加载脚本.mp4
127-交易域店铺粒度用户下单最近 n 日汇总表.mp4
128-交易域店铺粒度用户支付成功最近 n 日汇总表.mp4
129-交易域店铺粒度退款成功最近 n 日汇总表.mp4
13-环境变量配置说明.mp4
130-交易域营销活动粒度用户下单最近 n 日汇总表.mp4
131-交易域菜品规格粒度用户下单最近 n 日汇总表.mp4
132-易域套餐粒度用户下单最近 n 日汇总表.mp4
133-互动域菜品粒度用户评价最近 n 日汇总表.mp4
134-互动域套餐粒度用户评价最近 n 日汇总表.mp4
135-互动域店铺粒度用户评价最近 n 日汇总表.mp4
136-dws nd数据加载脚本.mp4
137-各店铺交易统计.mp4
138-各经营模式交易统计.mp4
139-各省份交易统计.mp4
14-餐饮业务简介.mp4
140-各城市交易统计.mp4
141-各时段交易统计.mp4
142-订单减免统计.mp4
143-各店铺订单减免统计.mp4
144-优惠分摊统计.mp4
145-营销活动优惠统计.mp4
146-菜品规格交易统计.mp4
147-菜品交易统计.mp4
148-菜品分类交易统计.mp4
149-菜品交易分时统计.mp4
15-餐饮系统表结构说明.mp4
150-套餐交易统计.mp4
151-套餐交易分时统计.mp4
152-最近 1 日菜品规格活动减免（下单）金额Top10.mp4
153-最近 1 日菜品规格活动参与订单数Top10.mp4
154-最近 1 日店铺活动减免（下单）金额Top10.mp4
155-最近 1 日店铺活动参与订单数Top10.mp4
156-最近 1 日店铺下单金额Top10.mp4
157-最近 1 日加盟店与直营店下单金额Top10.mp4
158-菜品评价统计.mp4
159-套餐评价统计.mp4
16-安装mysql以及模拟生成数据.mp4
160-店铺评价统计.mp4
161-ads数据加载脚本.mp4
162-建库建表.mp4
163-hdfs数据导入mysql案例演示.mp4
164-ads数据同步脚本.mp4
165-dolphinscheduler简介.mp4
166-部署模式.mp4
167-dolphinscheduler安装.mp4
168-安全中心配置.mp4
169-工作流的定义与执行.mp4
17-模拟生成数据脚本.mp4
170-定时调度执行.mp4
171-局部参数.mp4
172-全局参数.mp4
173-传递参数.mp4
174-参数优先级.mp4
175-内置参数.mp4
176-引用依赖资源.mp4
177-工作流告警.mp4
178-重跑和恢复失败.mp4
179-生成新数据.mp4
18-建模工具使用.mp4
180-数仓工作流调度.mp4
181-finebi安装与数据源的配置.mp4
182-finebi启动脚本.mp4
183-finebi数据可视化.mp4
184-数仓总结.mp4
19-集群批量命令执行脚本.mp4
20-安装hadoop.mp4
21-hadoop启动脚本.mp4
22-hadoop项目经验之存储多目录.mp4
23-hadoop项目经验之数据均衡.mp4
24-hadoop项目经验之参数调优.mp4
25-安装zookeeper.mp4
26-zk启动脚本.mp4
27-zk客户端常用指令.mp4
28-安装kafka.mp4
29-kafka启动脚本.mp4
30-kafka常用指令之topic相关.mp4
31-kafka常用指令之生产者和消费者相关.mp4
32-flume安装和项目经验.mp4
33-maxwell简介.mp4
34-maxwell原理.mp4
35-安装maxwell.mp4
36-maxwell启动脚本.mp4
37-maxwell使用.mp4
38-同步策略介绍与选择.mp4
39-同步工具介绍.mp4
40-datax简介.mp4
41-datax架构原理.mp4
42-datax安装.mp4
43-datax任务提交和配置文件格式说明.mp4
44-同步mysql数据到hdfs案例之tableMode模式.mp4
45-同步mysql数据到hdfs案例之querysql模式.mp4
46-同步hdfs数据到mysql案例.mp4
47-datax传参.mp4
48-datax优化之速度控制.mp4
49-datax优化之内存调整.mp4
50-datax配置文件生成.mp4
51-全量表数据同步脚本.mp4
52-增量数据flume配置.mp4
53-增量数据拦截器与采集.mp4
54-增量同步时间问题.mp4
55-增量首日同步脚本.mp4
56-增量数据flume启动脚本.mp4
57-安装hive.mp4
58-hive中文乱码问题.mp4
59-快餐数仓项目简介.mp4
60-数仓的概念.mp4
61-数仓架构.mp4
62-数仓建模的意义.mp4
63-ER模型.mp4
64-维度模型.mp4
65-事务型事实表设计与不足.mp4
66-周期型快照事实表.mp4
67-累积型快照事实表.mp4
68-维度表设计.mp4
69-规范化和反规范化.mp4
70-维度变化.mp4
71-多值维度和多值属性.mp4
72-数据仓库的分层.mp4
73-数仓的构建流程.mp4
74-数据调研.mp4
75-明确数据域.mp4
76-构建业务总线矩阵.mp4
77-明确统计指标.mp4
78-维度模型和汇总模型设计.mp4
79-hive引擎介绍和兼容性说明.mp4
80-hive on spark搭建.mp4
81-ApplicationMaster资源比例调整.mp4
82-datagrip工具使用.mp4
83-模拟生成数据.mp4
84-hive常用问题.mp4
85-ods层设计要点.mp4
86-ods全量数据建表演示.mp4
87-hive复杂数据类型回顾.mp4
88-json数据建表示范.mp4
89-ods层增量表字段显示异常问题.mp4
90-ods层数据加载脚本.mp4
91-dim层设计要点.mp4
92-顾客维度表首日数据加载.mp4
93-顾客维度表每日数据加载.mp4
94-菜品维度表数据加载.mp4
95-套餐维度表数据加载.mp4
96-优惠活动维度表数据加载.mp4
97-行政区划维度表数据加载.mp4
98-店铺维度表数据加载.mp4
99-dim层首日数据加载脚本.mp4

下载地址：

感谢您的来访，获取更多精彩文章请收藏本站。