本课程立足于真实工业界产品需求，采用“理论体系+核心算法+底层存储+全链路实战”的四维进阶架构，带你彻底打通海量数据处理与高并发查询的技术壁垒。课程以完整的DMP（Data Management Platform）项目为载体，深度融合了Spark大数据计算、Elasticsearch全文检索与ClickHouse高性能列式数据库，让你不仅能写出优雅的代码，更能掌握企业级高可用系统的设计哲学。
课程深度覆盖了互联网大厂对DMP系统的核心技术栈与痛点解决方案：首先，你将掌握基于Docker的一键式大数据环境部署，以及SpringBoot无缝整合Hive、HBase、ES与ClickHouse的微服务后端开发规范。其次，深入特征工程腹地，利用Spark实现中文分词、TF-IDF情感提取、FM特征交叉及XGBoost特征筛选等高级算法；接着，探究标签体系的构建奥秘，引入时间衰减因子与权重算法，并通过ES构建HBase二级索引优化组合查询。在群体画像与DMP人群管理模块，课程将全面剖析RFM模型、KMeans聚类与Lookalike算法，并重点攻克千亿级数据的秒级响应难题——通过ClickHouse的Bitmap数据结构与RoaringBitmap压缩算法，实现超大规模人群的极速圈选与交并集计算。这是一套横跨“数仓建设、机器学习、OLAP引擎与微服务架构”的硬核课程，涵盖了从明细数据采集到人群包输出的全生命周期闭环。
课程目录：
ClickHouse 构建DMP用户画像
+—第1章 DMP用户画像项目介绍
| 1-1 关于这门课，你需要知道的.mp4
| 1-2 DMP项目的意义和课程的侧重点.mp4
| 1-3 DMP项目架构及各个模块介绍.mp4
| 1-4 项目技术选型及各组件版本.mp4
| 1-5 【知识点梳理】本章重难点总结_.jpg
|
+—第2章 项目环境搭建
| 2-1 本章重点及学习计划.mp4
| 2-10 Springboot整合ClickHouse（下）.mp4
| 2-11 Spark+phoenix整合Hbase.mp4
| 2-12 【项目文档】本章重难点–环境部署步骤_.jpg
| 2-13 【项目文档】本章重难点–表结构和数据导入步骤_.jpg
| 2-14 【项目文档】Hive，ES，ClickHouse导入人群标签数据步骤_.jpg
| 2-15 【项目文档】Hive、Hbase、ES、clickhouse表结构_.jpg
| 2-2 基于docker一键部署大数据开发环境.mp4
| 2-3 环境搭建的常见问题及解决方案.mp4
| 2-4 数据准备：表结构和数据导入Hive数仓.mp4
| 2-5 数据准备：Hive数仓和Hbase同步标签数据.mp4
| 2-6 Springboot+JdbcTemplate+druid整合Hive（上）.mp4
| 2-7 Springboot+JdbcTemplate+druid整合Hive（下）.mp4
| 2-8 Springboot+Mybatis+phoenix整合Hbase.mp4
| 2-9 Springboot整合ClickHouse（上）.mp4
|
+—第3章 DMP和用户画像
| 3-1 本章重点及学习计划.mp4
| 3-2 用户画像是如何生成的.mp4
| 3-3 用户画像的标签维度.mp4
| 3-4 如何构建高质量的用户画像.mp4
| 3-5 用户画像和特征工程.mp4
| 3-6 DMP用户画像的正确使用场景.mp4
| 3-7 【知识点梳理】本章重难点总结_.jpg
|
+—第4章 用户画像搭建之特征工程
| 4-1 本章重点及学习计划.mp4
| 4-10 基于FM的特征交叉.mp4
| 4-11 Spark实现基于FM的特征交叉.mp4
| 4-12 特征筛选之GBDT和xgboost.mp4
| 4-13 Spark实现基于Xgboost的特征筛选（上）.mp4
| 4-14 Spark实现基于Xgboost的特征筛选（下）.mp4
| 4-15 特征监控方案设计.mp4
| 4-16 【知识点梳理】本章重难点总结_.jpg
| 4-2 特征工程流程.mp4
| 4-3 数值型数据的特征提取.mp4
| 4-4 文本型数据的特征提取.mp4
| 4-5 使用Spark实现中文分词+TF-IDF.mp4
| 4-6 Spark基于TF-IDF+SVM实现电商商品评论情感提取（上）.mp4
| 4-7 Spark基于TF-IDF+SVM实现电商商品评论情感提取（下）.mp4
| 4-8 类别型和时间型数据的特征提取.mp4
| 4-9 构建新特征之特征交叉.mp4
|
+—第5章 用户画像搭建之标签体系构建
| 5-1 本章重点及学习计划.mp4
| 5-10 商品标签与用户画像标签的匹配度.mp4
| 5-11 【知识点梳理】本章重难点总结_.jpg
| 5-2 电商行业的标签体系以及reachCTR曲线.mp4
| 5-3 用户行为标签的ES存储.mp4
| 5-4 基于TF-IDF的标签权重算法（上）.mp4
| 5-5 基于TF-IDF的标签权重算法（中）.mp4
| 5-6 基于TF-IDF的标签权重算法（下）.mp4
| 5-7 时间衰减因子和用户偏好标签的计算（上）.mp4
| 5-8 时间衰减因子和用户偏好标签的计算（下）.mp4
| 5-9 ES构建Hbase二级索引对标签进行组合查询.mp4
|
+—第6章 用户画像搭建之群体用户画像构建
| 6-1 本章重点及学习计划.mp4
| 6-10 通过订单数据挖掘用户的的行为属性及Spark代码（下）.mp4
| 6-11 DMP的用户分群.mp4
| 6-12 【知识点梳理】本章重难点总结.jpg
| 6-2 朴素贝叶斯分类算法.mp4
| 6-3 使用Spark-ml实现基于朴素贝叶斯预测性别（上）.mp4
| 6-4 使用Spark-ml实现基于朴素贝叶斯预测性别（中）.mp4
| 6-5 使用Spark-ml实现基于朴素贝叶斯预测性别（下）.mp4
| 6-6 基于RFM模型的用户价值划分及Spark代码（上）.mp4
| 6-7 基于RFM模型的用户价值划分及Spark代码（下）.mp4
| 6-8 使用Spark-ml实现基于Kmeans的用户消费分群.mp4
| 6-9 通过订单数据挖掘用户的的行为属性及Spark代码（上）.mp4
|
+—第7章 用户画像搭建之DMP人群管理
| 7-1 本章重点及学习计划.mp4
| 7-10 将Hive数据转换为ClickHouse的Bitmap.mp4
| 7-11 基于Bitmap的ClickHouse人群圈选.mp4
| 7-12 本章知识点梳理.jpg
| 7-2 DMP的标签管理.mp4
| 7-3 DMP生成人群包数据.mp4
| 7-4 人群组合和人群去重.mp4
| 7-5 lookalike的主要算法.mp4
| 7-6 ClickHouse和ES在人群圈选上的对比.mp4
| 7-7 ClickHouse集成Bitmap.mp4
| 7-8 基于宽表的ClickHouse人群圈选.mp4
| 7-9 将Hive数据导入到ClickHouse.mp4
|
+—第8章 项目展示及版本升级解决方案
| 8-1 项目完整演示（上）.mp4
| 8-2 项目完整演示（下）.mp4
| 8-3 版本升级解决方案.mp4
| 8-4 课程总结.mp4
|
\—资料
dmp_personas_system.zip
下载地址：
感谢您的来访，获取更多精彩文章请收藏本站。
