从写第一条 SQL
到做出能写进简历的数仓项目
教程分成知识点和项目两部分。知识点线先用小玩具表把 Linux、SQL、数仓、Hive/Spark 打牢,再按目标选学实时、OLAP、容器化与平台数据服务;项目线独立推进,从空目录、数据下载和第一条校验开始,手把手做出四层数仓。
继续学习
进度保存在本机浏览器,换设备不会同步。
当前计划:全部知识点。切换计划只改变标记和统计口径,不会删除已勾选进度。
阶段进度
已完成 0 / 9知识点模块
先地基,再 SQL、数仓与计算,最后求职。项目不在这条线里。
开始
先搞清楚数据开发是干什么的,再把环境、Linux、Git、Python 这些地基打好。
SQL 与数据库
数据开发最核心的硬功夫。从单表查询到建表增删改,再到窗口函数;语法用九张几十行的 demo 玩具表练,面试题在 LeetCode/牛客在线刷。真实数据留到项目实战。
数据仓库
知道数据为什么要分层、维度建模怎么做、指标口径怎么统一、数据质量怎么保证。
离线计算
Hadoop 生态、Spark 与 PySpark、Hive 数仓,离线数据开发的主战场。
实时计算
Kafka 消息队列与 Flink 流处理,理解实时数仓的数据流和核心机制。
OLAP 与湖仓
ClickHouse、Doris/StarRocks 与数据湖,理解分析型存储为什么快、该怎么选。
调度与工程
任务怎么按时跑、失败怎么补、重跑怎么保证幂等、SLA 怎么定,这是从会写 SQL 到能上线的一步。
平台与数据服务
云数据仓库、NoSQL、dbt 数据工程、用户画像、BI 服务与数据安全,补齐从“会算数”到“能交付系统”的知识面。
求职面试
简历、面试题库、投递与复盘,把学到的东西讲清楚。
附录
命令速查手册,学习和工作中随时回查。项目数据字典放在项目线里。
知识点进阶路径
每一步都知道为什么学、学完要能做什么。
Hadoop 与 Spark 基础 阶段 4
先理解 HDFS/YARN/MapReduce 的定位,再在本地用 Spark 和 PySpark 跑通第一个清洗任务。
Hive 与离线调优 阶段 5
在本地 Spark 的 Hive 兼容模式上写分区表、进阶 SQL,并处理 shuffle 与数据倾斜。
平台与数据服务(按目标选修) 阶段 7
补齐云数仓、NoSQL、dbt、画像、BI 与安全,按目标计划选择,不必全学。
这个站怎么用
每章的练习和验收都能打勾,进度存在本地,刷新不丢。
按 / 搜索章节和小节,离线也能用。
先自己做,再展开对答案,避免“看会了”。
纯静态页面,手机浏览器也能直接阅读。