模块 04
离线计算
Hadoop 生态、Spark 与 PySpark、Hive 数仓，离线数据开发的主战场。
- 理解 HDFS/YARN/MapReduce 的定位
- 写出 Hive 分区表、动态分区、lateral view
- 用 PySpark 完成清洗、聚合、写分区表
- 能回答 shuffle、数据倾斜、小文件等调优问题
本章节清单
按顺序学，章末任务全勾再进入下一章。
当前计划：
01Hadoop 生态HDFS、YARN、MapReduce 的定位与流程，理清大数据组件地图。02Spark 基础Spark 架构、RDD/DataFrame、惰性求值、DAG 与宽窄依赖。03PySpark 实战SparkSession、DataFrame API、Spark SQL，完成清洗与 GMV 对账。04Hive 基础Hive 架构、Metastore、DDL、内外部表，以及本地 Hive 模拟环境。05Hive 分区、分桶与存储分区表、动态分区、分区裁剪、分桶、Parquet/ORC 与小文件。06Hive SQL 进阶与优化lateral view、collect_set、JSON 解析、UDF 与 Hive 优化。07Spark 原理与调优shuffle、数据倾斜、广播 join、cache、内存与参数调优。08数据采集与同步Sqoop/DataX/Flume、全量与增量、CDC、幂等去重。09CDC 与增量同步binlog/GTID、全量加增量衔接、幂等落库、删除与 schema 变更，以及 Flink CDC 链路。
本模块不在当前计划内。点上方「显示全部」查看，或到学习计划里切换目标。