大数据开发工程师技能地图
负责数据加工与供给的工程岗,SQL 密度最高的技术方向;数据是业务基础设施、校招量常年稳定,适合喜欢数据又不想离开工程实践的学生。
对口岗位方向
大数据开发工程师(离线方向)|对口大数据开发工程师(实时方向)|对口数据仓库工程师|相邻数据平台开发工程师|相邻大数据运维/SRE|相邻
实色为高度对口方向,浅色为技能高度重合的相邻方向。
技术栈与核心技能(按学习先后)
1.SQL 超额训练:窗口函数与经典题型题库2.Java 达到能写能读(Flink 与平台开发门票)3.Linux 基础与 Shell 脚本4.HDFS/YARN/Hive 生态与分区表实践5.Spark 引擎原理、内存管理与调优6.维度建模:事实维度、分层与拉链表7.调度与数据质量工具(DolphinScheduler/Airflow)8.Kafka 消息模型与可靠性语义9.Flink:watermark、状态管理与 checkpoint10.OLAP 引擎选型(Doris/ClickHouse)11.湖仓一体与流批一体的趋势认知
学习路径骨架
- 1
地基6-10 周
SQL 真题达标、Java 过门槛、Linux 命令熟练
- 2
离线数仓项目8-12 周
自建集群加四层数仓全链路,至少含一个治理难点
- 3
实时双链路8-10 周
Flink 实时任务加流批对账升级项目,同步启动实习投递
- 4
秋招投递12-16 周
四大专题题库滚动复习,简历突出数据量级与治理过程
以上为阶段骨架。每个人基础不同,完整到周的学习路线让小职按你的情况排。
常见弯路
- · 电影推荐类选题早已饱和,项目必须包含倾斜、小文件或口径治理其中之一
- · 数据量级造假两个追问就穿帮,没做过实时链路就不要在简历硬写