大语言模型训练性能优化工程师

岗位职责

1. 大语言模型训练、微调、强化学习的性能优化，包括但不限于Megatron-LM，verl，DeepSpeed等框架、网络通信、算子等优化方向；
2. 具体模型优化加速，包括但不限于部署模型训练环境、profiling定位模型训练性能瓶颈、分析优化方向、并行策略/算子优化等；
3. 大语言模型前沿发展的调研，跟踪与适配，包括但不限于前沿模型发展、框架、实现技术等；

任职要求（必须）

1. 本科以上学历，计算机相关专业，熟悉AI领域基本知识；
2. 熟练使用Python编程，熟悉C++/CUDA编程；
3. 熟悉PyTorch、Megatron-LM等主流框架；
4. 熟悉verl、ROLL、slime等主流强化学习训练框架之一；
5. 熟悉DP、TP、PP、EP、CP等大模型并行策略；
6. 熟悉主流Transformer类大语言模型结构；
7. 对大语言模型技术方向有热情；

任职要求（加分项）

1. 有大语言模型预训练、微调、强化学习优化经验者优先；
2. 熟练掌握主流强化学习算法者优先；
3. 有GPU/CUDA/Triton/TileLang性能优化经验者优先；
4. 有框架/GPU性能分析工具使用经验者优先。