Pre-train 算法研究员（模型训练）

Every optimization step shapes intelligence

Pre-training 仍然是 Foundation Model 能力形成最重要的阶段，但随着模型规模不断扩大，训练已经不再是简单地增加数据和算力。

你将负责探索：

• 如何让模型持续遵循 Scaling Law，而不是过早进入收益递减；
• 如何在有限算力预算下获得更高的数据利用效率和模型能力增长；
• 如何解决超大规模训练中的 Loss Spike、Gradient Collapse、训练震荡等稳定性问题
• 如何让 Long Context、Reasoning 等复杂能力在 Pre-training 阶段自然形成，而不是完全依赖 Post-training；
• 如何构建能够支撑下一代基础模型的训练体系。

这些问题没有标准答案，每一次实验，都可能改变模型未来的能力边界。

岗位职责

• 负责超大规模语言模型 Pre-training 阶段训练算法研究，围绕训练稳定性、优化算法、Scaling、长上下文等方向持续探索模型能力边界。
• 设计并优化训练 Recipe，包括 Optimizer、Learning Rate Schedule、Batch Scaling、Curriculum Learning、训练超参数等关键策略，并通过大规模实验持续迭代。
• 深入分析训练过程中的 Loss、Gradient、Activation、Attention 等行为，定位模型训练瓶颈，并提出系统性优化方案。
• 与模型架构、数据、Evaluation、Infra 团队协同，推动算法在万亿 Token 规模训练中的持续演进，并完成能力分析与归因。

任职要求

• 从内心深处认可数据的价值
• 2026 届或 2027 届计算机、人工智能、数学、电子、自动化等相关专业硕士及以上或优秀本科生；
• 扎实掌握机器学习、深度学习基础，熟悉 Transformer、PyTorch 及主流分布式训练框架；
• 具备优秀的研究能力和工程能力，能够独立完成算法设计、实验验证、结果分析及论文复现；
• 对 Foundation Model、Optimization、Scaling Law、Distributed Training 等方向具有深入理解或相关研究经历。
• 在各类竞赛中取得突出成绩，或在开源社区有重要贡献者优先。