聚焦大模型训练效率提升 北大依托昇腾突破细粒度混合并行技术

在人工智能大模型迅猛发展的当下，大模型参数和计算量呈指数级增长，大规模深度学习模型的训练离不开多硬件设备的分布式计算。在鲲鹏昇腾科教创新卓越中心的算力支持下，北京大学计算机学院崔斌教授团队创新研发了面向大模型的高效分布式训练框架，大幅提升了大规模分布式训练模型的效率。

针对模型训练任务的多样性和复杂性所带来的负载不均问题，研究团队创新设计出了细粒度模型切分与并行策略搜索算法。此方法依托昇腾强大的计算资源管理能力，及算子优化技术对训练策略的适配，完成了统一训练接口到智能切分策略的全过程。首先通过总结多种大模型训练的共同特点，设计出统一的接口来启动和管理不同任务负载的模型训练任务，对训练时所花费的算力、内存、网络通信等进行精确地计算。接着基于这些数据细致拆解庞大且复杂的大模型，根据不同模块分配不同的训练策略以适应各模块的负载差异，实现训练任务的高效并行。目前，该方案已实现比分片数据并行、3D 并行等全局模版化并行方案提升15% 的训练效率。

除此之外，团队还解决了分布式计算所涉及的硬件间通信传输效率问题。结合昇腾高速互联总线技术的高带宽低时延优势，系统会很根据不同的通信需求，对硬件设备进行分组以优化组队时间，运用计算通信重叠技术让“计算”和“通信”同步进行，提高训练流水线的效率，并在模型切分的决策时考虑计算通信重叠的性能影响，综合多方面因素选取最适合的分布式运行方案，最终实现数据传输效率和资源利用率的最大化。

该研究成果不仅为模型大规模训练提供了高效的解决方案，更展现了自主算力在分布式计算领域的巨大潜力。目前，研究成果已在国际顶级学术会议NeurIPS、ICLR、AAAI发表3篇论文，为国内AI技术突破提供了理论支撑与实践范式。

北京大学 鲲鹏昇腾科教创新卓越中心的这一突破彰显了校企协同创新的显著成效。未来，中心将持续加速AI前沿技术在自主计算平台的深度落地，为我国人工智能产业的自主化突破提供强劲动能。