Zero Bubble Pipeline Parallelism

简介:

实现零泡泡管道并行的调度策略

功能:

成功实现在同步训练语义下零管道泡沫

手工设计新颖的管道调度

开发算法自动找到最佳调度

引入新颖技术绕过同步以实现零泡泡

实验评估表明方法在类似内存限制下的吞吐量比1F1B调度高出了最多23%

需求人群:

"适用于需要大规模分布式训练的场景,特别是对管道并行性能要求较高的情况"

浏览量:60

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2025     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图