DeepEP

优质新品

简介:

DeepEP 是一个针对 Mixture-of-Experts 和专家并行通信的高效通信库。

功能:

支持高吞吐量和低延迟的全连接 GPU 内核,适用于 MoE 模型的 dispatch 和 combine 操作。

优化了非对称域带宽转发,例如从 NVLink 域到 RDMA 域的数据转发。

支持低延迟内核,使用纯 RDMA 通信,适合延迟敏感的推理解码任务。

提供基于钩子的通信-计算重叠方法,不占用 GPU SM 资源,提高资源利用率。

支持多种网络配置,包括 InfiniBand 和 RDMA over Converged Ethernet (RoCE)。

需求人群:

"该产品适用于需要在大规模分布式环境中高效运行混合专家模型(MoE)的研究人员、工程师和企业用户。它特别适合那些需要优化通信性能、降低延迟并提高计算资源利用率的深度学习项目。无论是用于训练大型语言模型还是进行高效的推理任务,DeepEP 都能提供显著的性能提升。"

浏览量:8

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2025     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图