需求人群:
"适用于需要大规模分布式训练的场景,特别是对管道并行性能要求较高的情况"
使用场景示例:
在大规模语言模型训练中应用零泡泡管道并行
优化计算机视觉模型的训练过程,提高训练效率
加速自然语言处理模型的训练,缩短训练时间
产品特色:
成功实现在同步训练语义下零管道泡沫
手工设计新颖的管道调度
开发算法自动找到最佳调度
引入新颖技术绕过同步以实现零泡泡
实验评估表明方法在类似内存限制下的吞吐量比1F1B调度高出了最多23%
浏览量:61
最新流量情况
月访问量
23904.81k
平均访问时长
00:04:51
每次访问页数
5.82
跳出率
43.33%
流量来源
直接访问
48.28%
自然搜索
35.88%
邮件
0.03%
外链引荐
12.71%
社交媒体
3.06%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
13.77%
印度
8.48%
日本
3.85%
俄罗斯
4.86%
美国
17.58%
实现零泡泡管道并行的调度策略
Zero Bubble Pipeline Parallelism是大规模分布式训练的关键组成部分之一,其效率受到管道泡沫的影响。我们引入了一种调度策略,成功实现了在同步训练语义下零管道泡沫。这一改进的关键思想是将反向计算分为两部分,一部分计算输入的梯度,另一部分计算参数的梯度。基于这一思想,我们手工设计了新颖的管道调度,明显优于基准方法。我们进一步开发了一种算法,根据特定模型配置和内存限制自动找到最佳调度。此外,为了真正实现零泡泡,我们引入了一种新颖的技术,在优化器步骤期间绕过同步。实验评估表明,我们的方法在类似内存限制下的吞吐量比1F1B调度高出了最多23%。当内存约束放宽时,这一数字可以进一步提高至31%。我们相信我们的结果标志着在发挥管道并行潜力方面迈出了重要的一步。
高效全球分布式AI模型训练框架
PrimeIntellect-ai/prime是一个用于在互联网上高效、全球分布式训练AI模型的框架。它通过技术创新,实现了跨地域的AI模型训练,提高了计算资源的利用率,降低了训练成本,对于需要大规模计算资源的AI研究和应用开发具有重要意义。
高效的分布式数据并行框架,专为大型语言模型设计。
YaFSDP是一个分布式数据并行框架,专为与transformer类神经网络结构良好协作而设计。它在预训练大型语言模型(Large Language Models, LLMs)时比传统的FSDP快20%,并且在高内存压力条件下表现更佳。YaFSDP旨在减少通信和内存操作的开销。
开源实现分布式低通信AI模型训练
OpenDiLoCo是一个开源框架,用于实现和扩展DeepMind的分布式低通信(DiLoCo)方法,支持全球分布式AI模型训练。它通过提供可扩展的、去中心化的框架,使得在资源分散的地区也能高效地进行AI模型的训练,这对于推动AI技术的普及和创新具有重要意义。
开源分布式深度学习工具
The Microsoft Cognitive Toolkit(CNTK)是一个开源的商业级分布式深度学习工具。它通过有向图描述神经网络的计算步骤,支持常见的模型类型,并实现了自动微分和并行计算。CNTK支持64位Linux和Windows操作系统,可以作为Python、C或C++程序的库使用,也可以通过其自身的模型描述语言BrainScript作为独立的机器学习工具使用。
开源的MuZero实现,分布式AI框架
MuKoe是一个完全开源的MuZero实现,使用Ray作为分布式编排器在GKE上运行。它提供了Atari游戏的示例,并通过Google Next 2024的演讲提供了代码库的概览。MuKoe支持在CPU和TPU上运行,具有特定的硬件要求,适合需要大规模分布式计算资源的AI研究和开发。
分布式长视频生成技术
Video-Infinity 是一种分布式长视频生成技术,能够在5分钟内生成2300帧的视频,速度是先前方法的100倍。该技术基于VideoCrafter2模型,采用了Clip Parallelism和Dual-scope Attention等创新技术,显著提高了视频生成的效率和质量。
基于AI的分布式自动支付处理器
Mobile Credits是一个基于AI的分布式自动支付处理器,确保安全快速地在全球范围内进行实时的资金转移,全天候提供服务。它提供了实时的、无需人工干预的交易处理能力,可以通过任何移动设备或已拥有的手机轻松进行全球范围的无接触即时支付。
一种用于V3/R1训练中计算与通信重叠的双向流水线并行算法。
DualPipe是一种创新的双向流水线并行算法,由DeepSeek-AI团队开发。该算法通过优化计算与通信的重叠,显著减少了流水线气泡,提高了训练效率。它在大规模分布式训练中表现出色,尤其适用于需要高效并行化的深度学习任务。DualPipe基于PyTorch开发,易于集成和扩展,适合需要高性能计算的开发者和研究人员使用。
DeepSeek-V3/R1 推理系统是一个高性能的分布式推理架构,专为大规模 AI 模型优化设计。
DeepSeek-V3/R1 推理系统是 DeepSeek 团队开发的高性能推理架构,旨在优化大规模稀疏模型的推理效率。它通过跨节点专家并行(EP)技术,显著提升 GPU 矩阵计算效率,降低延迟。该系统采用双批量重叠策略和多级负载均衡机制,确保在大规模分布式环境中高效运行。其主要优点包括高吞吐量、低延迟和优化的资源利用率,适用于高性能计算和 AI 推理场景。
一个用于专家并行负载均衡的开源算法,旨在优化多GPU环境下的专家分配和负载平衡。
Expert Parallelism Load Balancer (EPLB)是一种用于深度学习中专家并行(EP)的负载均衡算法。它通过冗余专家策略和启发式打包算法,确保不同GPU之间的负载平衡,同时利用组限制专家路由减少节点间数据流量。该算法对于大规模分布式训练具有重要意义,能够提高资源利用率和训练效率。
3FS是一个高性能分布式文件系统,专为AI训练和推理工作负载设计。
3FS是一个专为AI训练和推理工作负载设计的高性能分布式文件系统。它利用现代SSD和RDMA网络,提供共享存储层,简化分布式应用开发。其核心优势在于高性能、强一致性和对多种工作负载的支持,能够显著提升AI开发和部署的效率。该系统适用于大规模AI项目,尤其在数据准备、训练和推理阶段表现出色。
LLaSA: 扩展基于 LLaMA 的语音合成的训练时间和测试时间计算量
LLaSA_training 是一个基于 LLaMA 的语音合成训练项目,旨在通过优化训练时间和推理时间的计算资源,提升语音合成模型的效率和性能。该项目利用开源数据集和内部数据集进行训练,支持多种配置和训练方式,具有较高的灵活性和可扩展性。其主要优点包括高效的数据处理能力、强大的语音合成效果以及对多种语言的支持。该项目适用于需要高性能语音合成解决方案的研究人员和开发者,可用于开发智能语音助手、语音播报系统等应用场景。
异步去噪并行化扩散模型
AsyncDiff 是一种用于并行化扩散模型的异步去噪加速方案,它通过将噪声预测模型分割成多个组件并分配到不同的设备上,实现了模型的并行处理。这种方法显著减少了推理延迟,同时对生成质量的影响很小。AsyncDiff 支持多种扩散模型,包括 Stable Diffusion 2.1、Stable Diffusion 1.5、Stable Diffusion x4 Upscaler、Stable Diffusion XL 1.0、ControlNet、Stable Video Diffusion 和 AnimateDiff。
自动微分、并行加持,一次训练,可多场景部署
昇思MindSpore 是华为开源自研的 AI 框架,支持端边云全场景的深度学习训练推理,应用于计算机视觉、自然语言处理等 AI 领域。具备基于源码转换的通用自动微分、自动实现分布式并行训练、数据处理和图执行引擎等功能。框架开源,适用于数据科学家和算法工程师。
AI开发规模化的民主化平台
Prime Intellect是一个致力于AI开发规模化民主化的平台,提供全球计算资源的发现、模型训练以及共同拥有智能创新的能力。它通过分布式训练跨集群,使得用户能够训练最前沿的模型,并且共同拥有由此产生的开放AI创新成果,包括语言模型和科学突破。
高效的大型语言模型(LLM)研究代码库
Meta Lingua 是一个轻量级、高效的大型语言模型(LLM)训练和推理库,专为研究而设计。它使用了易于修改的PyTorch组件,使得研究人员可以尝试新的架构、损失函数和数据集。该库旨在实现端到端的训练、推理和评估,并提供工具以更好地理解模型的速度和稳定性。尽管Meta Lingua目前仍在开发中,但已经提供了多个示例应用来展示如何使用这个代码库。
分析 V3/R1 中的计算与通信重叠策略,提供深度学习框架的性能分析数据。
DeepSeek Profile Data 是一个专注于深度学习框架性能分析的项目。它通过 PyTorch Profiler 捕获训练和推理框架的性能数据,帮助研究人员和开发者更好地理解计算与通信重叠策略以及底层实现细节。这些数据对于优化大规模分布式训练和推理任务至关重要,能够显著提升系统的效率和性能。该项目是 DeepSeek 团队在深度学习基础设施领域的重要贡献,旨在推动社区对高效计算策略的探索。
一种可扩展的内存层实现,用于在不增加计算量的情况下扩展模型参数.
Memory Layers at Scale 是一种创新的内存层实现方式,通过可训练的键值查找机制,在不增加浮点运算次数的情况下为模型增加额外的参数。这种方法在大规模语言模型中尤为重要,因为它能够在保持计算效率的同时,显著提升模型的存储和检索能力。该技术的主要优点包括高效扩展模型容量、降低计算资源消耗以及提高模型的灵活性和可扩展性。该项目由 Meta Lingua 团队开发,适用于需要处理大规模数据和复杂模型的场景。
AI调度应用,为团队创造更多时间
Reclaim AI是一款强大的AI驱动的应用,可以自动为团队的任务、习惯、会议和休息创建更多时间。它可以与Google Calendar免费使用。Reclaim AI提供以下主要功能:任务调度、智能习惯、智能1:1会议、调度链接、日历同步、缓冲时间、计划器。适用于团队的使用场景包括:团队协作、市场营销、销售、工程、产品、财务、人力资源等。详情请访问官方网站。
模拟不同投资策略的表现,辅助投资决策。
投资策略模拟器是一个在线工具,它通过模拟不同的股价模型和投资策略,帮助用户理解各种投资策略在不同市场条件下的表现。该产品使用几何布朗运动模型来模拟股价的连续随机波动,适合相对稳定的大盘股。用户可以设置不同的投资周期和策略,比如买入持有、定投等,来观察投资收益的变化。这个工具的主要优点是简单易懂,能够帮助投资者在不承担实际风险的情况下,学习和比较不同的投资策略。它适合心态平和、不为短期波动所动的长线投资者。目前,该产品是免费的,主要面向教育和娱乐目的,不构成实际的投资建议。
众包分布式图像和文本生成平台
AI Horde是一个众包分布式图像和文本生成平台。它由一群协作的工作者组成,提供高效的图像和文本生成服务。AI Horde提供稳定的性能、广泛的功能和多样的使用场景。无论是个人用户还是企业用户,都可以通过AI Horde获得高质量的图像和文本生成服务。AI Horde的定价合理,定位于满足用户的创作、设计、娱乐等需求。
10亿参数的英文文本和代码语言模型
INTELLECT-1-Instruct是一个由Prime Intellect训练的10亿参数语言模型,从零开始在1万亿个英文文本和代码token上进行训练。该模型支持文本生成,并且具有分布式训练的能力,能够在不可靠的、全球分布的工作者上进行高性能训练。它使用了DiLoCo算法进行训练,并利用自定义的int8 all-reduce内核来减少通信负载,显著降低了通信开销。这个模型的背景信息显示,它是由30个独立的社区贡献者提供计算支持,并在3个大洲的14个并发节点上进行训练。
在家使用日常设备搭建自己的AI集群。
exo是一个实验性的软件项目,旨在利用家中的现有设备,如iPhone、iPad、Android、Mac、Linux等,统一成一个强大的GPU来运行AI模型。它支持多种流行的模型,如LLaMA,并具有动态模型分割功能,能够根据当前网络拓扑和设备资源来最优地分割模型。此外,exo还提供了与ChatGPT兼容的API,使得在应用程序中使用exo运行模型仅需一行代码的更改。
快速易用的LLM推理和服务平台
vLLM是一个为大型语言模型(LLM)推理和提供服务的快速、易用且高效的库。它通过使用最新的服务吞吐量技术、高效的内存管理、连续批处理请求、CUDA/HIP图快速模型执行、量化技术、优化的CUDA内核等,提供了高性能的推理服务。vLLM支持与流行的HuggingFace模型无缝集成,支持多种解码算法,包括并行采样、束搜索等,支持张量并行性,适用于分布式推理,支持流式输出,并兼容OpenAI API服务器。此外,vLLM还支持NVIDIA和AMD GPU,以及实验性的前缀缓存和多lora支持。
社交媒体AI优化内容调度器
SocialPulse是一款基于AI优化的内容调度器,它能够通过高级AI算法分析受众行为,推荐最佳发布时间,确保您的内容获得应有的关注。它还能够根据您的行业和受众提供个性化的内容建议和标签,让每一篇发布都更有价值。同时,SocialPulse与新兴和细分社交媒体平台无缝集成,保证您始终处于社交媒体游戏的前沿。此外,它还提供自动A/B测试功能,帮助您不断优化内容策略。
Twitter线程调度器
Thread Creator是一款用于调度Twitter线程、推文、图片、视频等的工具。它可以帮助用户轻松安排和管理他们的Twitter内容。Thread Creator支持免费使用,也提供高级功能和计划。
透明跟踪和触发,细粒度计算与集合的重叠
大型语言模型在训练和推断中越来越依赖于分布式技术。这些技术需要在设备之间进行通信,随着设备数量的增加,这可能会降低扩展效率。虽然一些分布式技术可以重叠,从而隐藏独立计算的通信,但类似张量并行(TP)的技术固有地将通信与模型执行串行化。隐藏这种串行化通信的一种方法是以细粒度的方式将其与生产者操作(通信数据的产生)交错在一起。然而,在软件中实现这种细粒度的通信和计算交错可能很困难。此外,与任何并发执行一样,它需要在计算和通信之间共享计算和内存资源,导致资源争用,从而降低了重叠效率。为了克服这些挑战,我们提出了T3,它应用硬件-软件共同设计,透明地重叠串行通信,同时最小化与计算的资源争用。T3通过简单配置生产者的输出地址空间,透明地融合了生产者操作和随后的通信,需要进行轻微的软件更改。在硬件层面,T3添加了轻量级的跟踪和触发机制,以编排生产者的计算和通信。它进一步利用增强计算的存储器来进行通信的相关计算。因此,T3减少了资源争用,并有效地将串行通信与计算重叠。对于重要的Transformer模型,如T-NLG,T3将通信密集型子层的速度提高了30%的几何平均值(最大47%),并将数据移动减少了22%的几何平均值(最大36%)。此外,随着模型的扩展,T3的好处仍然存在:对于sim500亿参数模型的子层,几何平均值为29%,PALM和MT-NLG。
© 2025 AIbase 备案号:闽ICP备08105208号-14