产品库

开源实现分布式低通信AI模型训练

OpenDiLoCo是一个开源框架，用于实现和扩展DeepMind的分布式低通信(DiLoCo)方法，支持全球分布式AI模型训练。它通过提供可扩展的、去中心化的框架，使得在资源分散的地区也能高效地进行AI模型的训练，这对于推动AI技术的普及和创新具有重要意义。

高效全球分布式AI模型训练框架

PrimeIntellect-ai/prime是一个用于在互联网上高效、全球分布式训练AI模型的框架。它通过技术创新，实现了跨地域的AI模型训练，提高了计算资源的利用率，降低了训练成本，对于需要大规模计算资源的AI研究和应用开发具有重要意义。

开源的MuZero实现，分布式AI框架

MuKoe是一个完全开源的MuZero实现，使用Ray作为分布式编排器在GKE上运行。它提供了Atari游戏的示例，并通过Google Next 2024的演讲提供了代码库的概览。MuKoe支持在CPU和TPU上运行，具有特定的硬件要求，适合需要大规模分布式计算资源的AI研究和开发。

开源分布式深度学习工具

The Microsoft Cognitive Toolkit（CNTK）是一个开源的商业级分布式深度学习工具。它通过有向图描述神经网络的计算步骤，支持常见的模型类型，并实现了自动微分和并行计算。CNTK支持64位Linux和Windows操作系统，可以作为Python、C或C++程序的库使用，也可以通过其自身的模型描述语言BrainScript作为独立的机器学习工具使用。

分布式长视频生成技术

Video-Infinity 是一种分布式长视频生成技术，能够在5分钟内生成2300帧的视频，速度是先前方法的100倍。该技术基于VideoCrafter2模型，采用了Clip Parallelism和Dual-scope Attention等创新技术，显著提高了视频生成的效率和质量。

基于AI的分布式自动支付处理器

Mobile Credits是一个基于AI的分布式自动支付处理器，确保安全快速地在全球范围内进行实时的资金转移，全天候提供服务。它提供了实时的、无需人工干预的交易处理能力，可以通过任何移动设备或已拥有的手机轻松进行全球范围的无接触即时支付。

高效的分布式数据并行框架，专为大型语言模型设计。

YaFSDP是一个分布式数据并行框架，专为与transformer类神经网络结构良好协作而设计。它在预训练大型语言模型(Large Language Models, LLMs)时比传统的FSDP快20%，并且在高内存压力条件下表现更佳。YaFSDP旨在减少通信和内存操作的开销。

3FS是一个高性能分布式文件系统，专为AI训练和推理工作负载设计。

3FS是一个专为AI训练和推理工作负载设计的高性能分布式文件系统。它利用现代SSD和RDMA网络，提供共享存储层，简化分布式应用开发。其核心优势在于高性能、强一致性和对多种工作负载的支持，能够显著提升AI开发和部署的效率。该系统适用于大规模AI项目，尤其在数据准备、训练和推理阶段表现出色。

LLaSA： 扩展基于 LLaMA 的语音合成的训练时间和测试时间计算量

LLaSA_training 是一个基于 LLaMA 的语音合成训练项目，旨在通过优化训练时间和推理时间的计算资源，提升语音合成模型的效率和性能。该项目利用开源数据集和内部数据集进行训练，支持多种配置和训练方式，具有较高的灵活性和可扩展性。其主要优点包括高效的数据处理能力、强大的语音合成效果以及对多种语言的支持。该项目适用于需要高性能语音合成解决方案的研究人员和开发者，可用于开发智能语音助手、语音播报系统等应用场景。

AI开发规模化的民主化平台

Prime Intellect是一个致力于AI开发规模化民主化的平台，提供全球计算资源的发现、模型训练以及共同拥有智能创新的能力。它通过分布式训练跨集群，使得用户能够训练最前沿的模型，并且共同拥有由此产生的开放AI创新成果，包括语言模型和科学突破。

DeepSeek-V3/R1 推理系统是一个高性能的分布式推理架构，专为大规模 AI 模型优化设计。

DeepSeek-V3/R1 推理系统是 DeepSeek 团队开发的高性能推理架构，旨在优化大规模稀疏模型的推理效率。它通过跨节点专家并行（EP）技术，显著提升 GPU 矩阵计算效率，降低延迟。该系统采用双批量重叠策略和多级负载均衡机制，确保在大规模分布式环境中高效运行。其主要优点包括高吞吐量、低延迟和优化的资源利用率，适用于高性能计算和 AI 推理场景。

实现零泡泡管道并行的调度策略

Zero Bubble Pipeline Parallelism是大规模分布式训练的关键组成部分之一，其效率受到管道泡沫的影响。我们引入了一种调度策略，成功实现了在同步训练语义下零管道泡沫。这一改进的关键思想是将反向计算分为两部分，一部分计算输入的梯度，另一部分计算参数的梯度。基于这一思想，我们手工设计了新颖的管道调度，明显优于基准方法。我们进一步开发了一种算法，根据特定模型配置和内存限制自动找到最佳调度。此外，为了真正实现零泡泡，我们引入了一种新颖的技术，在优化器步骤期间绕过同步。实验评估表明，我们的方法在类似内存限制下的吞吐量比1F1B调度高出了最多23%。当内存约束放宽时，这一数字可以进一步提高至31%。我们相信我们的结果标志着在发挥管道并行潜力方面迈出了重要的一步。

一个用于专家并行负载均衡的开源算法，旨在优化多GPU环境下的专家分配和负载平衡。

Expert Parallelism Load Balancer (EPLB)是一种用于深度学习中专家并行（EP）的负载均衡算法。它通过冗余专家策略和启发式打包算法，确保不同GPU之间的负载平衡，同时利用组限制专家路由减少节点间数据流量。该算法对于大规模分布式训练具有重要意义，能够提高资源利用率和训练效率。

一种用于V3/R1训练中计算与通信重叠的双向流水线并行算法。

DualPipe是一种创新的双向流水线并行算法，由DeepSeek-AI团队开发。该算法通过优化计算与通信的重叠，显著减少了流水线气泡，提高了训练效率。它在大规模分布式训练中表现出色，尤其适用于需要高效并行化的深度学习任务。DualPipe基于PyTorch开发，易于集成和扩展，适合需要高性能计算的开发者和研究人员使用。

高效的大型语言模型（LLM）研究代码库

Meta Lingua 是一个轻量级、高效的大型语言模型（LLM）训练和推理库，专为研究而设计。它使用了易于修改的PyTorch组件，使得研究人员可以尝试新的架构、损失函数和数据集。该库旨在实现端到端的训练、推理和评估，并提供工具以更好地理解模型的速度和稳定性。尽管Meta Lingua目前仍在开发中，但已经提供了多个示例应用来展示如何使用这个代码库。

Inferable 是一个开源平台，用于创建内部运营的对话式 AI 代理。

Inferable 是一个专注于内部运营的对话式 AI 代理平台，旨在帮助企业和团队整合内部系统、碎片化代码库和一次性脚本。通过对话式代理，企业可以减少在内部工具开发上的时间投入，提高工作效率。该平台支持多种编程语言的 SDK，包括 Node.js、Golang 和 C#，并计划扩展更多语言支持。其核心是一个分布式消息队列，确保 AI 自动化的可扩展性和可靠性。此外，Inferable 提供了丰富的功能，如分布式函数编排、人类在循环（Human in the Loop）、代码重用、语言支持、本地执行、可观测性和结构化输出等。它还内置了 ReAct 代理，能够通过逐步推理解决复杂问题，并调用函数解决子问题。Inferable 完全开源，支持自托管，用户可以在自己的基础设施上运行，确保数据和计算的完全控制。其定价和具体定位信息在页面中未明确提及，但从其功能和目标受众来看，主要面向企业级用户，特别是需要高效内部运营和数据隐私保护的团队。

在家使用日常设备搭建自己的AI集群。

exo是一个实验性的软件项目，旨在利用家中的现有设备，如iPhone、iPad、Android、Mac、Linux等，统一成一个强大的GPU来运行AI模型。它支持多种流行的模型，如LLaMA，并具有动态模型分割功能，能够根据当前网络拓扑和设备资源来最优地分割模型。此外，exo还提供了与ChatGPT兼容的API，使得在应用程序中使用exo运行模型仅需一行代码的更改。

一种可扩展的内存层实现，用于在不增加计算量的情况下扩展模型参数.

Memory Layers at Scale 是一种创新的内存层实现方式，通过可训练的键值查找机制，在不增加浮点运算次数的情况下为模型增加额外的参数。这种方法在大规模语言模型中尤为重要，因为它能够在保持计算效率的同时，显著提升模型的存储和检索能力。该技术的主要优点包括高效扩展模型容量、降低计算资源消耗以及提高模型的灵活性和可扩展性。该项目由 Meta Lingua 团队开发，适用于需要处理大规模数据和复杂模型的场景。

众包分布式图像和文本生成平台

AI Horde是一个众包分布式图像和文本生成平台。它由一群协作的工作者组成，提供高效的图像和文本生成服务。AI Horde提供稳定的性能、广泛的功能和多样的使用场景。无论是个人用户还是企业用户，都可以通过AI Horde获得高质量的图像和文本生成服务。AI Horde的定价合理，定位于满足用户的创作、设计、娱乐等需求。

10亿参数的英文文本和代码语言模型

INTELLECT-1-Instruct是一个由Prime Intellect训练的10亿参数语言模型，从零开始在1万亿个英文文本和代码token上进行训练。该模型支持文本生成，并且具有分布式训练的能力，能够在不可靠的、全球分布的工作者上进行高性能训练。它使用了DiLoCo算法进行训练，并利用自定义的int8 all-reduce内核来减少通信负载，显著降低了通信开销。这个模型的背景信息显示，它是由30个独立的社区贡献者提供计算支持，并在3个大洲的14个并发节点上进行训练。

快速易用的LLM推理和服务平台

vLLM是一个为大型语言模型(LLM)推理和提供服务的快速、易用且高效的库。它通过使用最新的服务吞吐量技术、高效的内存管理、连续批处理请求、CUDA/HIP图快速模型执行、量化技术、优化的CUDA内核等，提供了高性能的推理服务。vLLM支持与流行的HuggingFace模型无缝集成，支持多种解码算法，包括并行采样、束搜索等，支持张量并行性，适用于分布式推理，支持流式输出，并兼容OpenAI API服务器。此外，vLLM还支持NVIDIA和AMD GPU，以及实验性的前缀缓存和多lora支持。

谷歌推出的开源预训练语言模型

Gemma-2b是谷歌推出的开源预训练语言模型系列,提供了多个不同规模的变体。它可以生成高质量的文本,广泛应用于问答、摘要、推理等领域。相比其他同类模型,它模型规模较小,可以部署在不同的硬件环境中。Gemma系列追求安全、高效的人工智能技术,使更多研究者和开发者可以接触前沿的语言模型技术。

提供多种预训练模型，支持多维度筛选，助力AI模型应用与开发。

该平台是一个专注于AI预训练模型的资源平台，整合了大量不同类型、规模和应用场景的预训练模型。其重要性在于为AI开发者和研究人员提供了便捷的模型获取渠道，降低了模型开发的门槛。主要优点包括模型分类细致、多维度筛选功能强大、信息展示详细且提供智能推荐。产品背景是随着AI技术的发展，对预训练模型的需求日益增长，平台应运而生。平台主要定位为AI模型资源平台，部分模型免费商用，部分可能需要付费，具体价格因模型而异。

开源的先进语言模型后训练框架

Tülu 3是一系列开源的先进语言模型，它们经过后训练以适应更多的任务和用户。这些模型通过结合专有方法的部分细节、新颖技术和已建立的学术研究，实现了复杂的训练过程。Tülu 3的成功根植于精心的数据管理、严格的实验、创新的方法论和改进的训练基础设施。通过公开分享数据、配方和发现，Tülu 3旨在赋予社区探索新的和创新的后训练方法的能力。

构建和连接分布式人工智能应用的第一层

Openfabric AI是一个分布式人工智能平台，通过区块链、先进的加密和新型基础设施，为人工智能应用的构建和使用创造了一个新的基础。它降低了利用人工智能应用所需的基础设施需求和技术知识，促进了新的市场机会。

一站式AI数字人系统，支持视频合成、声音合成、声音克隆。

AIGCPanel是一个简单易用的一站式AI数字人系统，小白也可使用。支持视频合成、声音合成、声音克隆，简化本地模型管理、一键导入和使用AI模型。产品背景信息显示，AIGCPanel旨在通过集成多种AI功能，提升数字人素材管理的效率，降低技术门槛，使非专业人士也能轻松管理和使用AI数字人。产品基于AGPL-3.0开源，完全免费，可以直接使用。

分析 V3/R1 中的计算与通信重叠策略，提供深度学习框架的性能分析数据。

DeepSeek Profile Data 是一个专注于深度学习框架性能分析的项目。它通过 PyTorch Profiler 捕获训练和推理框架的性能数据，帮助研究人员和开发者更好地理解计算与通信重叠策略以及底层实现细节。这些数据对于优化大规模分布式训练和推理任务至关重要，能够显著提升系统的效率和性能。该项目是 DeepSeek 团队在深度学习基础设施领域的重要贡献，旨在推动社区对高效计算策略的探索。

透明跟踪和触发，细粒度计算与集合的重叠

大型语言模型在训练和推断中越来越依赖于分布式技术。这些技术需要在设备之间进行通信，随着设备数量的增加，这可能会降低扩展效率。虽然一些分布式技术可以重叠，从而隐藏独立计算的通信，但类似张量并行（TP）的技术固有地将通信与模型执行串行化。隐藏这种串行化通信的一种方法是以细粒度的方式将其与生产者操作（通信数据的产生）交错在一起。然而，在软件中实现这种细粒度的通信和计算交错可能很困难。此外，与任何并发执行一样，它需要在计算和通信之间共享计算和内存资源，导致资源争用，从而降低了重叠效率。为了克服这些挑战，我们提出了T3，它应用硬件-软件共同设计，透明地重叠串行通信，同时最小化与计算的资源争用。T3通过简单配置生产者的输出地址空间，透明地融合了生产者操作和随后的通信，需要进行轻微的软件更改。在硬件层面，T3添加了轻量级的跟踪和触发机制，以编排生产者的计算和通信。它进一步利用增强计算的存储器来进行通信的相关计算。因此，T3减少了资源争用，并有效地将串行通信与计算重叠。对于重要的Transformer模型，如T-NLG，T3将通信密集型子层的速度提高了30%的几何平均值（最大47%），并将数据移动减少了22%的几何平均值（最大36%）。此外，随着模型的扩展，T3的好处仍然存在：对于sim500亿参数模型的子层，几何平均值为29%，PALM和MT-NLG。

本地运行的AI模型训练与部署工具，支持个性化训练和多平台使用。

Kolosal AI 是一款用于本地设备训练和运行大型语言模型（LLMs）的工具。它通过简化模型训练、优化和部署流程，使用户能够在本地设备上高效地使用 AI 技术。该工具支持多种硬件平台，提供快速的推理速度和灵活的定制能力，适合从个人开发者到大型企业的广泛应用场景。其开源特性也使得用户可以根据自身需求进行二次开发。

基于Linux环境快速部署开源大模型的教程

该项目是一个围绕开源大模型的全流程指导教程,包括环境配置、模型部署、高效微调等,简化开源大模型的使用和应用,让更多普通学习者能够使用开源大模型。项目面向对开源大模型感兴趣且想自主上手的学习者,提供详细的环境配置、模型部署和微调方法。