产品库

高效的分布式数据并行框架，专为大型语言模型设计。

YaFSDP是一个分布式数据并行框架，专为与transformer类神经网络结构良好协作而设计。它在预训练大型语言模型(Large Language Models, LLMs)时比传统的FSDP快20%，并且在高内存压力条件下表现更佳。YaFSDP旨在减少通信和内存操作的开销。

开源分布式深度学习工具

The Microsoft Cognitive Toolkit（CNTK）是一个开源的商业级分布式深度学习工具。它通过有向图描述神经网络的计算步骤，支持常见的模型类型，并实现了自动微分和并行计算。CNTK支持64位Linux和Windows操作系统，可以作为Python、C或C++程序的库使用，也可以通过其自身的模型描述语言BrainScript作为独立的机器学习工具使用。

高效全球分布式AI模型训练框架

PrimeIntellect-ai/prime是一个用于在互联网上高效、全球分布式训练AI模型的框架。它通过技术创新，实现了跨地域的AI模型训练，提高了计算资源的利用率，降低了训练成本，对于需要大规模计算资源的AI研究和应用开发具有重要意义。

分布式长视频生成技术

Video-Infinity 是一种分布式长视频生成技术，能够在5分钟内生成2300帧的视频，速度是先前方法的100倍。该技术基于VideoCrafter2模型，采用了Clip Parallelism和Dual-scope Attention等创新技术，显著提高了视频生成的效率和质量。

开源实现分布式低通信AI模型训练

OpenDiLoCo是一个开源框架，用于实现和扩展DeepMind的分布式低通信(DiLoCo)方法，支持全球分布式AI模型训练。它通过提供可扩展的、去中心化的框架，使得在资源分散的地区也能高效地进行AI模型的训练，这对于推动AI技术的普及和创新具有重要意义。

开源的MuZero实现，分布式AI框架

MuKoe是一个完全开源的MuZero实现，使用Ray作为分布式编排器在GKE上运行。它提供了Atari游戏的示例，并通过Google Next 2024的演讲提供了代码库的概览。MuKoe支持在CPU和TPU上运行，具有特定的硬件要求，适合需要大规模分布式计算资源的AI研究和开发。

DeepSeek-V3/R1 推理系统是一个高性能的分布式推理架构，专为大规模 AI 模型优化设计。

DeepSeek-V3/R1 推理系统是 DeepSeek 团队开发的高性能推理架构，旨在优化大规模稀疏模型的推理效率。它通过跨节点专家并行（EP）技术，显著提升 GPU 矩阵计算效率，降低延迟。该系统采用双批量重叠策略和多级负载均衡机制，确保在大规模分布式环境中高效运行。其主要优点包括高吞吐量、低延迟和优化的资源利用率，适用于高性能计算和 AI 推理场景。

一种用于V3/R1训练中计算与通信重叠的双向流水线并行算法。

DualPipe是一种创新的双向流水线并行算法，由DeepSeek-AI团队开发。该算法通过优化计算与通信的重叠，显著减少了流水线气泡，提高了训练效率。它在大规模分布式训练中表现出色，尤其适用于需要高效并行化的深度学习任务。DualPipe基于PyTorch开发，易于集成和扩展，适合需要高性能计算的开发者和研究人员使用。

3FS是一个高性能分布式文件系统，专为AI训练和推理工作负载设计。

3FS是一个专为AI训练和推理工作负载设计的高性能分布式文件系统。它利用现代SSD和RDMA网络，提供共享存储层，简化分布式应用开发。其核心优势在于高性能、强一致性和对多种工作负载的支持，能够显著提升AI开发和部署的效率。该系统适用于大规模AI项目，尤其在数据准备、训练和推理阶段表现出色。

基于AI的分布式自动支付处理器

Mobile Credits是一个基于AI的分布式自动支付处理器，确保安全快速地在全球范围内进行实时的资金转移，全天候提供服务。它提供了实时的、无需人工干预的交易处理能力，可以通过任何移动设备或已拥有的手机轻松进行全球范围的无接触即时支付。

实现零泡泡管道并行的调度策略

Zero Bubble Pipeline Parallelism是大规模分布式训练的关键组成部分之一，其效率受到管道泡沫的影响。我们引入了一种调度策略，成功实现了在同步训练语义下零管道泡沫。这一改进的关键思想是将反向计算分为两部分，一部分计算输入的梯度，另一部分计算参数的梯度。基于这一思想，我们手工设计了新颖的管道调度，明显优于基准方法。我们进一步开发了一种算法，根据特定模型配置和内存限制自动找到最佳调度。此外，为了真正实现零泡泡，我们引入了一种新颖的技术，在优化器步骤期间绕过同步。实验评估表明，我们的方法在类似内存限制下的吞吐量比1F1B调度高出了最多23%。当内存约束放宽时，这一数字可以进一步提高至31%。我们相信我们的结果标志着在发挥管道并行潜力方面迈出了重要的一步。

分析 V3/R1 中的计算与通信重叠策略，提供深度学习框架的性能分析数据。

DeepSeek Profile Data 是一个专注于深度学习框架性能分析的项目。它通过 PyTorch Profiler 捕获训练和推理框架的性能数据，帮助研究人员和开发者更好地理解计算与通信重叠策略以及底层实现细节。这些数据对于优化大规模分布式训练和推理任务至关重要，能够显著提升系统的效率和性能。该项目是 DeepSeek 团队在深度学习基础设施领域的重要贡献，旨在推动社区对高效计算策略的探索。

一个用于专家并行负载均衡的开源算法，旨在优化多GPU环境下的专家分配和负载平衡。

Expert Parallelism Load Balancer (EPLB)是一种用于深度学习中专家并行（EP）的负载均衡算法。它通过冗余专家策略和启发式打包算法，确保不同GPU之间的负载平衡，同时利用组限制专家路由减少节点间数据流量。该算法对于大规模分布式训练具有重要意义，能够提高资源利用率和训练效率。

LLaSA： 扩展基于 LLaMA 的语音合成的训练时间和测试时间计算量

LLaSA_training 是一个基于 LLaMA 的语音合成训练项目，旨在通过优化训练时间和推理时间的计算资源，提升语音合成模型的效率和性能。该项目利用开源数据集和内部数据集进行训练，支持多种配置和训练方式，具有较高的灵活性和可扩展性。其主要优点包括高效的数据处理能力、强大的语音合成效果以及对多种语言的支持。该项目适用于需要高性能语音合成解决方案的研究人员和开发者，可用于开发智能语音助手、语音播报系统等应用场景。

透明跟踪和触发，细粒度计算与集合的重叠

大型语言模型在训练和推断中越来越依赖于分布式技术。这些技术需要在设备之间进行通信，随着设备数量的增加，这可能会降低扩展效率。虽然一些分布式技术可以重叠，从而隐藏独立计算的通信，但类似张量并行（TP）的技术固有地将通信与模型执行串行化。隐藏这种串行化通信的一种方法是以细粒度的方式将其与生产者操作（通信数据的产生）交错在一起。然而，在软件中实现这种细粒度的通信和计算交错可能很困难。此外，与任何并发执行一样，它需要在计算和通信之间共享计算和内存资源，导致资源争用，从而降低了重叠效率。为了克服这些挑战，我们提出了T3，它应用硬件-软件共同设计，透明地重叠串行通信，同时最小化与计算的资源争用。T3通过简单配置生产者的输出地址空间，透明地融合了生产者操作和随后的通信，需要进行轻微的软件更改。在硬件层面，T3添加了轻量级的跟踪和触发机制，以编排生产者的计算和通信。它进一步利用增强计算的存储器来进行通信的相关计算。因此，T3减少了资源争用，并有效地将串行通信与计算重叠。对于重要的Transformer模型，如T-NLG，T3将通信密集型子层的速度提高了30%的几何平均值（最大47%），并将数据移动减少了22%的几何平均值（最大36%）。此外，随着模型的扩展，T3的好处仍然存在：对于sim500亿参数模型的子层，几何平均值为29%，PALM和MT-NLG。

异步去噪并行化扩散模型

AsyncDiff 是一种用于并行化扩散模型的异步去噪加速方案，它通过将噪声预测模型分割成多个组件并分配到不同的设备上，实现了模型的并行处理。这种方法显著减少了推理延迟，同时对生成质量的影响很小。AsyncDiff 支持多种扩散模型，包括 Stable Diffusion 2.1、Stable Diffusion 1.5、Stable Diffusion x4 Upscaler、Stable Diffusion XL 1.0、ControlNet、Stable Video Diffusion 和 AnimateDiff。

一种可扩展的内存层实现，用于在不增加计算量的情况下扩展模型参数.

Memory Layers at Scale 是一种创新的内存层实现方式，通过可训练的键值查找机制，在不增加浮点运算次数的情况下为模型增加额外的参数。这种方法在大规模语言模型中尤为重要，因为它能够在保持计算效率的同时，显著提升模型的存储和检索能力。该技术的主要优点包括高效扩展模型容量、降低计算资源消耗以及提高模型的灵活性和可扩展性。该项目由 Meta Lingua 团队开发，适用于需要处理大规模数据和复杂模型的场景。

在家使用日常设备搭建自己的AI集群。

exo是一个实验性的软件项目，旨在利用家中的现有设备，如iPhone、iPad、Android、Mac、Linux等，统一成一个强大的GPU来运行AI模型。它支持多种流行的模型，如LLaMA，并具有动态模型分割功能，能够根据当前网络拓扑和设备资源来最优地分割模型。此外，exo还提供了与ChatGPT兼容的API，使得在应用程序中使用exo运行模型仅需一行代码的更改。

AI开发规模化的民主化平台

Prime Intellect是一个致力于AI开发规模化民主化的平台，提供全球计算资源的发现、模型训练以及共同拥有智能创新的能力。它通过分布式训练跨集群，使得用户能够训练最前沿的模型，并且共同拥有由此产生的开放AI创新成果，包括语言模型和科学突破。

Flux 是一个用于 GPU 上张量/专家并行的快速通信重叠库。

Flux 是由字节跳动开发的一个高性能通信重叠库，专为 GPU 上的张量和专家并行设计。它通过高效的内核和对 PyTorch 的兼容性，支持多种并行化策略，适用于大规模模型训练和推理。Flux 的主要优点包括高性能、易于集成和对多种 NVIDIA GPU 架构的支持。它在大规模分布式训练中表现出色，尤其是在 Mixture-of-Experts (MoE) 模型中，能够显著提高计算效率。

上传数据，获取机器学习模型

Automated Machine Learning as a Service是一个提供自动化机器学习服务的网站。用户可以通过上传数据来获取他们的机器学习模型，该平台为用户提供了便捷的机器学习模型开发和部署流程。该平台还提供了丰富的功能和优势，包括简单易用的界面、自动化的模型训练和优化、灵活的定价策略等。用户可以根据自己的需求选择适合的定价方案，并在不同的场景中应用该机器学习模型。该产品的定位是为广大用户提供高效、便捷、灵活的机器学习解决方案。

开源机器人模拟平台，用于生成无限机器人数据和泛化AI。

ManiSkill是一个领先的开源平台，专注于机器人模拟、无限机器人数据生成和泛化机器人AI。由HillBot.ai领导，该平台支持通过状态和/或视觉输入快速训练机器人，与其它平台相比，ManiSkill/SAPIEN实现了10-100倍的视觉数据收集速度。它支持在GPU上并行模拟和渲染RGB-D，速度高达30,000+FPS。ManiSkill提供了40多种技能/任务和2000多个对象的预构建任务，拥有数百万帧的演示和密集的奖励函数，用户无需自己收集资产或设计任务，可以专注于算法开发。此外，它还支持在每个并行环境中同时模拟不同的对象和关节，训练泛化机器人策略/AI的时间从天缩短到分钟。ManiSkill易于使用，可以通过pip安装，并提供简单灵活的GUI以及所有功能的广泛文档。

提供关于人工智能的最佳资源，学习机器学习、数据科学、自然语言处理等。

AI Online Course是一个互动学习平台，提供清晰简明的人工智能介绍，使复杂的概念易于理解。它涵盖机器学习、深度学习、计算机视觉、自动驾驶、聊天机器人等方面的知识，并强调实际应用和技术优势。

数据科学与机器学习云平台

Saturn Cloud是一个解决数据科学和机器学习所需复杂基础设施管理和扩展的云平台。它提供了使用R和Python进行数据科学的环境，支持GPU、Dask集群等功能。Saturn Cloud可以帮助数据科学家、数据科学领导者和软件工程师简化开发、部署和数据处理的流程。该产品提供不同的功能和定价计划以满足各种需求。

基于生成式模拟的自动机器人学习

RoboGen 是一款基于生成式模拟的自动机器人学习产品。它通过自动生成多样化的任务、场景和训练监督，实现大规模机器人技能学习。RoboGen 具备自主提出、生成、学习的能力，可以不断生成与各种任务和环境相关的技能演示。

基于线程的数据加载解决方案，加速AI模型训练。

SPDL（Scalable and Performant Data Loading）是由Meta Reality Labs开发的一种新的数据加载解决方案，旨在提高AI模型训练的效率。它采用基于线程的并行处理，相比传统的基于进程的解决方案，SPDL在普通Python解释器中实现了高吞吐量，并且消耗的计算资源更少。SPDL与Free-Threaded Python兼容，在禁用GIL的情况下，比启用GIL的FT Python实现更高的吞吐量。SPDL的主要优点包括高吞吐量、易于理解的性能、不封装预处理操作、不引入领域特定语言（DSL）、无缝集成异步工具、灵活性、简单直观以及容错性。SPDL的背景信息显示，随着模型规模的增长，对数据的计算需求也随之增加，而SPDL通过最大化GPU的利用，加快了模型训练的速度。

AI、机器学习和数据科学工作的最佳选择

Best AI Jobs是＃1人工智能工作板，拥有2000多个工作职位，包括人工智能软件工程师、AI开发人员、机器学习工程师等。在AI领域找到一份工作，加入未来！

PygmalionAI的大规模推理引擎

Aphrodite是PygmalionAI的官方后端引擎，旨在为PygmalionAI网站提供推理端点，并允许以极快的速度为大量用户提供Pygmalion模型服务。Aphrodite利用vLLM的分页注意力技术，实现了连续批处理、高效的键值管理、优化的CUDA内核等特性，支持多种量化方案，以提高推理性能。

Python机器学习库

scikit-learn是一个简单高效的机器学习库，提供了丰富的机器学习算法和工具，可用于分类、回归、聚类、降维等任务。它基于NumPy、SciPy和matplotlib构建，具有易用性、性能优越以及可重复使用的特点。scikit-learn开源可商用，采用BSD许可证。

无代码数据清洗、准备和机器学习平台

Sweephy是一款无代码数据清洗、准备和机器学习平台。它专注于为每个业务案例提供专业开发，可以帮助您将原始数据转化为商业价值。Sweephy提供了一系列机器学习模块，包括数据可视化、文本分类、相似记录检查、数据分析和解释等功能。通过Sweephy，您可以轻松处理数据并从中获取商业价值。