产品库

开源分布式深度学习工具

The Microsoft Cognitive Toolkit（CNTK）是一个开源的商业级分布式深度学习工具。它通过有向图描述神经网络的计算步骤，支持常见的模型类型，并实现了自动微分和并行计算。CNTK支持64位Linux和Windows操作系统，可以作为Python、C或C++程序的库使用，也可以通过其自身的模型描述语言BrainScript作为独立的机器学习工具使用。

分析 V3/R1 中的计算与通信重叠策略，提供深度学习框架的性能分析数据。

DeepSeek Profile Data 是一个专注于深度学习框架性能分析的项目。它通过 PyTorch Profiler 捕获训练和推理框架的性能数据，帮助研究人员和开发者更好地理解计算与通信重叠策略以及底层实现细节。这些数据对于优化大规模分布式训练和推理任务至关重要，能够显著提升系统的效率和性能。该项目是 DeepSeek 团队在深度学习基础设施领域的重要贡献，旨在推动社区对高效计算策略的探索。

高效的分布式数据并行框架，专为大型语言模型设计。

YaFSDP是一个分布式数据并行框架，专为与transformer类神经网络结构良好协作而设计。它在预训练大型语言模型(Large Language Models, LLMs)时比传统的FSDP快20%，并且在高内存压力条件下表现更佳。YaFSDP旨在减少通信和内存操作的开销。

高效全球分布式AI模型训练框架

PrimeIntellect-ai/prime是一个用于在互联网上高效、全球分布式训练AI模型的框架。它通过技术创新，实现了跨地域的AI模型训练，提高了计算资源的利用率，降低了训练成本，对于需要大规模计算资源的AI研究和应用开发具有重要意义。

开源实现分布式低通信AI模型训练

OpenDiLoCo是一个开源框架，用于实现和扩展DeepMind的分布式低通信(DiLoCo)方法，支持全球分布式AI模型训练。它通过提供可扩展的、去中心化的框架，使得在资源分散的地区也能高效地进行AI模型的训练，这对于推动AI技术的普及和创新具有重要意义。

分布式长视频生成技术

Video-Infinity 是一种分布式长视频生成技术，能够在5分钟内生成2300帧的视频，速度是先前方法的100倍。该技术基于VideoCrafter2模型，采用了Clip Parallelism和Dual-scope Attention等创新技术，显著提高了视频生成的效率和质量。

开源的MuZero实现，分布式AI框架

MuKoe是一个完全开源的MuZero实现，使用Ray作为分布式编排器在GKE上运行。它提供了Atari游戏的示例，并通过Google Next 2024的演讲提供了代码库的概览。MuKoe支持在CPU和TPU上运行，具有特定的硬件要求，适合需要大规模分布式计算资源的AI研究和开发。

3FS是一个高性能分布式文件系统，专为AI训练和推理工作负载设计。

3FS是一个专为AI训练和推理工作负载设计的高性能分布式文件系统。它利用现代SSD和RDMA网络，提供共享存储层，简化分布式应用开发。其核心优势在于高性能、强一致性和对多种工作负载的支持，能够显著提升AI开发和部署的效率。该系统适用于大规模AI项目，尤其在数据准备、训练和推理阶段表现出色。

DeepSeek-V3/R1 推理系统是一个高性能的分布式推理架构，专为大规模 AI 模型优化设计。

DeepSeek-V3/R1 推理系统是 DeepSeek 团队开发的高性能推理架构，旨在优化大规模稀疏模型的推理效率。它通过跨节点专家并行（EP）技术，显著提升 GPU 矩阵计算效率，降低延迟。该系统采用双批量重叠策略和多级负载均衡机制，确保在大规模分布式环境中高效运行。其主要优点包括高吞吐量、低延迟和优化的资源利用率，适用于高性能计算和 AI 推理场景。

基于AI的分布式自动支付处理器

Mobile Credits是一个基于AI的分布式自动支付处理器，确保安全快速地在全球范围内进行实时的资金转移，全天候提供服务。它提供了实时的、无需人工干预的交易处理能力，可以通过任何移动设备或已拥有的手机轻松进行全球范围的无接触即时支付。

一种用于V3/R1训练中计算与通信重叠的双向流水线并行算法。

DualPipe是一种创新的双向流水线并行算法，由DeepSeek-AI团队开发。该算法通过优化计算与通信的重叠，显著减少了流水线气泡，提高了训练效率。它在大规模分布式训练中表现出色，尤其适用于需要高效并行化的深度学习任务。DualPipe基于PyTorch开发，易于集成和扩展，适合需要高性能计算的开发者和研究人员使用。

LLaSA： 扩展基于 LLaMA 的语音合成的训练时间和测试时间计算量

LLaSA_training 是一个基于 LLaMA 的语音合成训练项目，旨在通过优化训练时间和推理时间的计算资源，提升语音合成模型的效率和性能。该项目利用开源数据集和内部数据集进行训练，支持多种配置和训练方式，具有较高的灵活性和可扩展性。其主要优点包括高效的数据处理能力、强大的语音合成效果以及对多种语言的支持。该项目适用于需要高性能语音合成解决方案的研究人员和开发者，可用于开发智能语音助手、语音播报系统等应用场景。

透明跟踪和触发，细粒度计算与集合的重叠

大型语言模型在训练和推断中越来越依赖于分布式技术。这些技术需要在设备之间进行通信，随着设备数量的增加，这可能会降低扩展效率。虽然一些分布式技术可以重叠，从而隐藏独立计算的通信，但类似张量并行（TP）的技术固有地将通信与模型执行串行化。隐藏这种串行化通信的一种方法是以细粒度的方式将其与生产者操作（通信数据的产生）交错在一起。然而，在软件中实现这种细粒度的通信和计算交错可能很困难。此外，与任何并发执行一样，它需要在计算和通信之间共享计算和内存资源，导致资源争用，从而降低了重叠效率。为了克服这些挑战，我们提出了T3，它应用硬件-软件共同设计，透明地重叠串行通信，同时最小化与计算的资源争用。T3通过简单配置生产者的输出地址空间，透明地融合了生产者操作和随后的通信，需要进行轻微的软件更改。在硬件层面，T3添加了轻量级的跟踪和触发机制，以编排生产者的计算和通信。它进一步利用增强计算的存储器来进行通信的相关计算。因此，T3减少了资源争用，并有效地将串行通信与计算重叠。对于重要的Transformer模型，如T-NLG，T3将通信密集型子层的速度提高了30%的几何平均值（最大47%），并将数据移动减少了22%的几何平均值（最大36%）。此外，随着模型的扩展，T3的好处仍然存在：对于sim500亿参数模型的子层，几何平均值为29%，PALM和MT-NLG。

TensorDock 提供高性能的云端 GPU 服务，专为深度学习、AI 和渲染工作负载设计。

TensorDock 是一个为需要无可妥协可靠性的工作负载而构建的专业云服务提供商。它提供多种 GPU 服务器选项，包括 NVIDIA H100 SXMs，以及针对深度学习、AI 和渲染的最具成本效益的虚拟机基础设施。TensorDock 还提供全托管容器托管服务，具备操作系统级监控、自动扩展和负载均衡功能。此外，TensorDock 提供世界级别的企业支持，由专业人员提供服务。

一种可扩展的内存层实现，用于在不增加计算量的情况下扩展模型参数.

Memory Layers at Scale 是一种创新的内存层实现方式，通过可训练的键值查找机制，在不增加浮点运算次数的情况下为模型增加额外的参数。这种方法在大规模语言模型中尤为重要，因为它能够在保持计算效率的同时，显著提升模型的存储和检索能力。该技术的主要优点包括高效扩展模型容量、降低计算资源消耗以及提高模型的灵活性和可扩展性。该项目由 Meta Lingua 团队开发，适用于需要处理大规模数据和复杂模型的场景。

一个用于专家并行负载均衡的开源算法，旨在优化多GPU环境下的专家分配和负载平衡。

Expert Parallelism Load Balancer (EPLB)是一种用于深度学习中专家并行（EP）的负载均衡算法。它通过冗余专家策略和启发式打包算法，确保不同GPU之间的负载平衡，同时利用组限制专家路由减少节点间数据流量。该算法对于大规模分布式训练具有重要意义，能够提高资源利用率和训练效率。

在家使用日常设备搭建自己的AI集群。

exo是一个实验性的软件项目，旨在利用家中的现有设备，如iPhone、iPad、Android、Mac、Linux等，统一成一个强大的GPU来运行AI模型。它支持多种流行的模型，如LLaMA，并具有动态模型分割功能，能够根据当前网络拓扑和设备资源来最优地分割模型。此外，exo还提供了与ChatGPT兼容的API，使得在应用程序中使用exo运行模型仅需一行代码的更改。

提供AI边缘处理器，专为实现高性能深度学习应用而设计。

Hailo AI on the Edge Processors提供AI加速器和视觉处理器，支持边缘设备解决方案，旨在实现新时代的AI边缘处理和视频增强。产品定位于提供高性能深度学习应用，同时支持感知和视频增强。

专为 AI 设计的 GPU 云平台，提供高性能基础设施和全天候支持。

CoreWeave GPU 云计算是一个专为人工智能工作负载打造的云平台，提供灵活且高效的 GPU 集群，能够满足企业在大规模计算和存储方面的需求。它的主要优势包括极高的性能、可靠性和可扩展性，适合各种 AI 应用场景。通过 CoreWeave，用户能够显著降低云成本，同时提升服务响应速度，是 AI 创新的理想选择。

AI开发规模化的民主化平台

Prime Intellect是一个致力于AI开发规模化民主化的平台，提供全球计算资源的发现、模型训练以及共同拥有智能创新的能力。它通过分布式训练跨集群，使得用户能够训练最前沿的模型，并且共同拥有由此产生的开放AI创新成果，包括语言模型和科学突破。

为深度学习和人工智能构建的数据平台

VAST Data Platform 是世界上第一个为深度学习和人工智能构建的数据平台，采用突破性的数据密集计算方法，提供全面的软件基础设施，实时进行深度数据分析和深度学习，用于捕获、分类、细化、丰富和保护数据。它是 20 年来的第一个新的可扩展架构，专为未来 20 年的人工智能和大数据计算而设计。VAST Data Platform 允许将所有渲染资产放入一个无层级存储集群中，将这些 PB 级数据用作未来人工智能应用的训练数据。它还具有强大的 AI 能力，可支持对大规模视频、音频和文本数据集构建和训练 AI/ML 模型，从而实现全球无摩擦的通信体验。

高性能AI加速器，专为AI工作负载设计。

Intel® Gaudi® 3 AI Accelerator是英特尔推出的一款高性能人工智能加速器，它基于高效的英特尔® Gaudi® 平台构建，具备出色的MLPerf基准性能，旨在处理要求苛刻的训练和推理任务。该加速器支持数据中心或云中的大型语言模型、多模态模型和企业RAG等人工智能应用程序，能够在您可能已经拥有的以太网基础设施上运行。无论您需要单个加速器还是数千个加速器，英特尔Gaudi 3都可以在您的AI成功中发挥关键作用。

一站式深度学习解决方案

深度学习助手是一款集模型训练、数据处理和结果分析于一体的深度学习平台。它提供丰富的神经网络模型，可以帮助用户快速构建和训练自己的深度学习模型。同时，它还具备数据预处理功能，方便用户对数据进行清洗和转换。除此之外，深度学习助手还提供了强大的结果分析工具，帮助用户深入理解和优化模型效果。定价灵活合理，适用于个人开发者和企业用户。

高性能云和云基础设施，适用于AI、机器学习、HPC和计算密集型应用。

Denvr Dataworks提供高性能云和云基础设施，支持AI、机器学习、HPC和计算密集型应用。我们的平台提供强大的计算和存储能力，帮助用户实现高效的数据处理和分析。无论您是开发人员、数据科学家还是企业用户，Denvr Dataworks都可以为您提供可靠和高性能的云解决方案。我们提供灵活的定价和弹性的资源配置，让您能够根据需求进行扩展和优化。

PygmalionAI的大规模推理引擎

Aphrodite是PygmalionAI的官方后端引擎，旨在为PygmalionAI网站提供推理端点，并允许以极快的速度为大量用户提供Pygmalion模型服务。Aphrodite利用vLLM的分页注意力技术，实现了连续批处理、高效的键值管理、优化的CUDA内核等特性，支持多种量化方案，以提高推理性能。

实现零泡泡管道并行的调度策略

Zero Bubble Pipeline Parallelism是大规模分布式训练的关键组成部分之一，其效率受到管道泡沫的影响。我们引入了一种调度策略，成功实现了在同步训练语义下零管道泡沫。这一改进的关键思想是将反向计算分为两部分，一部分计算输入的梯度，另一部分计算参数的梯度。基于这一思想，我们手工设计了新颖的管道调度，明显优于基准方法。我们进一步开发了一种算法，根据特定模型配置和内存限制自动找到最佳调度。此外，为了真正实现零泡泡，我们引入了一种新颖的技术，在优化器步骤期间绕过同步。实验评估表明，我们的方法在类似内存限制下的吞吐量比1F1B调度高出了最多23%。当内存约束放宽时，这一数字可以进一步提高至31%。我们相信我们的结果标志着在发挥管道并行潜力方面迈出了重要的一步。

深度学习、表示学习、细粒度分类

xinsir (qi) 是一个关于深度学习、表示学习和细粒度分类的产品。它提供了强大的功能和技术，具有主要优点和背景信息。该产品具有多个模型可供选择。

深度学习驱动的三维重建技术

VGGSfM是一种基于深度学习的三维重建技术，旨在从一组不受限制的2D图像中重建场景的相机姿态和3D结构。该技术通过完全可微分的深度学习框架，实现端到端的训练。它利用深度2D点跟踪技术提取可靠的像素级轨迹，同时基于图像和轨迹特征恢复所有相机，并通过可微分的捆绑调整层优化相机和三角化3D点。VGGSfM在CO3D、IMC Phototourism和ETH3D三个流行数据集上取得了最先进的性能。

高级API，简化TensorFlow深度学习

TFLearn是一个基于TensorFlow的深度学习库，提供了一个高级API，用于实现深度神经网络。它具有易于使用和理解的高级API，快速的原型设计功能，全面的TensorFlow透明性，并支持最新的深度学习技术。TFLearn支持卷积网络、LSTM、双向RNN、批量归一化、PReLU、残差网络、生成网络等模型。可以用于图像分类、序列生成等任务。

众包分布式图像和文本生成平台

AI Horde是一个众包分布式图像和文本生成平台。它由一群协作的工作者组成，提供高效的图像和文本生成服务。AI Horde提供稳定的性能、广泛的功能和多样的使用场景。无论是个人用户还是企业用户，都可以通过AI Horde获得高质量的图像和文本生成服务。AI Horde的定价合理，定位于满足用户的创作、设计、娱乐等需求。