产品库

一个用于专家并行负载均衡的开源算法，旨在优化多GPU环境下的专家分配和负载平衡。

Expert Parallelism Load Balancer (EPLB)是一种用于深度学习中专家并行（EP）的负载均衡算法。它通过冗余专家策略和启发式打包算法，确保不同GPU之间的负载平衡，同时利用组限制专家路由减少节点间数据流量。该算法对于大规模分布式训练具有重要意义，能够提高资源利用率和训练效率。

DeepEP 是一个针对 Mixture-of-Experts 和专家并行通信的高效通信库。

DeepEP 是一个专为混合专家模型（MoE）和专家并行（EP）设计的通信库。它提供了高吞吐量和低延迟的全连接 GPU 内核，支持低精度操作（如 FP8）。该库针对非对称域带宽转发进行了优化，适合训练和推理预填充任务。此外，它还支持流处理器（SM）数量控制，并引入了一种基于钩子的通信-计算重叠方法，不占用任何 SM 资源。DeepEP 的实现虽然与 DeepSeek-V3 论文略有差异，但其优化的内核和低延迟设计使其在大规模分布式训练和推理任务中表现出色。

DeepSeek-V3/R1 推理系统是一个高性能的分布式推理架构，专为大规模 AI 模型优化设计。

DeepSeek-V3/R1 推理系统是 DeepSeek 团队开发的高性能推理架构，旨在优化大规模稀疏模型的推理效率。它通过跨节点专家并行（EP）技术，显著提升 GPU 矩阵计算效率，降低延迟。该系统采用双批量重叠策略和多级负载均衡机制，确保在大规模分布式环境中高效运行。其主要优点包括高吞吐量、低延迟和优化的资源利用率，适用于高性能计算和 AI 推理场景。

Flux 是一个用于 GPU 上张量/专家并行的快速通信重叠库。

Flux 是由字节跳动开发的一个高性能通信重叠库，专为 GPU 上的张量和专家并行设计。它通过高效的内核和对 PyTorch 的兼容性，支持多种并行化策略，适用于大规模模型训练和推理。Flux 的主要优点包括高性能、易于集成和对多种 NVIDIA GPU 架构的支持。它在大规模分布式训练中表现出色，尤其是在 Mixture-of-Experts (MoE) 模型中，能够显著提高计算效率。

一个轻量级、灵活的代理框架，能够处理各种负载任务。

Bambo是一个新型的代理框架，与主流框架相比，它更加轻量级和灵活，能够处理各种负载任务。这个框架的主要优点是它的灵活性和轻量级特性，使得它可以在多种不同的场景下使用，特别是在需要处理大量数据和请求时。Bambo框架的背景信息显示，它是为了满足现代软件开发中对于高效率和高性能的需求而设计的。目前，该框架是开源的，可以免费使用。

高效的分布式数据并行框架，专为大型语言模型设计。

YaFSDP是一个分布式数据并行框架，专为与transformer类神经网络结构良好协作而设计。它在预训练大型语言模型(Large Language Models, LLMs)时比传统的FSDP快20%，并且在高内存压力条件下表现更佳。YaFSDP旨在减少通信和内存操作的开销。

与行业专家互动学习AI

Revive是一个使用AI模型的学习平台，通过与行业专家互动学习，根据你的回答调整学习内容并提供实时反馈。它可以帮助你进行创业创新、市场研究、商业规划等方面的学习。Revive的功能包括创业创意、创意验证、AI分析、商业规划、市场研究等，它适用于创业者、企业家、技术创业公司等。定价方面，请访问官方网站获取详细信息。

深度学习、表示学习、细粒度分类

xinsir (qi) 是一个关于深度学习、表示学习和细粒度分类的产品。它提供了强大的功能和技术，具有主要优点和背景信息。该产品具有多个模型可供选择。

高级API，简化TensorFlow深度学习

TFLearn是一个基于TensorFlow的深度学习库，提供了一个高级API，用于实现深度神经网络。它具有易于使用和理解的高级API，快速的原型设计功能，全面的TensorFlow透明性，并支持最新的深度学习技术。TFLearn支持卷积网络、LSTM、双向RNN、批量归一化、PReLU、残差网络、生成网络等模型。可以用于图像分类、序列生成等任务。

深度学习天气预测模型

GraphCast是由Google DeepMind开发的深度学习模型，专注于全球中期天气预报。该模型通过先进的机器学习技术，能够预测天气变化，提高预报的准确性和速度。GraphCast模型在科学研究中发挥重要作用，有助于更好地理解和预测天气模式，对气象学、农业、航空等多个领域具有重要价值。

深度学习API，简单、灵活、强大

Keras是一个为人类设计的API，遵循最佳实践，简化认知负荷，提供一致而简单的API，最大限度地减少常见用例所需的用户操作次数，并提供清晰而可操作的错误信息。Keras旨在为任何希望推出基于机器学习的应用程序的开发人员提供不公平的优势。Keras专注于调试速度、代码优雅性和简洁性、可维护性和可部署性。使用Keras，您的代码库更小，更易读，更易于迭代。您的模型在XLA编译和Autograph优化的加持下运行更快，并且更容易在每个平台（服务器、移动设备、浏览器、嵌入式设备）上部署。

深入理解深度学习的原理与应用

《Understanding Deep Learning》是一本深入探讨深度学习原理和应用的书籍。它提供了丰富的数学背景知识、监督学习、神经网络的构建与训练等深度学习领域的全面内容。书中提供的Python笔记本练习帮助读者通过实践来加深理解。此外，还有为教师提供的资源，包括图像、幻灯片和教辅材料。

TensorDock 提供高性能的云端 GPU 服务，专为深度学习、AI 和渲染工作负载设计。

TensorDock 是一个为需要无可妥协可靠性的工作负载而构建的专业云服务提供商。它提供多种 GPU 服务器选项，包括 NVIDIA H100 SXMs，以及针对深度学习、AI 和渲染的最具成本效益的虚拟机基础设施。TensorDock 还提供全托管容器托管服务，具备操作系统级监控、自动扩展和负载均衡功能。此外，TensorDock 提供世界级别的企业支持，由专业人员提供服务。

一种用于V3/R1训练中计算与通信重叠的双向流水线并行算法。

DualPipe是一种创新的双向流水线并行算法，由DeepSeek-AI团队开发。该算法通过优化计算与通信的重叠，显著减少了流水线气泡，提高了训练效率。它在大规模分布式训练中表现出色，尤其适用于需要高效并行化的深度学习任务。DualPipe基于PyTorch开发，易于集成和扩展，适合需要高性能计算的开发者和研究人员使用。

统一的深度学习训练框架

AXLearn是Apple基于JAX和XLA构建的深度学习库,采用面向对象的方式解决软件工程在大规模深度学习模型开发中的挑战。它的配置系统允许用户从可重用的构建块中组合模型,并与其他库(如Flax和Hugging Face transformers)集成。AXLearn旨在扩展训练规模,支持数百亿参数的模型在数千个加速器上高效训练,适合在公有云上部署。它还采用全局计算范式,允许用户描述全局虚拟计算机上的计算,而不是单个加速器。AXLearn支持广泛的应用,包括自然语言处理、计算机视觉和语音识别,并包含用于训练最先进模型的基线配置。

从零开始学习深度学习，实现GPT模型

zero_to_gpt是一个旨在帮助用户从零基础学习深度学习，并最终实现训练自己的GPT模型的教程。随着人工智能技术走出实验室并广泛应用于各行各业，社会对于能够理解并应用AI技术的人才需求日益增长。本教程结合理论与实践，通过解决实际问题（如天气预测、语言翻译等）来深入讲解深度学习的理论基础，如梯度下降和反向传播。课程内容从基础的神经网络架构和训练方法开始，逐步深入到复杂主题，如变换器、GPU编程和分布式训练。

数学作为黑箱的深度学习模型

MathBlackBox是一个深度学习模型，旨在探索数学问题解决的黑箱方法。它使用VLLM或其他OpenAI兼容的方法，通过Huggingface工具包和OpenAI进行推理，支持在Slurm环境下运行，并能够处理多种数据集。该项目目前处于早期阶段，需要充分测试后才能部署到实际产品中。

深度学习领域的经典教材中文翻译

《深度学习》是一本由Simon J.D. Prince所著的深度学习领域的经典教材，MIT Press于2023年12月5日出版。本书涵盖了深度学习领域的许多关键概念，适合初学者和有经验的开发者阅读。本仓库提供了该书的中文翻译，翻译基于原书的最新版本，使用ChatGPT进行机翻并进行人工审核，确保翻译的准确性。

深度学习模型训练脚本集

x-flux是由XLabs AI团队发布的深度学习模型训练脚本集，包括LoRA和ControlNet模型。这些模型使用DeepSpeed进行训练，支持512x512和1024x1024图片尺寸，并且提供了相应的训练配置文件和示例。x-flux模型训练旨在提高图像生成的质量和效率，对于AI图像生成领域具有重要意义。

简化你的云端管理

云路由是一个简化云端管理的平台，提供功能强大的云端服务，包括服务器管理、备份与恢复、负载均衡等。通过云路由，用户可以轻松管理他们的云端资源，提高生产力并节省时间和成本。

开源分布式深度学习工具

The Microsoft Cognitive Toolkit（CNTK）是一个开源的商业级分布式深度学习工具。它通过有向图描述神经网络的计算步骤，支持常见的模型类型，并实现了自动微分和并行计算。CNTK支持64位Linux和Windows操作系统，可以作为Python、C或C++程序的库使用，也可以通过其自身的模型描述语言BrainScript作为独立的机器学习工具使用。

深度学习文档解析API

Cradl AI是一个专为开发者和具有高级数据捕获需求的企业设计的文档解析API。利用深度学习的强大能力，快速构建、训练和部署先进的文档解析模型，无需具备机器学习经验。提供灵活的定价和部署选项，适用于各种场景。

一种用于生成图像的深度学习模型。

SD3-Controlnet-Canny 是一种基于深度学习的图像生成模型，它能够根据用户提供的文本提示生成具有特定风格的图像。该模型利用控制网络技术，可以更精确地控制生成图像的细节和风格，从而提高图像生成的质量和多样性。

ChatGPT服务器负载监控解决方案

Chat GPT Server Status是一款强大的插件，可以实时跟踪ChatGPT的负载，确保服务器始终以最佳性能运行。该插件非常简单易用，即使对技术知识有限的用户也能轻松安装和使用。它提供了三种颜色（红色、橙色和绿色）来指示ChatGPT的状态，这些颜色会根据服务的工作情况实时变化。绿色表示ChatGPT正常工作，没有任何问题；橙色表示可能存在一些问题，用户需要谨慎使用；红色表示ChatGPT存在重大问题，可能无法正常工作，用户应避免使用服务直到问题解决。

基于深度强化学习的模型微调框架

ReFT是一个开源的研究项目，旨在通过深度强化学习技术对大型语言模型进行微调，以提高其在特定任务上的表现。该项目提供了详细的代码和数据，以便研究人员和开发者能够复现论文中的结果。ReFT的主要优点包括能够利用强化学习自动调整模型参数，以及通过微调提高模型在特定任务上的性能。产品背景信息显示，ReFT基于Codellama和Galactica模型，遵循Apache2.0许可证。

实现零泡泡管道并行的调度策略

Zero Bubble Pipeline Parallelism是大规模分布式训练的关键组成部分之一，其效率受到管道泡沫的影响。我们引入了一种调度策略，成功实现了在同步训练语义下零管道泡沫。这一改进的关键思想是将反向计算分为两部分，一部分计算输入的梯度，另一部分计算参数的梯度。基于这一思想，我们手工设计了新颖的管道调度，明显优于基准方法。我们进一步开发了一种算法，根据特定模型配置和内存限制自动找到最佳调度。此外，为了真正实现零泡泡，我们引入了一种新颖的技术，在优化器步骤期间绕过同步。实验评估表明，我们的方法在类似内存限制下的吞吐量比1F1B调度高出了最多23%。当内存约束放宽时，这一数字可以进一步提高至31%。我们相信我们的结果标志着在发挥管道并行潜力方面迈出了重要的一步。

一站式深度学习解决方案

深度学习助手是一款集模型训练、数据处理和结果分析于一体的深度学习平台。它提供丰富的神经网络模型，可以帮助用户快速构建和训练自己的深度学习模型。同时，它还具备数据预处理功能，方便用户对数据进行清洗和转换。除此之外，深度学习助手还提供了强大的结果分析工具，帮助用户深入理解和优化模型效果。定价灵活合理，适用于个人开发者和企业用户。

人工智能入门教程网站，提供全面的机器学习与深度学习知识。

该网站由作者从 2015 年开始学习机器学习和深度学习,整理并编写的一系列实战教程。涵盖监督学习、无监督学习、深度学习等多个领域,既有理论推导,又有代码实现,旨在帮助初学者全面掌握人工智能的基础知识和实践技能。网站拥有独立域名,内容持续更新,欢迎大家关注和学习。

音频处理和生成的深度学习库

AudioCraft 是一个用于音频处理和生成的 PyTorch 库。它包含了两个最先进的人工智能生成模型：AudioGen 和 MusicGen，可以生成高质量的音频。AudioCraft 还提供了 EnCodec 音频压缩 / 分词器和 Multi Band Diffusion 解码器等功能。该库适用于音频生成的深度学习研究。