Flux 是一个用于 GPU 上张量/专家并行的快速通信重叠库。
Flux 是由字节跳动开发的一个高性能通信重叠库，专为 GPU 上的张量和专家并行设计。它通过高效的内核和对 PyTorch 的兼容性，支持多种并行化策略，适用于大规模模型训练和推理。Flux 的主要优点包括高性能、易于集成和对多种 NVIDIA GPU 架构的支持。它在大规模分布式训练中表现出色，尤其是在 Mixture-of-Experts (MoE) 模型中，能够显著提高计算效率。
DeepSeek-V3/R1 推理系统是一个高性能的分布式推理架构，专为大规模 AI 模型优化设计。
DeepSeek-V3/R1 推理系统是 DeepSeek 团队开发的高性能推理架构，旨在优化大规模稀疏模型的推理效率。它通过跨节点专家并行（EP）技术，显著提升 GPU 矩阵计算效率，降低延迟。该系统采用双批量重叠策略和多级负载均衡机制，确保在大规模分布式环境中高效运行。其主要优点包括高吞吐量、低延迟和优化的资源利用率，适用于高性能计算和 AI 推理场景。
一个用于专家并行负载均衡的开源算法，旨在优化多GPU环境下的专家分配和负载平衡。
Expert Parallelism Load Balancer (EPLB)是一种用于深度学习中专家并行（EP）的负载均衡算法。它通过冗余专家策略和启发式打包算法，确保不同GPU之间的负载平衡，同时利用组限制专家路由减少节点间数据流量。该算法对于大规模分布式训练具有重要意义，能够提高资源利用率和训练效率。
一种用于V3/R1训练中计算与通信重叠的双向流水线并行算法。
DualPipe是一种创新的双向流水线并行算法，由DeepSeek-AI团队开发。该算法通过优化计算与通信的重叠，显著减少了流水线气泡，提高了训练效率。它在大规模分布式训练中表现出色，尤其适用于需要高效并行化的深度学习任务。DualPipe基于PyTorch开发，易于集成和扩展，适合需要高性能计算的开发者和研究人员使用。
DeepEP 是一个针对 Mixture-of-Experts 和专家并行通信的高效通信库。
DeepEP 是一个专为混合专家模型（MoE）和专家并行（EP）设计的通信库。它提供了高吞吐量和低延迟的全连接 GPU 内核，支持低精度操作（如 FP8）。该库针对非对称域带宽转发进行了优化，适合训练和推理预填充任务。此外，它还支持流处理器（SM）数量控制，并引入了一种基于钩子的通信-计算重叠方法，不占用任何 SM 资源。DeepEP 的实现虽然与 DeepSeek-V3 论文略有差异，但其优化的内核和低延迟设计使其在大规模分布式训练和推理任务中表现出色。
MiniMax-Text-01是一个强大的语言模型，具有4560亿总参数，能够处理长达400万token的上下文。
MiniMax-Text-01是一个由MiniMaxAI开发的大型语言模型，拥有4560亿总参数，其中每个token激活459亿参数。它采用了混合架构，结合了闪电注意力、softmax注意力和专家混合（MoE）技术，通过先进的并行策略和创新的计算-通信重叠方法，如线性注意力序列并行主义加（LASP+）、变长环形注意力、专家张量并行（ETP）等，将训练上下文长度扩展到100万token，并能在推理时处理长达400万token的上下文。在多个学术基准测试中，MiniMax-Text-01展现出了顶级模型的性能。
AI驱动的任务管道和多代理团队框架
Orchestra是一个用于创建AI驱动的任务管道和多代理团队的框架。它允许开发者和企业构建复杂的工作流程，通过集成不同的AI模型和工具来自动化任务处理。Orchestra的背景信息显示，它由Mainframe开发，旨在提供一个强大的平台，以支持AI技术的集成和应用。产品的主要优点包括其灵活性和可扩展性，能够适应不同的业务需求和场景。目前，Orchestra提供免费试用，具体的价格和定位信息需要进一步查询。
基于线程的数据加载解决方案，加速AI模型训练。
SPDL（Scalable and Performant Data Loading）是由Meta Reality Labs开发的一种新的数据加载解决方案，旨在提高AI模型训练的效率。它采用基于线程的并行处理，相比传统的基于进程的解决方案，SPDL在普通Python解释器中实现了高吞吐量，并且消耗的计算资源更少。SPDL与Free-Threaded Python兼容，在禁用GIL的情况下，比启用GIL的FT Python实现更高的吞吐量。SPDL的主要优点包括高吞吐量、易于理解的性能、不封装预处理操作、不引入领域特定语言（DSL）、无缝集成异步工具、灵活性、简单直观以及容错性。SPDL的背景信息显示，随着模型规模的增长，对数据的计算需求也随之增加，而SPDL通过最大化GPU的利用，加快了模型训练的速度。
开源机器人模拟平台，用于生成无限机器人数据和泛化AI。
ManiSkill是一个领先的开源平台，专注于机器人模拟、无限机器人数据生成和泛化机器人AI。由HillBot.ai领导，该平台支持通过状态和/或视觉输入快速训练机器人，与其它平台相比，ManiSkill/SAPIEN实现了10-100倍的视觉数据收集速度。它支持在GPU上并行模拟和渲染RGB-D，速度高达30,000+FPS。ManiSkill提供了40多种技能/任务和2000多个对象的预构建任务，拥有数百万帧的演示和密集的奖励函数，用户无需自己收集资产或设计任务，可以专注于算法开发。此外，它还支持在每个并行环境中同时模拟不同的对象和关节，训练泛化机器人策略/AI的时间从天缩短到分钟。ManiSkill易于使用，可以通过pip安装，并提供简单灵活的GUI以及所有功能的广泛文档。
高效并行音频生成技术
SoundStorm是由Google Research开发的一种音频生成技术，它通过并行生成音频令牌来大幅减少音频合成的时间。这项技术能够生成高质量、与语音和声学条件一致性高的音频，并且可以与文本到语义模型结合，控制说话内容、说话者声音和说话轮次，实现长文本的语音合成和自然对话的生成。SoundStorm的重要性在于它解决了传统自回归音频生成模型在处理长序列时推理速度慢的问题，提高了音频生成的效率和质量。
用于测试和开发AI代理的可扩展开源框架
Windows Agent Arena (WAA) 是一个专注于Windows操作系统的可扩展、开源框架，用于测试和开发能够使用语言模型在PC上进行推理、规划和行动的AI代理。它通过模拟真实的Windows环境，允许代理自由操作，并使用与人类用户相同的应用程序、工具和网络浏览器来解决任务。WAA通过Azure实现可扩展性和并行化，能够在短短20分钟内完成完整的基准测试评估。
大型语言模型，支持多种参数规模
Meta Llama 3 是 Meta 推出的最新大型语言模型，旨在为个人、创作者、研究人员和各类企业解锁大型语言模型的能力。该模型包含从8B到70B参数的不同规模版本，支持预训练和指令调优。模型通过 GitHub 仓库提供，用户可以通过下载模型权重和分词器进行本地推理。Meta Llama 3 的发布标志着大型语言模型技术的进一步普及和应用，具有广泛的研究和商业潜力。
无代码LLM平台，用于结构化非结构化文档。
Unstract是一个无代码的LLM（大型语言模型）平台，它允许用户通过简单的无代码方法启动APIs和ETL管道来处理非结构化文档。它支持从多种云文件/对象存储系统中读取复杂文档，并将结构化数据写入流行的数据仓库和数据库。Unstract利用大型语言模型的能力，超越了传统的RPA（机器人流程自动化），实现了机器到机器的自动化。
高效的分布式数据并行框架，专为大型语言模型设计。
YaFSDP是一个分布式数据并行框架，专为与transformer类神经网络结构良好协作而设计。它在预训练大型语言模型(Large Language Models, LLMs)时比传统的FSDP快20%，并且在高内存压力条件下表现更佳。YaFSDP旨在减少通信和内存操作的开销。
实现零泡泡管道并行的调度策略
Zero Bubble Pipeline Parallelism是大规模分布式训练的关键组成部分之一，其效率受到管道泡沫的影响。我们引入了一种调度策略，成功实现了在同步训练语义下零管道泡沫。这一改进的关键思想是将反向计算分为两部分，一部分计算输入的梯度，另一部分计算参数的梯度。基于这一思想，我们手工设计了新颖的管道调度，明显优于基准方法。我们进一步开发了一种算法，根据特定模型配置和内存限制自动找到最佳调度。此外，为了真正实现零泡泡，我们引入了一种新颖的技术，在优化器步骤期间绕过同步。实验评估表明，我们的方法在类似内存限制下的吞吐量比1F1B调度高出了最多23%。当内存约束放宽时，这一数字可以进一步提高至31%。我们相信我们的结果标志着在发挥管道并行潜力方面迈出了重要的一步。
AI数据映射，秒速创建数据管道
Lume AI提供AI数据映射服务，可快速创建和维护数据管道，实现秒速数据映射。其主要功能包括自动化数据映射、数据管道可视化管理、数据摄入扩展、遗留数据规范化、快速构建数据管道、自动维护映射、解决复杂数据映射问题等。该产品定位于为企业提供智能化、高效的数据处理解决方案。
针对垂直需求优化的AI SaaS
SymphonyAI是一款为特定业务工作流程构建和优化的AI SaaS产品。它结合了预测性和生成性AI，提供接近实时的洞察力和做预测的能力。产品具有优雅实用的用户界面，支持低代码和自然语言接口，以及有效的AI生命周期管理。它还提供了安全、可扩展和访问性强的数据平台，以及行业特定的数据连接器。SymphonyAI适用于各个行业和用例，提供了垂直领域和任务特定的LLMs，以提供相关的上下文信息。产品支持云规模和安全性，原生支持云、混合或本地操作，并提供企业级安全和隐私保护。它还提供了完整的ML和数据管道功能，以及角色基础的访问控制和隐私标准合规性。
自动化数据管道，为您的AI应用提供支持
TURBINE是一款自动化数据管道工具，可为您的AI应用提供支持。它使用全面管理的向量数据库和持续数据管道，为您的LLM应用程序添加长期记忆和丰富的上下文。TURBINE可以与您现有的数据库无缝集成，支持PostgreSQL、MongoDB和MySQL数据库。它使用最先进的数据工程流水线，实时同步数据库更改，支持语义搜索，支持Pinecone和Milvus等向量数据库，支持多种嵌入模型，可通过Python和TypeScript SDKs轻松启动，可根据您的用例进行调整和优化，易于与LangChain AI bot集成，具有极快的速度和可扩展性。
© 2025 AIbase 备案号：闽ICP备08105208号-14