产品库

透明跟踪和触发，细粒度计算与集合的重叠

大型语言模型在训练和推断中越来越依赖于分布式技术。这些技术需要在设备之间进行通信，随着设备数量的增加，这可能会降低扩展效率。虽然一些分布式技术可以重叠，从而隐藏独立计算的通信，但类似张量并行（TP）的技术固有地将通信与模型执行串行化。隐藏这种串行化通信的一种方法是以细粒度的方式将其与生产者操作（通信数据的产生）交错在一起。然而，在软件中实现这种细粒度的通信和计算交错可能很困难。此外，与任何并发执行一样，它需要在计算和通信之间共享计算和内存资源，导致资源争用，从而降低了重叠效率。为了克服这些挑战，我们提出了T3，它应用硬件-软件共同设计，透明地重叠串行通信，同时最小化与计算的资源争用。T3通过简单配置生产者的输出地址空间，透明地融合了生产者操作和随后的通信，需要进行轻微的软件更改。在硬件层面，T3添加了轻量级的跟踪和触发机制，以编排生产者的计算和通信。它进一步利用增强计算的存储器来进行通信的相关计算。因此，T3减少了资源争用，并有效地将串行通信与计算重叠。对于重要的Transformer模型，如T-NLG，T3将通信密集型子层的速度提高了30%的几何平均值（最大47%），并将数据移动减少了22%的几何平均值（最大36%）。此外，随着模型的扩展，T3的好处仍然存在：对于sim500亿参数模型的子层，几何平均值为29%，PALM和MT-NLG。

高效全球分布式AI模型训练框架

PrimeIntellect-ai/prime是一个用于在互联网上高效、全球分布式训练AI模型的框架。它通过技术创新，实现了跨地域的AI模型训练，提高了计算资源的利用率，降低了训练成本，对于需要大规模计算资源的AI研究和应用开发具有重要意义。

分布式长视频生成技术

Video-Infinity 是一种分布式长视频生成技术，能够在5分钟内生成2300帧的视频，速度是先前方法的100倍。该技术基于VideoCrafter2模型，采用了Clip Parallelism和Dual-scope Attention等创新技术，显著提高了视频生成的效率和质量。

高效的分布式数据并行框架，专为大型语言模型设计。

YaFSDP是一个分布式数据并行框架，专为与transformer类神经网络结构良好协作而设计。它在预训练大型语言模型(Large Language Models, LLMs)时比传统的FSDP快20%，并且在高内存压力条件下表现更佳。YaFSDP旨在减少通信和内存操作的开销。

分析 V3/R1 中的计算与通信重叠策略，提供深度学习框架的性能分析数据。

DeepSeek Profile Data 是一个专注于深度学习框架性能分析的项目。它通过 PyTorch Profiler 捕获训练和推理框架的性能数据，帮助研究人员和开发者更好地理解计算与通信重叠策略以及底层实现细节。这些数据对于优化大规模分布式训练和推理任务至关重要，能够显著提升系统的效率和性能。该项目是 DeepSeek 团队在深度学习基础设施领域的重要贡献，旨在推动社区对高效计算策略的探索。

开源分布式深度学习工具

The Microsoft Cognitive Toolkit（CNTK）是一个开源的商业级分布式深度学习工具。它通过有向图描述神经网络的计算步骤，支持常见的模型类型，并实现了自动微分和并行计算。CNTK支持64位Linux和Windows操作系统，可以作为Python、C或C++程序的库使用，也可以通过其自身的模型描述语言BrainScript作为独立的机器学习工具使用。

开源实现分布式低通信AI模型训练

OpenDiLoCo是一个开源框架，用于实现和扩展DeepMind的分布式低通信(DiLoCo)方法，支持全球分布式AI模型训练。它通过提供可扩展的、去中心化的框架，使得在资源分散的地区也能高效地进行AI模型的训练，这对于推动AI技术的普及和创新具有重要意义。

开源的MuZero实现，分布式AI框架

MuKoe是一个完全开源的MuZero实现，使用Ray作为分布式编排器在GKE上运行。它提供了Atari游戏的示例，并通过Google Next 2024的演讲提供了代码库的概览。MuKoe支持在CPU和TPU上运行，具有特定的硬件要求，适合需要大规模分布式计算资源的AI研究和开发。

基于AI的分布式自动支付处理器

Mobile Credits是一个基于AI的分布式自动支付处理器，确保安全快速地在全球范围内进行实时的资金转移，全天候提供服务。它提供了实时的、无需人工干预的交易处理能力，可以通过任何移动设备或已拥有的手机轻松进行全球范围的无接触即时支付。

3FS是一个高性能分布式文件系统，专为AI训练和推理工作负载设计。

3FS是一个专为AI训练和推理工作负载设计的高性能分布式文件系统。它利用现代SSD和RDMA网络，提供共享存储层，简化分布式应用开发。其核心优势在于高性能、强一致性和对多种工作负载的支持，能够显著提升AI开发和部署的效率。该系统适用于大规模AI项目，尤其在数据准备、训练和推理阶段表现出色。

DeepSeek-V3/R1 推理系统是一个高性能的分布式推理架构，专为大规模 AI 模型优化设计。

DeepSeek-V3/R1 推理系统是 DeepSeek 团队开发的高性能推理架构，旨在优化大规模稀疏模型的推理效率。它通过跨节点专家并行（EP）技术，显著提升 GPU 矩阵计算效率，降低延迟。该系统采用双批量重叠策略和多级负载均衡机制，确保在大规模分布式环境中高效运行。其主要优点包括高吞吐量、低延迟和优化的资源利用率，适用于高性能计算和 AI 推理场景。

现代硬件设计的CAD软件

Zoo提供了一个现代的硬件设计工具包，包括GPU驱动引擎、按需付费、远程流媒体和开放API兼容等特点，旨在提高硬件设计效率和降低成本。它允许用户创建前所未有的新设计工具，无论是个人爱好者、初创企业还是大型企业，Zoo的安全基础设施都能加速项目和工具的发展。

一种用于V3/R1训练中计算与通信重叠的双向流水线并行算法。

DualPipe是一种创新的双向流水线并行算法，由DeepSeek-AI团队开发。该算法通过优化计算与通信的重叠，显著减少了流水线气泡，提高了训练效率。它在大规模分布式训练中表现出色，尤其适用于需要高效并行化的深度学习任务。DualPipe基于PyTorch开发，易于集成和扩展，适合需要高性能计算的开发者和研究人员使用。

一种可扩展的内存层实现，用于在不增加计算量的情况下扩展模型参数.

Memory Layers at Scale 是一种创新的内存层实现方式，通过可训练的键值查找机制，在不增加浮点运算次数的情况下为模型增加额外的参数。这种方法在大规模语言模型中尤为重要，因为它能够在保持计算效率的同时，显著提升模型的存储和检索能力。该技术的主要优点包括高效扩展模型容量、降低计算资源消耗以及提高模型的灵活性和可扩展性。该项目由 Meta Lingua 团队开发，适用于需要处理大规模数据和复杂模型的场景。

在家使用日常设备搭建自己的AI集群。

exo是一个实验性的软件项目，旨在利用家中的现有设备，如iPhone、iPad、Android、Mac、Linux等，统一成一个强大的GPU来运行AI模型。它支持多种流行的模型，如LLaMA，并具有动态模型分割功能，能够根据当前网络拓扑和设备资源来最优地分割模型。此外，exo还提供了与ChatGPT兼容的API，使得在应用程序中使用exo运行模型仅需一行代码的更改。

PygmalionAI的大规模推理引擎

Aphrodite是PygmalionAI的官方后端引擎，旨在为PygmalionAI网站提供推理端点，并允许以极快的速度为大量用户提供Pygmalion模型服务。Aphrodite利用vLLM的分页注意力技术，实现了连续批处理、高效的键值管理、优化的CUDA内核等特性，支持多种量化方案，以提高推理性能。

LLaSA： 扩展基于 LLaMA 的语音合成的训练时间和测试时间计算量

LLaSA_training 是一个基于 LLaMA 的语音合成训练项目，旨在通过优化训练时间和推理时间的计算资源，提升语音合成模型的效率和性能。该项目利用开源数据集和内部数据集进行训练，支持多种配置和训练方式，具有较高的灵活性和可扩展性。其主要优点包括高效的数据处理能力、强大的语音合成效果以及对多种语言的支持。该项目适用于需要高性能语音合成解决方案的研究人员和开发者，可用于开发智能语音助手、语音播报系统等应用场景。

AI开发规模化的民主化平台

Prime Intellect是一个致力于AI开发规模化民主化的平台，提供全球计算资源的发现、模型训练以及共同拥有智能创新的能力。它通过分布式训练跨集群，使得用户能够训练最前沿的模型，并且共同拥有由此产生的开放AI创新成果，包括语言模型和科学突破。

云端计算机视觉软件平台

LandingLens是一个云端计算机视觉软件平台，通过直观的界面和自然的提示交互，使您能够在几分钟内创建自定义的计算机视觉项目。其数据导向的人工智能技术确保即使在小型数据集的情况下，模型也能正常工作。LandingLens提供灵活的部署选项，包括云端和边缘设备，使其易于集成到现有环境中。无论是单个生产线还是全球运营，LandingLens都能轻松扩展项目。

即时AI生成式设计工具

即时设计是一款AI生成式设计工具，通过输入文字即可生成相应的设计作品，帮助用户快速实现创意设计。产品定价根据用户需求而定，定位于提供高效便捷的设计解决方案。

实现零泡泡管道并行的调度策略

Zero Bubble Pipeline Parallelism是大规模分布式训练的关键组成部分之一，其效率受到管道泡沫的影响。我们引入了一种调度策略，成功实现了在同步训练语义下零管道泡沫。这一改进的关键思想是将反向计算分为两部分，一部分计算输入的梯度，另一部分计算参数的梯度。基于这一思想，我们手工设计了新颖的管道调度，明显优于基准方法。我们进一步开发了一种算法，根据特定模型配置和内存限制自动找到最佳调度。此外，为了真正实现零泡泡，我们引入了一种新颖的技术，在优化器步骤期间绕过同步。实验评估表明，我们的方法在类似内存限制下的吞吐量比1F1B调度高出了最多23%。当内存约束放宽时，这一数字可以进一步提高至31%。我们相信我们的结果标志着在发挥管道并行潜力方面迈出了重要的一步。

构建最节能的人工智能硬件

Rain AI专注于开发高能效的人工智能硬件。在当前能源消耗日益增长的背景下，Rain AI的产品通过优化硬件设计，减少能源消耗，同时保持高性能，这对于数据中心和需要大量计算资源的企业来说至关重要。产品的主要优点包括高能效、高性能和环保。Rain AI的产品背景信息显示，公司致力于推动人工智能技术的可持续发展，通过技术创新减少对环境的影响。产品的价格和定位尚未明确，但可以推测其目标市场为需要高性能计算且对能源效率有高要求的企业。

众包分布式图像和文本生成平台

AI Horde是一个众包分布式图像和文本生成平台。它由一群协作的工作者组成，提供高效的图像和文本生成服务。AI Horde提供稳定的性能、广泛的功能和多样的使用场景。无论是个人用户还是企业用户，都可以通过AI Horde获得高质量的图像和文本生成服务。AI Horde的定价合理，定位于满足用户的创作、设计、娱乐等需求。

快速易用的LLM推理和服务平台

vLLM是一个为大型语言模型(LLM)推理和提供服务的快速、易用且高效的库。它通过使用最新的服务吞吐量技术、高效的内存管理、连续批处理请求、CUDA/HIP图快速模型执行、量化技术、优化的CUDA内核等，提供了高性能的推理服务。vLLM支持与流行的HuggingFace模型无缝集成，支持多种解码算法，包括并行采样、束搜索等，支持张量并行性，适用于分布式推理，支持流式输出，并兼容OpenAI API服务器。此外，vLLM还支持NVIDIA和AMD GPU，以及实验性的前缀缓存和多lora支持。

个性化定制软件，由生成式AI根据你的需求设计和构建

Durable是一款由生成式AI根据用户需求定制的软件。它能够根据用户提供的信息生成可部署的定制软件，满足用户独特的需求，并赢得用户的信任。Durable团队由经验丰富的创始人领导，得到了理解构建具有技术挑战但具有变革性产品所需的风险投资支持，并得到了人工智能研究领域的领导者的指导。 为了实现我们的愿景，我们建立了一种新型人工智能，它知道自己知道什么，不知道什么，能做什么，不能做什么。它通过提问以理解用户的意图，并能明确验证自己的假设。它通过不断学习和推理建立一个无限和个性化的世界模型。它由神经符号AI驱动，结合了深度学习在处理语言方面的优势和符号AI在推理能力方面的优势。 如果您对开发这一人工智能的下一章节感到兴奋，我们非常乐意听取您的意见。我们有空缺职位，并且全年接受学术实习申请。 我们将向一小群现有和未来的朋友提供我们在私人substack上的进展。请求访问。 联系我们。

易用的室内设计软件

SmartDraw是一款易用的室内设计软件，提供了丰富的模板和符号库，支持与其他应用程序的协作，可直接保存到常用的文件存储系统中。用户无需具备设计师的专业技能，即可轻松创建出专业的室内设计方案。

高效的大型语言模型（LLM）研究代码库

Meta Lingua 是一个轻量级、高效的大型语言模型（LLM）训练和推理库，专为研究而设计。它使用了易于修改的PyTorch组件，使得研究人员可以尝试新的架构、损失函数和数据集。该库旨在实现端到端的训练、推理和评估，并提供工具以更好地理解模型的速度和稳定性。尽管Meta Lingua目前仍在开发中，但已经提供了多个示例应用来展示如何使用这个代码库。

PCB设计协作平台

Flux是一个PCB设计平台,能帮助硬件工程师10倍提高从idea到PCB原型的速度。它使用AI辅助功能,提供基于云的协作,重用组件库等,减少重复工作,使团队保持同步。

专为 AI 设计的 GPU 云平台，提供高性能基础设施和全天候支持。

CoreWeave GPU 云计算是一个专为人工智能工作负载打造的云平台，提供灵活且高效的 GPU 集群，能够满足企业在大规模计算和存储方面的需求。它的主要优势包括极高的性能、可靠性和可扩展性，适合各种 AI 应用场景。通过 CoreWeave，用户能够显著降低云成本，同时提升服务响应速度，是 AI 创新的理想选择。

共同育儿沟通的和平使者

BestInterest是一款旨在通过人工智能调解技术，帮助共同育儿的父母进行高效沟通的应用。它不需要共同育儿协议即可使用，无需法庭命令，可以即时审查所有消息以确保清晰度和以孩子为中心。BestInterest还提供了共同育儿教练，帮助父母应对共同育儿中的起伏。这款应用不仅改变了共同育儿的动态，还提供了一个平台，让父母可以远离法庭，通过和平的方式解决育儿中的冲突。