产品库

DeepSeek-V3/R1 推理系统是一个高性能的分布式推理架构，专为大规模 AI 模型优化设计。

DeepSeek-V3/R1 推理系统是 DeepSeek 团队开发的高性能推理架构，旨在优化大规模稀疏模型的推理效率。它通过跨节点专家并行（EP）技术，显著提升 GPU 矩阵计算效率，降低延迟。该系统采用双批量重叠策略和多级负载均衡机制，确保在大规模分布式环境中高效运行。其主要优点包括高吞吐量、低延迟和优化的资源利用率，适用于高性能计算和 AI 推理场景。

一个用于专家并行负载均衡的开源算法，旨在优化多GPU环境下的专家分配和负载平衡。

Expert Parallelism Load Balancer (EPLB)是一种用于深度学习中专家并行（EP）的负载均衡算法。它通过冗余专家策略和启发式打包算法，确保不同GPU之间的负载平衡，同时利用组限制专家路由减少节点间数据流量。该算法对于大规模分布式训练具有重要意义，能够提高资源利用率和训练效率。

3FS是一个高性能分布式文件系统，专为AI训练和推理工作负载设计。

3FS是一个专为AI训练和推理工作负载设计的高性能分布式文件系统。它利用现代SSD和RDMA网络，提供共享存储层，简化分布式应用开发。其核心优势在于高性能、强一致性和对多种工作负载的支持，能够显著提升AI开发和部署的效率。该系统适用于大规模AI项目，尤其在数据准备、训练和推理阶段表现出色。

提供全球最便宜的GPU云服务，助力自托管AI/ML开发。

Thunder Compute是一个专注于AI/ML开发的GPU云服务平台，通过虚拟化技术，帮助用户以极低的成本使用高性能GPU资源。其主要优点是价格低廉，相比传统云服务提供商可节省高达80%的成本。该平台支持多种主流GPU型号，如NVIDIA Tesla T4、A100等，并提供7+ Gbps的网络连接，确保数据传输的高效性。Thunder Compute的目标是为AI开发者和企业降低硬件成本，加速模型训练和部署，推动AI技术的普及和应用。

Evo 2 是一个强大的 AI 基础模型，用于解析 DNA、RNA 和蛋白质的遗传密码。

Evo 2 是由 NVIDIA 推出的 AI 基础模型，旨在通过深度学习技术解析生物分子的遗传密码。该模型基于 NVIDIA DGX Cloud 平台开发，能够处理大规模的基因组数据，为生物医学研究提供强大的工具。Evo 2 的主要优点在于其能够处理长达 100 万个 token 的基因序列，从而更全面地理解基因组的复杂性。该模型在生物医学领域的应用前景广阔，包括疾病诊断、药物开发和基因编辑等。Evo 2 的开发得到了 Arc 研究所和斯坦福大学的支持，目标是推动生物医学研究的创新和突破。

DeepGEMM是一个用于高效FP8矩阵乘法的CUDA库，支持细粒度缩放和多种优化技术。

DeepGEMM是一个专注于高效FP8矩阵乘法的CUDA库。它通过细粒度缩放和多种优化技术，如Hopper TMA特性、持久化线程专业化、全JIT设计等，显著提升了矩阵运算的性能。该库主要面向深度学习和高性能计算领域，适用于需要高效矩阵运算的场景。它支持NVIDIA Hopper架构的Tensor Core，并且在多种矩阵形状下展现出卓越的性能。DeepGEMM的设计简洁，核心代码仅约300行，易于学习和使用，同时性能与专家优化的库相当或更好。开源免费的特性使其成为研究人员和开发者进行深度学习优化和开发的理想选择。

DeepEP 是一个针对 Mixture-of-Experts 和专家并行通信的高效通信库。

DeepEP 是一个专为混合专家模型（MoE）和专家并行（EP）设计的通信库。它提供了高吞吐量和低延迟的全连接 GPU 内核，支持低精度操作（如 FP8）。该库针对非对称域带宽转发进行了优化，适合训练和推理预填充任务。此外，它还支持流处理器（SM）数量控制，并引入了一种基于钩子的通信-计算重叠方法，不占用任何 SM 资源。DeepEP 的实现虽然与 DeepSeek-V3 论文略有差异，但其优化的内核和低延迟设计使其在大规模分布式训练和推理任务中表现出色。

快速且内存高效的精确注意力机制

FlexHeadFA 是一个基于 FlashAttention 的改进模型，专注于提供快速且内存高效的精确注意力机制。它支持灵活的头维度配置，能够显著提升大语言模型的性能和效率。该模型的主要优点包括高效利用 GPU 资源、支持多种头维度配置以及与 FlashAttention-2 和 FlashAttention-3 兼容。它适用于需要高效计算和内存优化的深度学习场景，尤其在处理长序列数据时表现出色。

NVIDIA Project DIGITS 是一款桌面超级计算机，专为 AI 开发者设计，提供强大的 AI 性能。

NVIDIA Project DIGITS 是一款基于 NVIDIA GB10 Grace Blackwell 超级芯片的桌面超级计算机，旨在为 AI 开发者提供强大的 AI 性能。它能够在功耗高效、紧凑的形态中提供每秒一千万亿次的 AI 性能。该产品预装了 NVIDIA AI 软件栈，并配备了 128GB 的内存，使开发者能够在本地原型设计、微调和推理高达 2000 亿参数的大型 AI 模型，并无缝部署到数据中心或云中。Project DIGITS 的推出标志着 NVIDIA 在推动 AI 开发和创新方面的又一重要里程碑，为开发者提供了一个强大的工具，以加速 AI 模型的开发和部署。

FlashInfer是一个用于大型语言模型服务的高性能GPU内核库。

FlashInfer是一个专为大型语言模型（LLM）服务而设计的高性能GPU内核库。它通过提供高效的稀疏/密集注意力机制、负载平衡调度、内存效率优化等功能，显著提升了LLM在推理和部署时的性能。FlashInfer支持PyTorch、TVM和C++ API，易于集成到现有项目中。其主要优点包括高效的内核实现、灵活的自定义能力和广泛的兼容性。FlashInfer的开发背景是为了满足日益增长的LLM应用需求，提供更高效、更可靠的推理支持。

70B参数的大型量化语言模型

PatronusAI/Llama-3-Patronus-Lynx-70B-Instruct-Q4_K_M-GGUF是一个基于70B参数的大型量化语言模型，使用了4-bit量化技术，以减少模型大小并提高推理效率。该模型属于PatronusAI系列，是基于Transformers库构建的，适用于需要高性能自然语言处理的应用场景。模型遵循cc-by-nc-4.0许可协议，意味着可以非商业性地使用和分享。

FlagCX是一个跨芯片通信库。

FlagCX是由北京人工智能研究院（BAAI）支持开发的可扩展和自适应的跨芯片通信库。它是FlagAI-Open开源计划的一部分，旨在促进AI技术的开源生态系统。FlagCX利用原生集体通信库，全面支持不同平台上的单芯片通信。支持的通信后端包括NCCL、IXCCL和CNCL。

LG AI Research开发的多语言生成模型

EXAONE-3.5-32B-Instruct-AWQ是LG AI Research开发的一系列指令调优的双语（英语和韩语）生成模型，参数从2.4B到32B不等。这些模型支持长达32K令牌的长上下文处理，在真实世界用例和长上下文理解方面展现出最先进的性能，同时在与最近发布的类似大小模型相比，在通用领域保持竞争力。该模型通过AWQ量化技术，实现了4位组级别的权重量化，优化了模型的部署效率。

一款具有671B参数的Mixture-of-Experts语言模型。

DeepSeek-V3是一个强大的Mixture-of-Experts (MoE) 语言模型，拥有671B的总参数量，每次激活37B参数。它采用了Multi-head Latent Attention (MLA) 和 DeepSeekMoE架构，这些架构在DeepSeek-V2中得到了充分的验证。此外，DeepSeek-V3首次采用了无辅助损失的负载均衡策略，并设置了多令牌预测训练目标，以实现更强大的性能。DeepSeek-V3在14.8万亿高质量令牌上进行了预训练，随后进行了监督式微调和强化学习阶段，以充分利用其能力。综合评估显示，DeepSeek-V3超越了其他开源模型，并达到了与领先的闭源模型相当的性能。尽管性能出色，DeepSeek-V3的完整训练仅需要2.788M H800 GPU小时，并且训练过程非常稳定。

开源框架，加速大型视频扩散模型

FastVideo是一个开源框架，旨在加速大型视频扩散模型。它提供了FastHunyuan和FastMochi两种一致性蒸馏视频扩散模型，实现了8倍推理速度提升。FastVideo基于PCM（Phased-Consistency-Model）提供了首个开放的视频DiT蒸馏配方，支持对最先进的开放视频DiT模型进行蒸馏、微调和推理，包括Mochi和Hunyuan。此外，FastVideo还支持使用FSDP、序列并行和选择性激活检查点进行可扩展训练，以及使用LoRA、预计算潜在和预计算文本嵌入进行内存高效微调。FastVideo的开发正在进行中，技术高度实验性，未来计划包括增加更多蒸馏方法、支持更多模型以及代码更新。

Google第六代张量处理单元，提供卓越的AI工作负载性能。

Trillium TPU是Google Cloud的第六代Tensor Processing Unit（TPU），专为AI工作负载设计，提供增强的性能和成本效益。它作为Google Cloud AI Hypercomputer的关键组件，通过集成的硬件系统、开放软件、领先的机器学习框架和灵活的消费模型，支持大规模AI模型的训练、微调和推理。Trillium TPU在性能、成本效率和可持续性方面都有显著提升，是AI领域的重要进步。

高性能混合专家语言模型

DeepSeek-V2.5-1210是DeepSeek-V2.5的升级版本，它在多个能力方面进行了改进，包括数学、编码和写作推理。模型在MATH-500基准测试中的性能从74.8%提高到82.8%，在LiveCodebench (08.01 - 12.01)基准测试中的准确率从29.2%提高到34.38%。此外，新版本优化了文件上传和网页摘要功能的用户体验。DeepSeek-V2系列（包括基础和聊天）支持商业用途。

一个轻量级、灵活的代理框架，能够处理各种负载任务。

Bambo是一个新型的代理框架，与主流框架相比，它更加轻量级和灵活，能够处理各种负载任务。这个框架的主要优点是它的灵活性和轻量级特性，使得它可以在多种不同的场景下使用，特别是在需要处理大量数据和请求时。Bambo框架的背景信息显示，它是为了满足现代软件开发中对于高效率和高性能的需求而设计的。目前，该框架是开源的，可以免费使用。

构建最节能的人工智能硬件

Rain AI专注于开发高能效的人工智能硬件。在当前能源消耗日益增长的背景下，Rain AI的产品通过优化硬件设计，减少能源消耗，同时保持高性能，这对于数据中心和需要大量计算资源的企业来说至关重要。产品的主要优点包括高能效、高性能和环保。Rain AI的产品背景信息显示，公司致力于推动人工智能技术的可持续发展，通过技术创新减少对环境的影响。产品的价格和定位尚未明确，但可以推测其目标市场为需要高性能计算且对能源效率有高要求的企业。

高性能的7B参数因果语言模型

tiiuae/falcon-mamba-7b是由TII UAE开发的高性能因果语言模型，基于Mamba架构，专为生成任务设计。该模型在多个基准测试中展现出色的表现，并且能够在不同的硬件配置上运行，支持多种精度设置，以适应不同的性能和资源需求。模型的训练使用了先进的3D并行策略和ZeRO优化技术，使其在大规模GPU集群上高效训练成为可能。

为AI基础设施提供领导性的AI性能

AMD Instinct MI325X加速器基于AMD CDNA 3架构，专为AI任务设计，包括基础模型训练、微调和推理，提供卓越的性能和效率。这些产品使AMD的客户和合作伙伴能够在系统、机架和数据中心层面创建高性能和优化的AI解决方案。AMD Instinct MI325X加速器提供了行业领先的内存容量和带宽，支持6.0TB/s的256GB HBM3E，比H200多1.8倍的容量和1.3倍的带宽，提供了更高的FP16和FP8计算性能。

高性能AI加速器，专为AI工作负载设计。

Intel® Gaudi® 3 AI Accelerator是英特尔推出的一款高性能人工智能加速器，它基于高效的英特尔® Gaudi® 平台构建，具备出色的MLPerf基准性能，旨在处理要求苛刻的训练和推理任务。该加速器支持数据中心或云中的大型语言模型、多模态模型和企业RAG等人工智能应用程序，能够在您可能已经拥有的以太网基础设施上运行。无论您需要单个加速器还是数千个加速器，英特尔Gaudi 3都可以在您的AI成功中发挥关键作用。

引领RISC-V革命，提供高性能计算密度

SiFive是RISC-V架构的领导者，提供高性能、高效率的计算解决方案，适用于汽车、AI、数据中心等应用。其产品以优越的性能和效率，以及全球社区的支持，推动了RISC-V技术的发展和应用。

快速AI推理，为开源模型提供即时智能。

Groq是一家提供高性能AI芯片和云服务的公司，专注于为AI模型提供超低延迟的推理服务。其产品GroqCloud™自2024年2月推出以来，已经有超过467,000名开发者使用。Groq的AI芯片技术由Meta的首席AI科学家Yann LeCun提供技术支持，并且获得了BlackRock领投的6.4亿美元融资，公司估值达到28亿美元。Groq的技术优势在于其能够无缝地从其他提供商迁移到Groq，仅需更改三行代码，并且与OpenAI的端点兼容。Groq的AI芯片旨在挑战Nvidia在AI芯片市场的领导地位，为开发者和企业提供更快、更高效的AI推理解决方案。

开源的高性能语言模型，支持多端应用。

Qwen2.5系列语言模型是一系列开源的decoder-only稠密模型，参数规模从0.5B到72B不等，旨在满足不同产品对模型规模的需求。这些模型在自然语言理解、代码生成、数学推理等多个领域表现出色，特别适合需要高性能语言处理能力的应用场景。Qwen2.5系列模型的发布，标志着在大型语言模型领域的一次重要进步，为开发者和研究者提供了强大的工具。

加速科学发现，引领量子计算的未来。

Azure Quantum 是微软推出的量子计算平台，旨在通过先进的量子计算技术加速科学研究和材料科学领域的发现。它通过结合人工智能、高性能计算和量子计算，提供了一套完整的工具和资源，以帮助研究人员和开发者在量子领域取得突破。Azure Quantum 的愿景是将250年的科学进步加速到未来25年，通过量子超级计算机解决人类面临的最困难问题。

AI即时推理解决方案，速度领先世界。

Cerebras Inference是Cerebras公司推出的AI推理平台，提供20倍于GPU的速度和1/5的成本。它利用Cerebras的高性能计算技术，为大规模语言模型、高性能计算等提供快速、高效的推理服务。该平台支持多种AI模型，包括医疗、能源、政府和金融服务等行业应用，具有开放源代码的特性，允许用户训练自己的基础模型或微调开源模型。

AI加速器，推动人工智能的突破

Graphcore是一家专注于人工智能硬件加速器的公司，其产品主要面向需要高性能计算的人工智能领域。Graphcore的IPU（智能处理单元）技术为机器学习、深度学习等AI应用提供了强大的计算支持。公司的产品包括云端IPU、数据中心IPU以及Bow IPU处理器等，这些产品通过Poplar® Software进行优化，能够显著提升AI模型的训练和推理速度。Graphcore的产品和技术在金融、生物技术、科研等多个行业都有应用，帮助企业和研究机构加速AI项目的实验过程，提高效率。

146亿参数的高性能MoE模型

Skywork-MoE是一个具有146亿参数的高性能混合专家(MoE)模型，拥有16个专家和22亿激活参数。该模型从Skywork-13B模型的密集型检查点初始化而来。引入了两种创新技术：门控逻辑归一化，增强专家多样化；自适应辅助损失系数，允许层特定的辅助损失系数调整。Skywork-MoE在各种流行基准测试中，如C-Eval、MMLU、CMMLU、GSM8K、MATH和HumanEval，展现出与参数更多或激活参数更多的模型相当的或更优越的性能。

高性能、成本效益高、气候对齐的云平台

Crusoe提供可扩展的、气候对齐的数字基础设施，专为高性能计算和人工智能优化。我们的创新方法通过使用浪费的、孤立的或清洁能源来减少温室气体排放，支持能源转型，并最大化资源效率。