产品库

音频处理和生成的深度学习库

AudioCraft 是一个用于音频处理和生成的 PyTorch 库。它包含了两个最先进的人工智能生成模型：AudioGen 和 MusicGen，可以生成高质量的音频。AudioCraft 还提供了 EnCodec 音频压缩 / 分词器和 Multi Band Diffusion 解码器等功能。该库适用于音频生成的深度学习研究。

基于 PyTorch 的音乐、歌曲和音频生成工具包，支持高质量音频生成

InspireMusic 是一个专注于音乐、歌曲和音频生成的 AIGC 工具包和模型框架，采用 PyTorch 开发。它通过音频标记化和解码过程，结合自回归 Transformer 和条件流匹配模型，实现高质量音乐生成。该工具包支持文本提示、音乐风格、结构等多种条件控制，能够生成 24kHz 和 48kHz 的高质量音频，并支持长音频生成。此外，它还提供了方便的微调和推理脚本，方便用户根据需求调整模型。InspireMusic 的开源旨在赋能普通用户通过音乐创作提升研究中的音效表现。

免费人声分离工具 分离伴奏背景音乐提取

终极人声去除GUI是一款使用深度神经网络技术的人声去除工具。其核心开发者训练了所有提供的模型，除了Demucs v3和v4 4声道模型。该应用使用先进的源分离模型从音频文件中去除人声。无需额外的先决条件即可有效运行。适用于Windows 10及以上版本。

一款先进的视觉推理模型，能分析图片和视频内容。

QVQ-Max 是 Qwen 团队推出的视觉推理模型，能够理解和分析图像及视频内容，提供解决方案。它不仅限于文本输入，更能够处理复杂的视觉信息。适合需要多模态信息处理的用户，如教育、工作和生活场景。该产品是基于深度学习和计算机视觉技术开发，适用于学生、职场人士和创意工作者。此版本为首发，后续将持续优化。

一款用于生成信息图表的视觉文本渲染工具。

BizGen 是一个先进的模型，专注于文章级别的视觉文本渲染，旨在提升信息图表的生成质量和效率。该产品利用深度学习技术，能够准确渲染多种语言的文本，提升信息的可视化效果。适合研究人员和开发者使用，助力创造更具吸引力的视觉内容。

通过测试时间缩放显著提升视频生成质量。

Video-T1 是一个视频生成模型，通过测试时间缩放技术（TTS）显著提升生成视频的质量和一致性。该技术允许在推理过程中使用更多的计算资源，从而优化生成结果。相较于传统的视频生成方法，TTS 能够提供更高的生成质量和更丰富的内容表达，适用于数字创作领域。该产品的定位主要面向研究人员和开发者，价格信息未明确。

RF-DETR 是由 Roboflow 开发的实时目标检测模型。

RF-DETR 是一个基于变压器的实时目标检测模型，旨在为边缘设备提供高精度和实时性能。它在 Microsoft COCO 基准测试中超过了 60 AP，具有竞争力的性能和快速的推理速度，适合各种实际应用场景。RF-DETR 旨在解决现实世界中的物体检测问题，适用于需要高效且准确检测的行业，如安防、自动驾驶和智能监控等。

业界首个超大规模混合 Mamba 推理模型，强推理能力。

混元T1 是腾讯推出的超大规模推理模型，基于强化学习技术，通过大量后训练显著提升推理能力。它在长文处理和上下文捕捉上表现突出，同时优化了计算资源的消耗，具备高效的推理能力。适用于各类推理任务，尤其在数学、逻辑推理等领域表现优异。该产品以深度学习为基础，结合实际反馈不断优化，适合科研、教育等多个领域的应用。

实现灵活且高保真度的图像生成，同时保持身份特征。

InfiniteYou（InfU）是一个基于扩散变换器的强大框架，旨在实现灵活的图像重构，并保持用户身份。它通过引入身份特征并采用多阶段训练策略，显著提升了图像生成的质量和美学，同时改善了文本与图像的对齐。该技术对提高图像生成的相似性和美观性具有重要意义，适用于各种图像生成任务。

Pruna 是一个模型优化框架，帮助开发者快速高效交付模型。

Pruna 是一个为开发者设计的模型优化框架，通过一系列压缩算法，如量化、修剪和编译等技术，使得机器学习模型在推理时更快、体积更小且计算成本更低。产品适用于多种模型类型，包括 LLMs、视觉转换器等，且支持 Linux、MacOS 和 Windows 等多个平台。Pruna 还提供了企业版 Pruna Pro，解锁更多高级优化功能和优先支持，助力用户在实际应用中提高效率。

一种提升场景级视频生成能力的技术。

长上下文调优（LCT）旨在解决当前单次生成能力与现实叙事视频制作之间的差距。该技术通过数据驱动的方法直接学习场景级一致性，支持交互式多镜头开发和合成生成，适用于视频制作的各个方面。

一种无混叠的任意尺度超分辨率方法。

Thera 是一种先进的超分辨率技术，能够在不同尺度下生成高质量图像。其主要优点在于内置物理观察模型，有效避免了混叠现象。该技术由 ETH Zurich 的研究团队开发，适用于图像增强和计算机视觉领域，尤其在遥感和摄影测量中具有广泛应用。

AI驱动的视频音频增强解决方案，提供视频超分辨率、降噪、音频上混等功能。

UniFab 是一款强大的 AI 助力的视频音频增强工具。它利用先进的超分辨率技术，能够将视频分辨率提升至 8K/16K，同时将 SDR 转换为 HDR，为用户提供影院级的视觉体验。其 AI 驱动的深度学习能够智能分析并优化每一帧画面，呈现出鲜艳的色彩、逼真的细节和清晰的视觉效果。此外，UniFab 还支持音频上混功能，可将音频轨道升级为 EAC3 5.1/DTS 7.1 环绕声，让用户沉浸在电影般的听觉享受中。该产品主要面向摄影师、影视爱好者、视频创作者等群体，帮助他们优化视频内容，提升创作质量。

Inductive Moment Matching 是一种新型的生成模型，用于高质量图像生成。

Inductive Moment Matching (IMM) 是一种先进的生成模型技术，主要用于高质量图像生成。该技术通过创新的归纳矩匹配方法，显著提高了生成图像的质量和多样性。其主要优点包括高效性、灵活性以及对复杂数据分布的强大建模能力。IMM 由 Luma AI 和斯坦福大学的研究团队开发，旨在推动生成模型领域的发展，为图像生成、数据增强和创意设计等应用提供强大的技术支持。该项目开源了代码和预训练模型，方便研究人员和开发者快速上手和应用。

通过多实例扩散模型将单张图像生成高保真度的3D场景。

MIDI是一种创新的图像到3D场景生成技术，它利用多实例扩散模型，能够从单张图像中直接生成具有准确空间关系的多个3D实例。该技术的核心在于其多实例注意力机制，能够有效捕捉物体间的交互和空间一致性，无需复杂的多步骤处理。MIDI在图像到场景生成领域表现出色，适用于合成数据、真实场景数据以及由文本到图像扩散模型生成的风格化场景图像。其主要优点包括高效性、高保真度和强大的泛化能力。

R1-Omni 是一个结合强化学习的全模态情绪识别模型，专注于提升多模态情绪识别的可解释性。

R1-Omni 是一个创新的多模态情绪识别模型，通过强化学习提升模型的推理能力和泛化能力。该模型基于 HumanOmni-0.5B 开发，专注于情绪识别任务，能够通过视觉和音频模态信息进行情绪分析。其主要优点包括强大的推理能力、显著提升的情绪识别性能以及在分布外数据上的出色表现。该模型适用于需要多模态理解的场景，如情感分析、智能客服等领域，具有重要的研究和应用价值。

VideoPainter 是一款支持任意长度视频修复和编辑的工具，采用文本引导的插件式框架。

VideoPainter 是一款基于深度学习的视频修复和编辑工具，采用预训练的扩散变换器模型，结合轻量级背景上下文编码器和 ID 重采样技术，能够实现高质量的视频修复和编辑。该技术的重要性在于它突破了传统视频修复方法在长度和复杂度上的限制，为视频创作者提供了一种高效、灵活的工具。产品目前处于研究阶段，暂未明确价格，主要面向视频编辑领域的专业用户和研究人员。

Flux 是一个用于 GPU 上张量/专家并行的快速通信重叠库。

Flux 是由字节跳动开发的一个高性能通信重叠库，专为 GPU 上的张量和专家并行设计。它通过高效的内核和对 PyTorch 的兼容性，支持多种并行化策略，适用于大规模模型训练和推理。Flux 的主要优点包括高性能、易于集成和对多种 NVIDIA GPU 架构的支持。它在大规模分布式训练中表现出色，尤其是在 Mixture-of-Experts (MoE) 模型中，能够显著提高计算效率。

HunyuanVideo-I2V 是腾讯推出的基于 HunyuanVideo 的图像到视频生成框架。

HunyuanVideo-I2V 是腾讯开源的图像到视频生成模型，基于 HunyuanVideo 架构开发。该模型通过图像潜在拼接技术，将参考图像信息有效整合到视频生成过程中，支持高分辨率视频生成，并提供可定制的 LoRA 效果训练功能。该技术在视频创作领域具有重要意义，能够帮助创作者快速生成高质量的视频内容，提升创作效率。

QwQ-32B 是一款强大的推理模型，专为复杂问题解决和文本生成设计，性能卓越。

QwQ-32B 是 Qwen 系列的推理模型，专注于复杂问题的思考和推理能力。它在下游任务中表现出色，尤其是在解决难题方面。该模型基于 Qwen2.5 架构，经过预训练和强化学习优化，具有 325 亿参数，支持 131072 个完整上下文长度的处理能力。其主要优点包括强大的推理能力、高效的长文本处理能力和灵活的部署选项。该模型适用于需要深度思考和复杂推理的场景，如学术研究、编程辅助和创意写作等。

CogView4-6B 是一个强大的文本到图像生成模型，专注于高质量图像生成。

CogView4-6B 是由清华大学知识工程组开发的文本到图像生成模型。它基于深度学习技术，能够根据用户输入的文本描述生成高质量的图像。该模型在多个基准测试中表现优异，尤其是在中文文本生成图像方面具有显著优势。其主要优点包括高分辨率图像生成、支持多种语言输入以及高效的推理速度。该模型适用于创意设计、图像生成等领域，能够帮助用户快速将文字描述转化为视觉内容。

UniTok是一个用于视觉生成和理解的统一视觉分词器。

UniTok是一种创新的视觉分词技术，旨在弥合视觉生成和理解之间的差距。它通过多码本量化技术，显著提升了离散分词器的表示能力，使其能够捕捉到更丰富的视觉细节和语义信息。这一技术突破了传统分词器在训练过程中的瓶颈，为视觉生成和理解任务提供了一种高效且统一的解决方案。UniTok在图像生成和理解任务中表现出色，例如在ImageNet上实现了显著的零样本准确率提升。该技术的主要优点包括高效性、灵活性以及对多模态任务的强大支持，为视觉生成和理解领域带来了新的可能性。

PhotoDoodle 是一个基于少量样本对数据学习艺术图像编辑的代码实现。

PhotoDoodle 是一个专注于艺术图像编辑的深度学习模型，通过少量样本对数据进行训练，能够快速实现图像的艺术化编辑。该技术的核心优势在于其高效的少样本学习能力，能够在仅有少量图像对的情况下学习到复杂的艺术效果，从而为用户提供强大的图像编辑功能。该模型基于深度学习框架开发，具有较高的灵活性和可扩展性，可以应用于多种图像编辑场景，如艺术风格转换、特效添加等。其背景信息显示，该模型由新加坡国立大学 Show Lab 团队开发，旨在推动艺术图像编辑技术的发展。目前，该模型通过开源方式提供给用户，用户可以根据自身需求进行使用和二次开发。

分析 V3/R1 中的计算与通信重叠策略，提供深度学习框架的性能分析数据。

DeepSeek Profile Data 是一个专注于深度学习框架性能分析的项目。它通过 PyTorch Profiler 捕获训练和推理框架的性能数据，帮助研究人员和开发者更好地理解计算与通信重叠策略以及底层实现细节。这些数据对于优化大规模分布式训练和推理任务至关重要，能够显著提升系统的效率和性能。该项目是 DeepSeek 团队在深度学习基础设施领域的重要贡献，旨在推动社区对高效计算策略的探索。

一个用于专家并行负载均衡的开源算法，旨在优化多GPU环境下的专家分配和负载平衡。

Expert Parallelism Load Balancer (EPLB)是一种用于深度学习中专家并行（EP）的负载均衡算法。它通过冗余专家策略和启发式打包算法，确保不同GPU之间的负载平衡，同时利用组限制专家路由减少节点间数据流量。该算法对于大规模分布式训练具有重要意义，能够提高资源利用率和训练效率。

一种用于V3/R1训练中计算与通信重叠的双向流水线并行算法。

DualPipe是一种创新的双向流水线并行算法，由DeepSeek-AI团队开发。该算法通过优化计算与通信的重叠，显著减少了流水线气泡，提高了训练效率。它在大规模分布式训练中表现出色，尤其适用于需要高效并行化的深度学习任务。DualPipe基于PyTorch开发，易于集成和扩展，适合需要高性能计算的开发者和研究人员使用。

DeepGEMM是一个用于高效FP8矩阵乘法的CUDA库，支持细粒度缩放和多种优化技术。

DeepGEMM是一个专注于高效FP8矩阵乘法的CUDA库。它通过细粒度缩放和多种优化技术，如Hopper TMA特性、持久化线程专业化、全JIT设计等，显著提升了矩阵运算的性能。该库主要面向深度学习和高性能计算领域，适用于需要高效矩阵运算的场景。它支持NVIDIA Hopper架构的Tensor Core，并且在多种矩阵形状下展现出卓越的性能。DeepGEMM的设计简洁，核心代码仅约300行，易于学习和使用，同时性能与专家优化的库相当或更好。开源免费的特性使其成为研究人员和开发者进行深度学习优化和开发的理想选择。

一个用于将书籍转为有声读物、剧本转为播客的音频生成平台。

ElevenLabs Studio 是一个专注于音频内容创作的平台，利用先进的人工智能技术，能够将文本内容转化为高质量的音频。其主要优点包括支持多种文件格式、提供丰富的语音库、能够根据情感和上下文调整语音表达等。该平台适用于有声读物制作、播客创作等场景，能够帮助创作者高效地生成音频内容，提升创作效率和质量。其定价策略可能因用户需求和使用场景而异，具体价格可参考官网的定价页面。

DeepEP 是一个针对 Mixture-of-Experts 和专家并行通信的高效通信库。

DeepEP 是一个专为混合专家模型（MoE）和专家并行（EP）设计的通信库。它提供了高吞吐量和低延迟的全连接 GPU 内核，支持低精度操作（如 FP8）。该库针对非对称域带宽转发进行了优化，适合训练和推理预填充任务。此外，它还支持流处理器（SM）数量控制，并引入了一种基于钩子的通信-计算重叠方法，不占用任何 SM 资源。DeepEP 的实现虽然与 DeepSeek-V3 论文略有差异，但其优化的内核和低延迟设计使其在大规模分布式训练和推理任务中表现出色。

快速且内存高效的精确注意力机制

FlexHeadFA 是一个基于 FlashAttention 的改进模型，专注于提供快速且内存高效的精确注意力机制。它支持灵活的头维度配置，能够显著提升大语言模型的性能和效率。该模型的主要优点包括高效利用 GPU 资源、支持多种头维度配置以及与 FlashAttention-2 和 FlashAttention-3 兼容。它适用于需要高效计算和内存优化的深度学习场景，尤其在处理长序列数据时表现出色。