产品库

高效训练高质量文本到图像扩散模型

ml-mdm是一个Python包，用于高效训练高质量的文本到图像扩散模型。该模型利用Matryoshka扩散模型技术，能够在1024x1024像素的分辨率上训练单一像素空间模型，展现出强大的零样本泛化能力。

大规模参数扩散变换器模型

DiT-MoE是一个使用PyTorch实现的扩散变换器模型，能够扩展到160亿参数，与密集网络竞争的同时展现出高度优化的推理能力。它代表了深度学习领域在处理大规模数据集时的前沿技术，具有重要的研究和应用价值。

实现灵活且高保真度的图像生成，同时保持身份特征。

InfiniteYou（InfU）是一个基于扩散变换器的强大框架，旨在实现灵活的图像重构，并保持用户身份。它通过引入身份特征并采用多阶段训练策略，显著提升了图像生成的质量和美学，同时改善了文本与图像的对齐。该技术对提高图像生成的相似性和美观性具有重要意义，适用于各种图像生成任务。

Flux 是一个用于 GPU 上张量/专家并行的快速通信重叠库。

Flux 是由字节跳动开发的一个高性能通信重叠库，专为 GPU 上的张量和专家并行设计。它通过高效的内核和对 PyTorch 的兼容性，支持多种并行化策略，适用于大规模模型训练和推理。Flux 的主要优点包括高性能、易于集成和对多种 NVIDIA GPU 架构的支持。它在大规模分布式训练中表现出色，尤其是在 Mixture-of-Experts (MoE) 模型中，能够显著提高计算效率。

分析 V3/R1 中的计算与通信重叠策略，提供深度学习框架的性能分析数据。

DeepSeek Profile Data 是一个专注于深度学习框架性能分析的项目。它通过 PyTorch Profiler 捕获训练和推理框架的性能数据，帮助研究人员和开发者更好地理解计算与通信重叠策略以及底层实现细节。这些数据对于优化大规模分布式训练和推理任务至关重要，能够显著提升系统的效率和性能。该项目是 DeepSeek 团队在深度学习基础设施领域的重要贡献，旨在推动社区对高效计算策略的探索。

基于 PyTorch 的音乐、歌曲和音频生成工具包，支持高质量音频生成

InspireMusic 是一个专注于音乐、歌曲和音频生成的 AIGC 工具包和模型框架，采用 PyTorch 开发。它通过音频标记化和解码过程，结合自回归 Transformer 和条件流匹配模型，实现高质量音乐生成。该工具包支持文本提示、音乐风格、结构等多种条件控制，能够生成 24kHz 和 48kHz 的高质量音频，并支持长音频生成。此外，它还提供了方便的微调和推理脚本，方便用户根据需求调整模型。InspireMusic 的开源旨在赋能普通用户通过音乐创作提升研究中的音效表现。

基于扩散反转的多步图像超分辨率模型

InvSR是一种基于扩散反转的图像超分辨率技术，利用大型预训练扩散模型中丰富的图像先验来提高超分辨率性能。该技术通过部分噪声预测策略构建扩散模型的中间状态，作为起始采样点，并使用深度噪声预测器估计最优噪声图，从而在前向扩散过程中初始化采样，生成高分辨率结果。InvSR支持任意数量的采样步骤，从一到五步不等，即使仅使用单步采样，也展现出优于或媲美现有最先进方法的性能。

PyTorch原生量化和稀疏性训练与推理库

torchao是PyTorch的一个库，专注于自定义数据类型和优化，支持量化和稀疏化权重、梯度、优化器和激活函数，用于推理和训练。它与torch.compile()和FSDP2兼容，能够为大多数PyTorch模型提供加速。torchao旨在通过量化感知训练（QAT）和后训练量化（PTQ）等技术，提高模型的推理速度和内存效率，同时尽量减小精度损失。

使用文本生成音乐的模型

FluxMusic是一个基于PyTorch实现的文本到音乐生成模型，它通过扩散式修正流变换器探索了一种简单的文本到音乐生成方法。这个模型可以生成根据文本提示的音乐片段，具有创新性和高度的技术复杂性。它代表了音乐生成领域的前沿技术，为音乐创作提供了新的可能。

从零开始学习深度学习，实现GPT模型

zero_to_gpt是一个旨在帮助用户从零基础学习深度学习，并最终实现训练自己的GPT模型的教程。随着人工智能技术走出实验室并广泛应用于各行各业，社会对于能够理解并应用AI技术的人才需求日益增长。本教程结合理论与实践，通过解决实际问题（如天气预测、语言翻译等）来深入讲解深度学习的理论基础，如梯度下降和反向传播。课程内容从基础的神经网络架构和训练方法开始，逐步深入到复杂主题，如变换器、GPU编程和分布式训练。

一款用于训练PyTorch计算机视觉模型的开源库。

YOLO-NAS Pose是一款免费的、开源的库，用于训练基于PyTorch的计算机视觉模型。它提供了训练脚本和快速简单复制模型结果的示例。内置SOTA模型，可以轻松加载和微调生产就绪的预训练模型，包括最佳实践和验证的超参数，以实现最佳的准确性。可以缩短训练生命周期，消除不确定性。提供分类、检测、分割等不同任务的模型，可以轻松集成到代码库中。

一款轻量级的多模态语言模型安卓应用。

MNN-LLM 是一款高效的推理框架，旨在优化和加速大语言模型在移动设备和本地 PC 上的部署。它通过模型量化、混合存储和硬件特定优化，解决高内存消耗和计算成本的问题。MNN-LLM 在 CPU 基准测试中表现卓越，速度显著提升，适合需要隐私保护和高效推理的用户。

DreamO 是一个统一的图像定制框架。

DreamO 是一种先进的图像定制模型，旨在提高图像生成的保真度和灵活性。该框架结合了 VAE 特征编码，适用于各种输入，特别是在角色身份的保留方面表现出色。支持消费级 GPU，具有 8 位量化和 CPU 卸载功能，适应不同硬件环境。该模型的不断更新使其在解决过度饱和和面部塑料感问题上取得了一定进展，旨在为用户提供更优质的图像生成体验。

高效的视觉编码技术，提升视觉语言模型性能。

FastVLM 是一种高效的视觉编码模型，专为视觉语言模型设计。它通过创新的 FastViTHD 混合视觉编码器，减少了高分辨率图像的编码时间和输出的 token 数量，使得模型在速度和精度上表现出色。FastVLM 的主要定位是为开发者提供强大的视觉语言处理能力，适用于各种应用场景，尤其在需要快速响应的移动设备上表现优异。

基于自回归变换器生成人工制作的 3D 原始装配体。

PrimitiveAnything 是一种利用自回归变换器生成 3D 模型的技术，能够自动创建细致的 3D 原始装配体。这项技术的主要优点在于其能通过深度学习快速生成复杂的 3D 形状，从而极大地提高了设计师的工作效率。该产品适用于各类设计应用，价格为免费使用，定位于 3D 建模领域。

一个社区驱动的深度研究框架，结合语言模型与多种工具。

DeerFlow 是一个深度研究框架，旨在结合语言模型与如网页搜索、爬虫及 Python 执行等专用工具，以推动深入研究工作。该项目源于开源社区，强调贡献回馈，具备多种灵活的功能，适合各类研究需求。

一种高效的无泄漏唇同步技术。

KeySync 是一个针对高分辨率视频的无泄漏唇同步框架。它解决了传统唇同步技术中的时间一致性问题，同时通过巧妙的遮罩策略处理表情泄漏和面部遮挡。KeySync 的优越性体现在其在唇重建和跨同步方面的先进成果，适用于自动配音等实际应用场景。

一款高质量的英语自动语音识别模型，支持标点符号和时间戳预测。

parakeet-tdt-0.6b-v2 是一个 600 百万参数的自动语音识别（ASR）模型，旨在实现高质量的英语转录，具有准确的时间戳预测和自动标点符号、大小写支持。该模型基于 FastConformer 架构，能够高效地处理长达 24 分钟的音频片段，适合开发者、研究人员和各行业应用。

用于理解任意视频中的相机运动的工具。

CameraBench 是一个用于分析视频中相机运动的模型，旨在通过视频理解相机的运动模式。它的主要优点在于利用生成性视觉语言模型进行相机运动的原理分类和视频文本检索。通过与传统的结构从运动 (SfM) 和实时定位与*构建 (SLAM) 方法进行比较，该模型在捕捉场景语义方面显示出了显著的优势。该模型已开源，适合研究人员和开发者使用，且后续将推出更多改进版本。

F Lite 是一款 10B 参数的扩散模型，专注于合法和安全内容。

F Lite 是由 Freepik 和 Fal 开发的一个大型扩散模型，具有 100 亿个参数，专门训练于版权安全和适合工作环境 (SFW) 的内容。该模型基于 Freepik 的内部数据集，包含约 8000 万张合法合规的图像，标志着公开可用的模型在这一规模上首次专注于合法和安全的内容。它的技术报告提供了详细的模型信息，并且使用了 CreativeML Open RAIL-M 许可证进行分发。该模型的设计旨在推动人工智能的开放性和可用性。

Kimi-Audio 是一个开源音频基础模型，擅长音频理解与生成。

Kimi-Audio 是一个先进的开源音频基础模型，旨在处理多种音频处理任务，如语音识别和音频对话。该模型在超过 1300 万小时的多样化音频数据和文本数据上进行了大规模预训练，具有强大的音频推理和语言理解能力。它的主要优点包括优秀的性能和灵活性，适合研究人员和开发者进行音频相关的研究与开发。

一个基于深度学习的图像和视频描述模型。

Describe Anything 模型（DAM）能够处理图像或视频的特定区域，并生成详细描述。它的主要优点在于可以通过简单的标记（点、框、涂鸦或掩码）来生成高质量的本地化描述，极大地提升了计算机视觉领域的图像理解能力。该模型由 NVIDIA 和多所大学联合开发，适合用于研究、开发和实际应用中。

开放源代码的 8B 参数文本到图像扩散模型。

Flex.2 是当前最灵活的文本到图像扩散模型，具备内置的重绘和通用控制功能。它是一个开源项目，由社区支持，旨在推动人工智能的民主化。Flex.2 具备 8 亿参数，支持 512 个令牌长度输入，并符合 OSI 的 Apache 2.0 许可证。此模型可以在许多创意项目中提供强大的支持。用户可以通过反馈不断改善模型，推动技术进步。

轻量级嵌套架构，用于语音反欺诈。

Nes2Net 是一个为基础模型驱动的语音反欺诈任务设计的轻量级嵌套架构，具有较低的错误率，适用于音频深度假造检测。该模型在多个数据集上表现优异，预训练模型和代码已在 GitHub 上发布，便于研究人员和开发者使用。适合音频处理和安全领域，主要定位于提高语音识别和反欺诈的效率和准确性。

利用强化学习提升扩散大语言模型的推理能力。

该模型通过强化学习和高质量推理轨迹的掩蔽自监督微调，实现了对扩散大语言模型的推理能力的提升。此技术的重要性在于它能够优化模型的推理过程，减少计算成本，同时保证学习动态的稳定性。适合希望在写作和推理任务中提升效率的用户。

开源视频生成模型，支持多种生成任务。

Wan2.1-FLF2V-14B 是一个开源的大规模视频生成模型，旨在推动视频生成领域的进步。该模型在多项基准测试中表现优异，支持消费者级 GPU，能够高效生成 480P 和 720P 的视频。它在文本到视频、图像到视频等多个任务中表现出色，具有强大的视觉文本生成能力，适用于各种实际应用场景。

用于视频生成的下一帧预测模型。

FramePack 是一个创新的视频生成模型，旨在通过压缩输入帧的上下文来提高视频生成的质量和效率。其主要优点在于解决了视频生成中的漂移问题，通过双向采样方法保持视频质量，适合需要生成长视频的用户。该技术背景来源于对现有模型的深入研究和实验，以改进视频生成的稳定性和连贯性。

一个集成视觉理解和生成的多模态生成模型。

Liquid 是一个自回归生成模型，通过将图像分解为离散代码并与文本标记共享特征空间，促进视觉理解和文本生成的无缝集成。此模型的主要优点在于无需外部预训练的视觉嵌入，减少了对资源的依赖，同时通过规模法则发现了理解与生成任务之间的相互促进效应。

强大的语言模型，支持多种自然语言处理任务。

GLM-4-32B 是一个高性能的生成语言模型，旨在处理多种自然语言任务。它通过深度学习技术训练而成，能够生成连贯的文本和回答复杂问题。该模型适用于学术研究、商业应用和开发者，价格合理，定位精准，是自然语言处理领域的领先产品。

Pusa 是一个新颖的视频扩散模型，支持多种视频生成任务。

Pusa 通过帧级噪声控制引入视频扩散建模的创新方法，能够实现高质量的视频生成，适用于多种视频生成任务（文本到视频、图像到视频等）。该模型以其卓越的运动保真度和高效的训练过程，提供了一个开源的解决方案，方便用户进行视频生成任务。