产品库

开源的音乐生成模型

QA-MDT是一个开源的音乐生成模型，集成了最先进的模型用于音乐生成。它基于多个开源项目，如AudioLDM、PixArt-alpha、MDT、AudioMAE和Open-Sora等。QA-MDT模型通过使用不同的训练策略，能够生成高质量的音乐。此模型特别适合对音乐生成有兴趣的研究人员和开发者使用。

基于 PyTorch 的音乐、歌曲和音频生成工具包，支持高质量音频生成

InspireMusic 是一个专注于音乐、歌曲和音频生成的 AIGC 工具包和模型框架，采用 PyTorch 开发。它通过音频标记化和解码过程，结合自回归 Transformer 和条件流匹配模型，实现高质量音乐生成。该工具包支持文本提示、音乐风格、结构等多种条件控制，能够生成 24kHz 和 48kHz 的高质量音频，并支持长音频生成。此外，它还提供了方便的微调和推理脚本，方便用户根据需求调整模型。InspireMusic 的开源旨在赋能普通用户通过音乐创作提升研究中的音效表现。

YuE是一个开源的音乐生成模型，能够将歌词转化为完整的歌曲。

YuE是一个开创性的开源基础模型系列，专为音乐生成设计，能够将歌词转化为完整的歌曲。它能够生成包含吸引人的主唱和配套伴奏的完整歌曲，支持多种音乐风格。该模型基于深度学习技术，具有强大的生成能力和灵活性，能够为音乐创作者提供强大的工具支持。其开源特性也使得研究人员和开发者可以在此基础上进行进一步的研究和开发。

提升户外虚拟试穿效果的模型训练代码库

BooW-VTON是一个专注于提升户外虚拟试穿效果的研究项目，通过无需掩码的伪数据训练来增强虚拟试穿技术。该技术的重要性在于它能够改善在自然环境下服装试穿的真实感和准确性，对于时尚电商和虚拟现实领域具有重要意义。产品背景信息显示，该项目是基于深度学习技术的图像生成模型，旨在解决传统虚拟试穿中服装与人体融合不自然的问题。目前该项目是免费开源的，定位于研究和开发阶段。

Pyramid-Flow的ComfyUI包装节点，用于高效视觉生成。

ComfyUI-PyramidFlowWrapper是基于Pyramid-Flow模型的一套包装节点，旨在通过ComfyUI提供更高效的用户界面和更便捷的操作流程。该模型利用深度学习技术，专注于视觉内容的生成与处理，具有高效处理大量数据的能力。产品背景信息显示，它是由开发者kijai发起并维护的开源项目，目前尚未完全实现功能，但已具备一定的使用价值。由于是开源项目，其价格为免费，主要面向开发者和技术爱好者。

利用AI创作音乐

OpenMusic是一个基于人工智能的音乐创作模型，它利用深度学习技术，能够根据用户输入的指令或音乐片段生成新的音乐作品。这个模型在音乐制作和创作领域具有革命性的意义，因为它降低了创作音乐的门槛，让没有音乐背景的人也能创作出动听的音乐。

开源自回归视觉生成模型项目

Open-MAGVIT2是由腾讯ARC实验室开源的一个自回归图像生成模型系列，包含从300M到1.5B不同规模的模型。该项目复现了Google的MAGVIT-v2分词器，实现了在ImageNet 256×256数据集上达到1.17 rFID的先进重建性能。通过引入不对称分词技术，将大词汇表分解为不同大小的子词汇表，并引入'下一个子标记预测'来增强子标记间的交互，以提高生成质量。所有模型和代码均已开源，旨在推动自回归视觉生成领域的创新和创造力。

使用文本生成音乐的模型

FluxMusic是一个基于PyTorch实现的文本到音乐生成模型，它通过扩散式修正流变换器探索了一种简单的文本到音乐生成方法。这个模型可以生成根据文本提示的音乐片段，具有创新性和高度的技术复杂性。它代表了音乐生成领域的前沿技术，为音乐创作提供了新的可能。

开源项目，用于估算模型训练或推理所需的显存。

How Much VRAM 是一个开源项目，旨在帮助用户估算其模型在训练或推理过程中所需的显存量。通过这个项目，用户能够决定所需的硬件配置，而无需尝试多种配置。该项目对于需要进行深度学习模型训练的开发者和研究人员来说非常重要，因为它可以减少硬件选择的试错成本，提高效率。项目采用 MPL-2.0 许可协议，免费提供。

音乐生成模型，通过控制网络进行微调。

Stable Audio ControlNet 是一个基于 Stable Audio Open 的音乐生成模型，通过 DiT ControlNet 进行微调，能够在具有 16GB VRAM 的 GPU 上使用，支持音频控制。此模型仍在开发中，但已经能够实现音乐的生成和控制，具有重要的技术意义和应用前景。

一个用于文本到语音转换的开源项目。

ChatTTS是一个开源的文本到语音转换(TTS)模型，它允许用户将文本转换为语音。该模型主要面向学术研究和教育目的，不适用于商业或法律用途。它使用深度学习技术，能够生成自然流畅的语音输出，适合研究和开发语音合成技术的人员使用。

一款轻量级的多模态语言模型安卓应用。

MNN-LLM 是一款高效的推理框架，旨在优化和加速大语言模型在移动设备和本地 PC 上的部署。它通过模型量化、混合存储和硬件特定优化，解决高内存消耗和计算成本的问题。MNN-LLM 在 CPU 基准测试中表现卓越，速度显著提升，适合需要隐私保护和高效推理的用户。

DreamO 是一个统一的图像定制框架。

DreamO 是一种先进的图像定制模型，旨在提高图像生成的保真度和灵活性。该框架结合了 VAE 特征编码，适用于各种输入，特别是在角色身份的保留方面表现出色。支持消费级 GPU，具有 8 位量化和 CPU 卸载功能，适应不同硬件环境。该模型的不断更新使其在解决过度饱和和面部塑料感问题上取得了一定进展，旨在为用户提供更优质的图像生成体验。

高效的视觉编码技术，提升视觉语言模型性能。

FastVLM 是一种高效的视觉编码模型，专为视觉语言模型设计。它通过创新的 FastViTHD 混合视觉编码器，减少了高分辨率图像的编码时间和输出的 token 数量，使得模型在速度和精度上表现出色。FastVLM 的主要定位是为开发者提供强大的视觉语言处理能力，适用于各种应用场景，尤其在需要快速响应的移动设备上表现优异。

基于自回归变换器生成人工制作的 3D 原始装配体。

PrimitiveAnything 是一种利用自回归变换器生成 3D 模型的技术，能够自动创建细致的 3D 原始装配体。这项技术的主要优点在于其能通过深度学习快速生成复杂的 3D 形状，从而极大地提高了设计师的工作效率。该产品适用于各类设计应用，价格为免费使用，定位于 3D 建模领域。

一个社区驱动的深度研究框架，结合语言模型与多种工具。

DeerFlow 是一个深度研究框架，旨在结合语言模型与如网页搜索、爬虫及 Python 执行等专用工具，以推动深入研究工作。该项目源于开源社区，强调贡献回馈，具备多种灵活的功能，适合各类研究需求。

一种高效的无泄漏唇同步技术。

KeySync 是一个针对高分辨率视频的无泄漏唇同步框架。它解决了传统唇同步技术中的时间一致性问题，同时通过巧妙的遮罩策略处理表情泄漏和面部遮挡。KeySync 的优越性体现在其在唇重建和跨同步方面的先进成果，适用于自动配音等实际应用场景。

一款高质量的英语自动语音识别模型，支持标点符号和时间戳预测。

parakeet-tdt-0.6b-v2 是一个 600 百万参数的自动语音识别（ASR）模型，旨在实现高质量的英语转录，具有准确的时间戳预测和自动标点符号、大小写支持。该模型基于 FastConformer 架构，能够高效地处理长达 24 分钟的音频片段，适合开发者、研究人员和各行业应用。

用于理解任意视频中的相机运动的工具。

CameraBench 是一个用于分析视频中相机运动的模型，旨在通过视频理解相机的运动模式。它的主要优点在于利用生成性视觉语言模型进行相机运动的原理分类和视频文本检索。通过与传统的结构从运动 (SfM) 和实时定位与*构建 (SLAM) 方法进行比较，该模型在捕捉场景语义方面显示出了显著的优势。该模型已开源，适合研究人员和开发者使用，且后续将推出更多改进版本。

F Lite 是一款 10B 参数的扩散模型，专注于合法和安全内容。

F Lite 是由 Freepik 和 Fal 开发的一个大型扩散模型，具有 100 亿个参数，专门训练于版权安全和适合工作环境 (SFW) 的内容。该模型基于 Freepik 的内部数据集，包含约 8000 万张合法合规的图像，标志着公开可用的模型在这一规模上首次专注于合法和安全的内容。它的技术报告提供了详细的模型信息，并且使用了 CreativeML Open RAIL-M 许可证进行分发。该模型的设计旨在推动人工智能的开放性和可用性。

使用文本描述您的想法，我们的高级AI将将您的文本提示转换为引人注目的图像。让文字变成图像，轻松实现！

ImagineArt AI工具是一款人工智能艺术生成工具，利用先进的AI技术，可以将文字描述转化为生动的图像作品。其主要优点包括快速生成图像、灵活性高、用户友好，定位于为用户提供创意灵感和图像生成解决方案。

Kimi-Audio 是一个开源音频基础模型，擅长音频理解与生成。

Kimi-Audio 是一个先进的开源音频基础模型，旨在处理多种音频处理任务，如语音识别和音频对话。该模型在超过 1300 万小时的多样化音频数据和文本数据上进行了大规模预训练，具有强大的音频推理和语言理解能力。它的主要优点包括优秀的性能和灵活性，适合研究人员和开发者进行音频相关的研究与开发。

Lyria 2 是一款高保真音乐生成模型。

Lyria 2 是最新的音乐生成模型，能够创作多种风格的高保真音乐，适用于复杂的音乐作品。该模型不仅为音乐创作者提供了强大的工具，还推动了音乐生成技术的发展，提升了创作效率。Lyria 2 的目标是让音乐创作变得更加简单和可及，为专业音乐人和爱好者提供灵活的创作支持。

一个基于深度学习的图像和视频描述模型。

Describe Anything 模型（DAM）能够处理图像或视频的特定区域，并生成详细描述。它的主要优点在于可以通过简单的标记（点、框、涂鸦或掩码）来生成高质量的本地化描述，极大地提升了计算机视觉领域的图像理解能力。该模型由 NVIDIA 和多所大学联合开发，适合用于研究、开发和实际应用中。

开放源代码的 8B 参数文本到图像扩散模型。

Flex.2 是当前最灵活的文本到图像扩散模型，具备内置的重绘和通用控制功能。它是一个开源项目，由社区支持，旨在推动人工智能的民主化。Flex.2 具备 8 亿参数，支持 512 个令牌长度输入，并符合 OSI 的 Apache 2.0 许可证。此模型可以在许多创意项目中提供强大的支持。用户可以通过反馈不断改善模型，推动技术进步。

轻量级嵌套架构，用于语音反欺诈。

Nes2Net 是一个为基础模型驱动的语音反欺诈任务设计的轻量级嵌套架构，具有较低的错误率，适用于音频深度假造检测。该模型在多个数据集上表现优异，预训练模型和代码已在 GitHub 上发布，便于研究人员和开发者使用。适合音频处理和安全领域，主要定位于提高语音识别和反欺诈的效率和准确性。

利用强化学习提升扩散大语言模型的推理能力。

该模型通过强化学习和高质量推理轨迹的掩蔽自监督微调，实现了对扩散大语言模型的推理能力的提升。此技术的重要性在于它能够优化模型的推理过程，减少计算成本，同时保证学习动态的稳定性。适合希望在写作和推理任务中提升效率的用户。

开源视频生成模型，支持多种生成任务。

Wan2.1-FLF2V-14B 是一个开源的大规模视频生成模型，旨在推动视频生成领域的进步。该模型在多项基准测试中表现优异，支持消费者级 GPU，能够高效生成 480P 和 720P 的视频。它在文本到视频、图像到视频等多个任务中表现出色，具有强大的视觉文本生成能力，适用于各种实际应用场景。

用于视频生成的下一帧预测模型。

FramePack 是一个创新的视频生成模型，旨在通过压缩输入帧的上下文来提高视频生成的质量和效率。其主要优点在于解决了视频生成中的漂移问题，通过双向采样方法保持视频质量，适合需要生成长视频的用户。该技术背景来源于对现有模型的深入研究和实验，以改进视频生成的稳定性和连贯性。

一个集成视觉理解和生成的多模态生成模型。

Liquid 是一个自回归生成模型，通过将图像分解为离散代码并与文本标记共享特征空间，促进视觉理解和文本生成的无缝集成。此模型的主要优点在于无需外部预训练的视觉嵌入，减少了对资源的依赖，同时通过规模法则发现了理解与生成任务之间的相互促进效应。