产品库

高效的文本到音频生成模型

TangoFlux是一个高效的文本到音频（TTA）生成模型，拥有515M参数，能够在单个A40 GPU上仅用3.7秒生成长达30秒的44.1kHz音频。该模型通过提出CLAP-Ranked Preference Optimization (CRPO)框架，解决了TTA模型对齐的挑战，通过迭代生成和优化偏好数据来增强TTA对齐。TangoFlux在客观和主观基准测试中均实现了最先进的性能，并且所有代码和模型均开源，以支持TTA生成的进一步研究。

通过时间变化信号和声音模仿生成可控音频的模型

Sketch2Sound是一个生成音频的模型，能够从一组可解释的时间变化控制信号（响度、亮度、音高）以及文本提示中创建高质量的声音。该模型能够在任何文本到音频的潜在扩散变换器（DiT）上实现，并且只需要40k步的微调和每个控制一个单独的线性层，使其比现有的方法如ControlNet更加轻量级。Sketch2Sound的主要优点包括从声音模仿中合成任意声音的能力，以及在保持输入文本提示和音频质量的同时，遵循输入控制的大致意图。这使得声音艺术家能够结合文本提示的语义灵活性和声音手势或声音模仿的表现力和精确度来创造声音。

开源的PDF到Podcast工作流构建工具

NotebookLlama是一个开源项目，旨在通过一系列教程和笔记本指导用户构建从PDF到Podcast的工作流。该项目涵盖了从文本预处理到使用文本到语音模型的整个流程，适合对大型语言模型（LLMs）、提示和音频模型零知识的用户。NotebookLlama的主要优点包括易用性、教育性和实验性，它不仅提供了一个参考实现，还鼓励用户通过实验不同的模型和提示来优化结果。

高度逼真的多语言文本到音频生成模型

Bark是由Suno开发的基于Transformer的文本到音频模型，能够生成逼真的多语言语音以及其他类型的音频，如音乐、背景噪声和简单音效。它还支持生成非语言交流，例如笑声、叹息和哭泣声。Bark支持研究社区，提供预训练模型检查点，适用于推理并可用于商业用途。

从文本提示生成立体声音频

Stable Audio Open 是一个能够从文本提示生成长达47秒的立体声音频的技术。它包含三个主要组件：一个将波形压缩到可管理序列长度的自编码器、一个基于T5的文本嵌入用于文本条件、以及一个在自编码器的潜在空间中操作的基于变换的扩散（DiT）模型。该技术在生成音频方面表现出色，能够根据文本提示生成各种类型的音频，如打击乐、电子音乐、自然声音等。

高效的文本到音频生成模型，具有潜在一致性。

AudioLCM是一个基于PyTorch实现的文本到音频生成模型，它通过潜在一致性模型来生成高质量且高效的音频。该模型由Huadai Liu等人开发，提供了开源的实现和预训练模型。它能够将文本描述转化为接近真实的音频，具有重要的应用价值，尤其是在语音合成、音频制作等领域。

基于文本提示生成可变长度立体声音频的AI模型。

Stable Audio Open 1.0是一个利用自编码器、基于T5的文本嵌入和基于变压器的扩散模型来生成长达47秒的立体声音频的AI模型。它通过文本提示生成音乐和音频，支持研究和实验，以探索生成性AI模型的当前能力。该模型在Freesound和Free Music Archive (FMA)的数据集上进行训练，确保了数据的多样性和版权合法性。

一个先进的统一偏好建模模型。

WorldPM-72B 是一个通过大规模训练获得的统一偏好建模模型，具有显著的通用性和较强的表现能力。该模型基于 15M 偏好数据，展示了在客观知识的偏好识别方面的巨大潜力。适合用于生成更高质量的文本内容，尤其在写作领域具有重要的应用价值。

通过音频扩散模型实现源分离和合成的创新方法。

Audio-SDS 是一个将 Score Distillation Sampling（SDS）概念应用于音频扩散模型的框架。该技术能够在不需要专门数据集的情况下，利用大型预训练模型进行多种音频任务，如物理引导的冲击声合成和基于提示的源分离。其主要优点在于通过一系列迭代优化，使得复杂的音频生成任务变得更为高效。此技术具有广泛的应用前景，能够为未来的音频生成和处理研究提供坚实基础。

智能文档处理AI平台，利用AI、机器学习和OCR技术自动化数据提取、分类和组织各种文档类型。

docsynecx是一款智能文档处理AI平台，通过AI、机器学习和OCR技术，自动化处理各种文档类型，包括发票处理、收据、提单等。该平台能够快速准确地提取、分类和组织结构化、半结构化和非结构化数据。

Audiox是专业AI音频生成工具。

Audiox是一款利用AI技术生成专业音频的工具，无需音乐知识，可快速创建令人惊叹的音乐和声音效果。其主要优点包括创作便捷、音质优良、使用简单，适用于音乐制作、视频制作、声效设计等领域。

一款高质量的英语自动语音识别模型，支持标点符号和时间戳预测。

parakeet-tdt-0.6b-v2 是一个 600 百万参数的自动语音识别（ASR）模型，旨在实现高质量的英语转录，具有准确的时间戳预测和自动标点符号、大小写支持。该模型基于 FastConformer 架构，能够高效地处理长达 24 分钟的音频片段，适合开发者、研究人员和各行业应用。

一个统一的图像编辑模型，支持多种用户指令。

Step1X-Edit 是一种实用的通用图像编辑框架，利用 MLLMs 的图像理解能力解析编辑指令，生成编辑令牌，并通过 DiT 网络解码为图像。其重要性在于能够有效满足真实用户的编辑需求，提升了图像编辑的便捷性和灵活性。

轻量级嵌套架构，用于语音反欺诈。

Nes2Net 是一个为基础模型驱动的语音反欺诈任务设计的轻量级嵌套架构，具有较低的错误率，适用于音频深度假造检测。该模型在多个数据集上表现优异，预训练模型和代码已在 GitHub 上发布，便于研究人员和开发者使用。适合音频处理和安全领域，主要定位于提高语音识别和反欺诈的效率和准确性。

一个简单易用的语音克隆和语音模型训练工具。

EaseVoice Trainer 是一个后端项目，旨在简化和增强语音合成与转换训练过程。该项目基于 GPT-SoVITS 进行改进，注重用户体验和系统的可维护性。其设计理念不同于原始项目，旨在提供更模块化和定制化的解决方案，适用于从小规模实验到大规模生产的多种场景。该工具可以帮助开发者和研究人员更高效地进行语音合成和转换的研究与开发。

用于视频生成的下一帧预测模型。

FramePack 是一个创新的视频生成模型，旨在通过压缩输入帧的上下文来提高视频生成的质量和效率。其主要优点在于解决了视频生成中的漂移问题，通过双向采样方法保持视频质量，适合需要生成长视频的用户。该技术背景来源于对现有模型的深入研究和实验，以改进视频生成的稳定性和连贯性。

通过生成推理扩大过程奖励模型的测试时间计算。

GenPRM 是一种新兴的过程奖励模型（PRM），通过生成推理来提高在测试时的计算效率。这项技术能够在处理复杂任务时提供更准确的奖励评估，适用于多种机器学习和人工智能领域的应用。其主要优点是能够在资源有限的情况下优化模型性能，并在实际应用中降低计算成本。

昆仑万维开源的高性能数学代码推理模型，性能卓越

Skywork-OR1是由昆仑万维天工团队开发的高性能数学代码推理模型。该模型系列在同等参数规模下实现了业界领先的推理性能，突破了大模型在逻辑理解与复杂任务求解方面的能力瓶颈。Skywork-OR1系列包括Skywork-OR1-Math-7B、Skywork-OR1-7B-Preview和Skywork-OR1-32B-Preview三款模型，分别聚焦数学推理、通用推理和高性能推理任务。此次开源不仅涵盖模型权重，还全面开放了训练数据集和完整训练代码，所有资源均已上传至GitHub和Huggingface平台，为AI社区提供了完全可复现的实践参考。这种全方位的开源策略有助于推动整个AI社区在推理能力研究上的共同进步。

Pusa 是一个新颖的视频扩散模型，支持多种视频生成任务。

Pusa 通过帧级噪声控制引入视频扩散建模的创新方法，能够实现高质量的视频生成，适用于多种视频生成任务（文本到视频、图像到视频等）。该模型以其卓越的运动保真度和高效的训练过程，提供了一个开源的解决方案，方便用户进行视频生成任务。

Dream 7B 是最强大的开放扩散大语言模型。

Dream 7B 是由香港大学 NLP 组和华为诺亚方舟实验室联合推出的最新扩散大语言模型。它在文本生成领域展现了优异的性能，特别是在复杂推理、长期规划和上下文连贯性等方面。该模型采用了先进的训练方法，具有强大的计划能力和灵活的推理能力，为各类 AI 应用提供了更为强大的支持。

一个针对机器学习优化的多模态 OCR 管道。

该产品是一个专门设计的 OCR 系统，旨在从复杂的教育材料中提取结构化数据，支持多语言文本、数学公式、表格和图表，能够生成适用于机器学习训练的高质量数据集。该系统利用多种技术和 API，能够提供高精度的提取结果，适合学术研究和教育工作者使用。

一款为 AI/ML 模型监控和管理而设计的工具。

Arthur Engine 是一个旨在监控和治理 AI/ML 工作负载的工具，利用流行的开源技术和框架。该产品的企业版提供更好的性能和额外功能，如自定义的企业级防护机制和指标，旨在最大化 AI 对组织的潜力。它能够有效评估和优化模型，确保数据安全与合规。

一个强大的文本生成模型，适用于多种对话应用。

DeepSeek-V3-0324 是一个先进的文本生成模型，具有 685 亿参数，采用 BF16 和 F32 张量类型，能够支持高效的推理和文本生成。该模型的主要优点在于其强大的生成能力和开放源码的特性，使其可以被广泛应用于多种自然语言处理任务。该模型的定位是为开发者和研究人员提供一个强大的工具，帮助他们在文本生成领域取得突破。

RF-DETR 是由 Roboflow 开发的实时目标检测模型。

RF-DETR 是一个基于变压器的实时目标检测模型，旨在为边缘设备提供高精度和实时性能。它在 Microsoft COCO 基准测试中超过了 60 AP，具有竞争力的性能和快速的推理速度，适合各种实际应用场景。RF-DETR 旨在解决现实世界中的物体检测问题，适用于需要高效且准确检测的行业，如安防、自动驾驶和智能监控等。

高保真可动画 3D 人类重建模型，快速生成动画角色。

LHM（大规模可动画人类重建模型）利用多模态变压器架构进行高保真 3D 头像重建，支持从单张图像生成可动画的 3D 人类形象。该模型能够详细保留服装几何和纹理，尤其是在面部身份和细节恢复方面表现优异，适合对 3D 重建精度有较高要求的应用场景。

Pruna 是一个模型优化框架，帮助开发者快速高效交付模型。

Pruna 是一个为开发者设计的模型优化框架，通过一系列压缩算法，如量化、修剪和编译等技术，使得机器学习模型在推理时更快、体积更小且计算成本更低。产品适用于多种模型类型，包括 LLMs、视觉转换器等，且支持 Linux、MacOS 和 Windows 等多个平台。Pruna 还提供了企业版 Pruna Pro，解锁更多高级优化功能和优先支持，助力用户在实际应用中提高效率。

SpatialLM 是一个用于空间理解的大语言模型。

SpatialLM 是一个专为处理 3D 点云数据设计的大型语言模型，能够生成结构化的 3D 场景理解输出，包括建筑元素和对象的语义类别。它能够从单目视频序列、RGBD 图像和 LiDAR 传感器等多种来源处理点云数据，无需专用设备。SpatialLM 在自主导航和复杂 3D 场景分析任务中具有重要应用价值，显著提升空间推理能力。

一个开源文本转语音系统，致力于实现人类语音的自然化。

Orpheus TTS 是一个基于 Llama-3b 模型的开源文本转语音系统，旨在提供更加自然的人类语音合成。它具备较强的语音克隆能力和情感表达能力，适合各种实时应用场景。该产品是免费的，旨在为开发者和研究者提供便捷的语音合成工具。

为Firefox浏览器翻译功能优化的CPU加速神经机器翻译模型。

Firefox Translations Models 是由Mozilla开发的一组CPU优化的神经机器翻译模型，专为Firefox浏览器的翻译功能设计。该模型通过高效的CPU加速技术，提供快速且准确的翻译服务，支持多种语言对。其主要优点包括高性能、低延迟和对多种语言的支持。该模型是Firefox浏览器翻译功能的核心技术，为用户提供无缝的网页翻译体验。

基于 Gemini 的 Colab 数据科学助手，可自动生成完整的 Colab 笔记本代码。

Data Science Agent in Colab 是 Google 推出的一款基于 Gemini 的智能工具，旨在简化数据科学工作流程。它通过自然语言描述自动生成完整的 Colab 笔记本代码，涵盖数据导入、分析和可视化等任务。该工具的主要优点是节省时间、提高效率，并且生成的代码可修改和共享。它面向数据科学家、研究人员和开发者，尤其是那些希望快速从数据中获取洞察的用户。目前该工具免费提供给符合条件的用户。