产品库

通过音频扩散模型实现源分离和合成的创新方法。

Audio-SDS 是一个将 Score Distillation Sampling（SDS）概念应用于音频扩散模型的框架。该技术能够在不需要专门数据集的情况下，利用大型预训练模型进行多种音频任务，如物理引导的冲击声合成和基于提示的源分离。其主要优点在于通过一系列迭代优化，使得复杂的音频生成任务变得更为高效。此技术具有广泛的应用前景，能够为未来的音频生成和处理研究提供坚实基础。

一个简单易用的语音克隆和语音模型训练工具。

EaseVoice Trainer 是一个后端项目，旨在简化和增强语音合成与转换训练过程。该项目基于 GPT-SoVITS 进行改进，注重用户体验和系统的可维护性。其设计理念不同于原始项目，旨在提供更模块化和定制化的解决方案，适用于从小规模实验到大规模生产的多种场景。该工具可以帮助开发者和研究人员更高效地进行语音合成和转换的研究与开发。

一个高效的语音合成模型，支持中英文及语音克隆。

MegaTTS 3 是由字节跳动开发的一款基于 PyTorch 的高效语音合成模型，具有超高质量的语音克隆能力。其轻量级架构只包含 0.45B 参数，支持中英文及代码切换，能够根据输入文本生成自然流畅的语音，广泛应用于学术研究和技术开发。

MoCha 致力于生成电影级别的对话角色合成。

MoCha 是一种创新的技术，旨在合成高质量的对话角色，使其在影视制作、游戏和动画中应用广泛。该技术的主要优点是能生成更自然、流畅的角色对话，增强了观众的沉浸感。MoCha 的市场定位为专业的影视制作公司和独立开发者，致力于提升角色交互的真实感。产品采用基于深度学习的模型，价格策略为付费，提供不同层级的服务包。

GAIA-2 是一个先进的视频生成模型，用于创建安全的自动驾驶场景。

GAIA-2 是 Wayve 开发的先进视频生成模型，旨在为自动驾驶系统提供多样化和复杂的驾驶场景，以提高安全性和可靠性。该模型通过生成合成数据来解决依赖现实世界数据收集的限制，能够创建各种驾驶情境，包括常规和边缘案例。GAIA-2 支持多种地理和环境条件的模拟，帮助开发者在没有高昂成本的情况下快速测试和验证自动驾驶算法。

加速视频扩散模型，生成速度提升 8.5 倍。

AccVideo 是一种新颖的高效蒸馏方法，通过合成数据集加速视频扩散模型的推理速度。该模型能够在生成视频时实现 8.5 倍的速度提升，同时保持相似的性能。它使用预训练的视频扩散模型生成多条有效去噪轨迹，从而优化了数据的使用和生成过程。AccVideo 特别适用于需要高效视频生成的场景，如电影制作、游戏开发等，适合研究人员和开发者使用。

Qwen2.5-Omni 是阿里云通义千问团队开发的端到端多模态模型，支持文本、音频、图像、视频输入。

Qwen2.5-Omni 是阿里云通义千问团队推出的新一代端到端多模态旗舰模型。该模型专为全方位多模态感知设计，能够无缝处理文本、图像、音频和视频等多种输入形式，并通过实时流式响应同时生成文本与自然语音合成输出。其创新的 Thinker-Talker 架构和 TMRoPE 位置编码技术，使其在多模态任务中表现出色，特别是在音频、视频和图像理解方面。该模型在多个基准测试中超越了类似规模的单模态模型，展现了强大的性能和广泛的应用潜力。目前，Qwen2.5-Omni 已在 Hugging Face、ModelScope、DashScope 和 GitHub 上开源开放，为开发者提供了丰富的使用场景和开发支持。

开发者可互动体验 OpenAI API 中的新语音模型gpt-4o-transcribe， gpt-4o-mini-transcribe and gpt-4o-mini-tts。

OpenAI.fm 是一个互动演示平台，允许开发者体验 OpenAI API 中的最新文本转语音模型gpt-4o-transcribe， gpt-4o-mini-transcribe and gpt-4o-mini-tts。该技术能够生成自然流畅的语音，使得文本内容生动而易于理解。它适用于各种应用场景，尤其是在语音助手和内容创作方面，能够帮助开发者更好地与用户沟通，提升用户体验。该产品定位于高效的语音合成，适合希望整合语音功能的开发者。

一个开源文本转语音系统，致力于实现人类语音的自然化。

Orpheus TTS 是一个基于 Llama-3b 模型的开源文本转语音系统，旨在提供更加自然的人类语音合成。它具备较强的语音克隆能力和情感表达能力，适合各种实时应用场景。该产品是免费的，旨在为开发者和研究者提供便捷的语音合成工具。

1.3B参数的图像转视频模型，用于生成3D一致的新场景视图

Stable Virtual Camera是Stability AI开发的一个1.3B参数的通用扩散模型，属于Transformer图像转视频模型。其重要性在于为新型视图合成（NVS）提供了技术支持，能够根据输入视图和目标相机生成3D一致的新场景视图。主要优点是可自由指定目标相机轨迹，能生成大视角变化且时间上平滑的样本，无需额外神经辐射场（NeRF）蒸馏即可保持高一致性，还能生成长达半分钟的高质量无缝循环视频。该模型仅可免费用于研究和非商业用途，定位是为研究人员和非商业创作者提供创新的图像转视频解决方案。

基于《Factorio》游戏的大语言模型测试与学习环境

Factorio Learning Environment（FLE）是基于《Factorio》游戏构建的新型框架，用于评估大型语言模型（LLMs）在长期规划、程序合成和资源优化方面的能力。随着LLMs逐渐饱和现有基准测试，FLE提供了新的开放式评估方式。它的重要性在于能让研究人员更全面、深入地了解LLMs的优势与不足。主要优点是提供了开放式且难度呈指数级增长的挑战，拥有结构化任务和开放式任务两种评估协议。该项目由Jack Hopkins等人开发，以开源形式发布，免费使用，定位是推动AI研究人员对复杂、开放式领域中智能体能力的研究。

CSM 1B 是一个由 Sesame 开发的文本到语音生成模型，可生成高质量的音频。

CSM 1B 是一个基于 Llama 架构的语音生成模型，能够从文本和音频输入中生成 RVQ 音频代码。该模型主要应用于语音合成领域，具有高质量的语音生成能力。其优势在于能够处理多说话人的对话场景，并通过上下文信息生成自然流畅的语音。该模型开源，旨在为研究和教育目的提供支持，但明确禁止用于冒充、欺诈或非法活动。

一个用于生成对话式语音的模型，支持从文本和音频输入生成高质量的语音。

CSM 是一个由 Sesame 开发的对话式语音生成模型，它能够根据文本和音频输入生成高质量的语音。该模型基于 Llama 架构，并使用 Mimi 音频编码器。它主要用于语音合成和交互式语音应用，例如语音助手和教育工具。CSM 的主要优点是能够生成自然流畅的语音，并且可以通过上下文信息优化语音输出。该模型目前是开源的，适用于研究和教育目的。

Sesame AI 是一款先进的语音合成平台，能够生成自然对话式语音并具备情感智能。

Sesame AI 代表了下一代语音合成技术，通过结合先进的人工智能技术和自然语言处理，能够生成极其逼真的语音，具备真实的情感表达和自然的对话流程。该平台在生成类似人类的语音模式方面表现出色，同时能够保持一致的性格特征，非常适合内容创作者、开发者和企业，用于为其应用程序增添自然语音功能。目前尚不清楚其具体价格和市场定位，但其强大的功能和广泛的应用场景使其在市场上具有较高的竞争力。

Steiner 是一个基于合成数据训练的推理模型，旨在探索多种推理路径并自主验证。

Steiner 是由 Yichao 'Peak' Ji 开发的推理模型系列，专注于通过强化学习在合成数据上训练，能够在推理时探索多种路径并自主验证或回溯。该模型的目标是复现 OpenAI o1 的推理能力，并验证推理时的扩展曲线。Steiner-preview 是一个正在进行中的项目，其开源目的是为了分享知识并获取更多真实用户的反馈。尽管该模型在某些基准测试中表现出色，但尚未完全实现 OpenAI o1 的推理扩展能力，因此仍处于开发阶段。

Spark-TTS 是一种基于大语言模型的高效单流解耦语音合成模型。

Spark-TTS 是一种基于大语言模型的高效文本到语音合成模型，具有单流解耦语音令牌的特性。它利用大语言模型的强大能力，直接从代码预测的音频进行重建，省略了额外的声学特征生成模型，从而提高了效率并降低了复杂性。该模型支持零样本文本到语音合成，能够跨语言和代码切换场景，非常适合需要高自然度和准确性的语音合成应用。它还支持虚拟语音创建，用户可以通过调整参数（如性别、音高和语速）来生成不同的语音。该模型的背景是为了解决传统语音合成系统中效率低下和复杂性高的问题，旨在为研究和生产提供高效、灵活且强大的解决方案。目前，该模型主要面向学术研究和合法应用，如个性化语音合成、辅助技术和语言研究等。

一个AI驱动的研究系统，可使用多个搜索引擎和LLMs进行综合迭代研究。

Shandu是一个基于AI的研究系统，能够通过多源信息合成和深度迭代探索生成全面的研究报告。它利用先进的语言模型和智能网络爬虫技术，自动完成从问题澄清到内容分析的全过程。其主要优点包括高效的信息整合能力、灵活的多源数据处理以及强大的知识合成能力。该产品适用于需要快速生成高质量研究报告的场景，如学术研究、市场情报分析和技术探索。目前该产品为开源项目，用户可以根据需求进行定制和扩展。

基于Llama框架的TTS基础模型，兼容16万小时标记化语音数据。

Llasa是一个基于Llama框架的文本到语音（TTS）基础模型，专为大规模语音合成任务设计。该模型利用16万小时的标记化语音数据进行训练，具备高效的语言生成能力和多语言支持。其主要优点包括强大的语音合成能力、低推理成本和灵活的框架兼容性。该模型适用于教育、娱乐和商业场景，能够为用户提供高质量的语音合成解决方案。目前该模型在Hugging Face上免费提供，旨在推动语音合成技术的发展和应用。

在Mac上与多个AI模型聊天，支持屏幕共享和多模型合成。

Chorus是一款面向桌面的AI聊天工具，支持多种先进AI模型的集成和交互。它通过强大的合成技术将不同AI模型的响应整合为单一输出，极大地提升了用户体验。Chorus的主要优点包括高性能、多模型支持和本地化运行，使其成为个人计算和生产力提升的重要工具。产品目前主要面向技术爱好者和专业人士，提供高效、灵活的AI交互体验。其定价策略尚未明确，但已提供0.5.36版本的更新。

Octave TTS 是首个能够理解文本含义的语音合成模型，能够生成富有情感和风格的语音。

Octave TTS 是由 Hume AI 开发的下一代语音合成模型，它不仅能够将文本转换为语音，还能理解文本的语义和情感，从而生成富有表现力的语音输出。该技术的核心优势在于其对语言的深度理解能力，使其能够根据上下文生成自然、生动的语音，适用于多种应用场景，如有声读物、虚拟助手和情感化语音交互等。Octave TTS 的出现标志着语音合成技术从简单的文本朗读向更具表现力和交互性的方向发展，为用户提供更加个性化和情感化的语音体验。目前，该产品主要面向开发者和创作者，通过 API 和平台提供服务，未来有望扩展到更多语言和应用场景。