利用人工智能即时为内容创建惊人逼真、类人声音
UntitledPen 是一个利用最先进的GPT模型进行音频生成的工具,可以为您的内容创建最逼真的人类声音。它能够将文字转换为自然语音,适用于播客、视频、演讲等多种场景。
AI音频API,提供文本转语音、语音克隆和声音转换功能。
All Voice Lab 是全球领先的 AI 语音创作平台,致力于赋能全球创作者。我们以革命性的字幕擦除与视频翻译技术为核心,提供文本转语音、语音克隆、声音转换等强大功能。平台凭借字幕擦除的无痕精准与视频翻译的高效流畅,结合领先的语音克隆技术,助力用户跨越语言壁垒,实现高效创作。
通过音频扩散模型实现源分离和合成的创新方法。
Audio-SDS 是一个将 Score Distillation Sampling(SDS)概念应用于音频扩散模型的框架。该技术能够在不需要专门数据集的情况下,利用大型预训练模型进行多种音频任务,如物理引导的冲击声合成和基于提示的源分离。其主要优点在于通过一系列迭代优化,使得复杂的音频生成任务变得更为高效。此技术具有广泛的应用前景,能够为未来的音频生成和处理研究提供坚实基础。
一个可以在一次传递中生成超逼真的对话的 TTS 模型。
Dia 是一个由 Nari Labs 开发的文本到语音(TTS)模型,具有 1.6 亿参数,能够直接从文本生成高度逼真的对话。该模型支持情感和语调控制,并能够生成非言语交流,如笑声和咳嗽。它的预训练模型权重托管在 Hugging Face 上,适用于英语生成。此产品对于研究和教育用途至关重要,能够推动对话生成技术的发展。
一个简单易用的语音克隆和语音模型训练工具。
EaseVoice Trainer 是一个后端项目,旨在简化和增强语音合成与转换训练过程。该项目基于 GPT-SoVITS 进行改进,注重用户体验和系统的可维护性。其设计理念不同于原始项目,旨在提供更模块化和定制化的解决方案,适用于从小规模实验到大规模生产的多种场景。该工具可以帮助开发者和研究人员更高效地进行语音合成和转换的研究与开发。
使用微信聊天记录微调大语言模型,实现高质量声音克隆。
WeClone 是一个基于微信聊天记录微调大语言模型的项目,主要用于实现高质量的声音克隆和数字分身。它结合了微信语音消息和 0.5B 大模型,允许用户通过聊天机器人与自己的数字分身互动。该技术在数字永生和声音克隆领域具有重要的应用价值,可以让用户在不在场的情况下继续与他人交流。此项目正在快速迭代中,适合对 AI 和语言模型感兴趣的用户,且目前处于免费的开发阶段。
一个高效的语音合成模型,支持中英文及语音克隆。
MegaTTS 3 是由字节跳动开发的一款基于 PyTorch 的高效语音合成模型,具有超高质量的语音克隆能力。其轻量级架构只包含 0.45B 参数,支持中英文及代码切换,能够根据输入文本生成自然流畅的语音,广泛应用于学术研究和技术开发。
MoCha 致力于生成电影级别的对话角色合成。
MoCha 是一种创新的技术,旨在合成高质量的对话角色,使其在影视制作、游戏和动画中应用广泛。该技术的主要优点是能生成更自然、流畅的角色对话,增强了观众的沉浸感。MoCha 的市场定位为专业的影视制作公司和独立开发者,致力于提升角色交互的真实感。产品采用基于深度学习的模型,价格策略为付费,提供不同层级的服务包。
GAIA-2 是一个先进的视频生成模型,用于创建安全的自动驾驶场景。
GAIA-2 是 Wayve 开发的先进视频生成模型,旨在为自动驾驶系统提供多样化和复杂的驾驶场景,以提高安全性和可靠性。该模型通过生成合成数据来解决依赖现实世界数据收集的限制,能够创建各种驾驶情境,包括常规和边缘案例。GAIA-2 支持多种地理和环境条件的模拟,帮助开发者在没有高昂成本的情况下快速测试和验证自动驾驶算法。
加速视频扩散模型,生成速度提升 8.5 倍。
AccVideo 是一种新颖的高效蒸馏方法,通过合成数据集加速视频扩散模型的推理速度。该模型能够在生成视频时实现 8.5 倍的速度提升,同时保持相似的性能。它使用预训练的视频扩散模型生成多条有效去噪轨迹,从而优化了数据的使用和生成过程。AccVideo 特别适用于需要高效视频生成的场景,如电影制作、游戏开发等,适合研究人员和开发者使用。
Qwen2.5-Omni 是阿里云通义千问团队开发的端到端多模态模型,支持文本、音频、图像、视频输入。
Qwen2.5-Omni 是阿里云通义千问团队推出的新一代端到端多模态旗舰模型。该模型专为全方位多模态感知设计,能够无缝处理文本、图像、音频和视频等多种输入形式,并通过实时流式响应同时生成文本与自然语音合成输出。其创新的 Thinker-Talker 架构和 TMRoPE 位置编码技术,使其在多模态任务中表现出色,特别是在音频、视频和图像理解方面。该模型在多个基准测试中超越了类似规模的单模态模型,展现了强大的性能和广泛的应用潜力。目前,Qwen2.5-Omni 已在 Hugging Face、ModelScope、DashScope 和 GitHub 上开源开放,为开发者提供了丰富的使用场景和开发支持。
开发者可互动体验 OpenAI API 中的新语音模型gpt-4o-transcribe, gpt-4o-mini-transcribe and gpt-4o-mini-tts。
OpenAI.fm 是一个互动演示平台,允许开发者体验 OpenAI API 中的最新文本转语音模型gpt-4o-transcribe, gpt-4o-mini-transcribe and gpt-4o-mini-tts。该技术能够生成自然流畅的语音,使得文本内容生动而易于理解。它适用于各种应用场景,尤其是在语音助手和内容创作方面,能够帮助开发者更好地与用户沟通,提升用户体验。该产品定位于高效的语音合成,适合希望整合语音功能的开发者。
一个开源文本转语音系统,致力于实现人类语音的自然化。
Orpheus TTS 是一个基于 Llama-3b 模型的开源文本转语音系统,旨在提供更加自然的人类语音合成。它具备较强的语音克隆能力和情感表达能力,适合各种实时应用场景。该产品是免费的,旨在为开发者和研究者提供便捷的语音合成工具。
1.3B参数的图像转视频模型,用于生成3D一致的新场景视图
Stable Virtual Camera是Stability AI开发的一个1.3B参数的通用扩散模型,属于Transformer图像转视频模型。其重要性在于为新型视图合成(NVS)提供了技术支持,能够根据输入视图和目标相机生成3D一致的新场景视图。主要优点是可自由指定目标相机轨迹,能生成大视角变化且时间上平滑的样本,无需额外神经辐射场(NeRF)蒸馏即可保持高一致性,还能生成长达半分钟的高质量无缝循环视频。该模型仅可免费用于研究和非商业用途,定位是为研究人员和非商业创作者提供创新的图像转视频解决方案。
基于《Factorio》游戏的大语言模型测试与学习环境
Factorio Learning Environment(FLE)是基于《Factorio》游戏构建的新型框架,用于评估大型语言模型(LLMs)在长期规划、程序合成和资源优化方面的能力。随着LLMs逐渐饱和现有基准测试,FLE提供了新的开放式评估方式。它的重要性在于能让研究人员更全面、深入地了解LLMs的优势与不足。主要优点是提供了开放式且难度呈指数级增长的挑战,拥有结构化任务和开放式任务两种评估协议。该项目由Jack Hopkins等人开发,以开源形式发布,免费使用,定位是推动AI研究人员对复杂、开放式领域中智能体能力的研究。
CSM 1B 是一个由 Sesame 开发的文本到语音生成模型,可生成高质量的音频。
CSM 1B 是一个基于 Llama 架构的语音生成模型,能够从文本和音频输入中生成 RVQ 音频代码。该模型主要应用于语音合成领域,具有高质量的语音生成能力。其优势在于能够处理多说话人的对话场景,并通过上下文信息生成自然流畅的语音。该模型开源,旨在为研究和教育目的提供支持,但明确禁止用于冒充、欺诈或非法活动。
一个用于生成对话式语音的模型,支持从文本和音频输入生成高质量的语音。
CSM 是一个由 Sesame 开发的对话式语音生成模型,它能够根据文本和音频输入生成高质量的语音。该模型基于 Llama 架构,并使用 Mimi 音频编码器。它主要用于语音合成和交互式语音应用,例如语音助手和教育工具。CSM 的主要优点是能够生成自然流畅的语音,并且可以通过上下文信息优化语音输出。该模型目前是开源的,适用于研究和教育目的。
© 2025 AIbase 备案号:闽ICP备08105208号-14