开源的全双工音频生成基础模型
hertz-dev是Standard Intelligence开源的全双工、仅音频的变换器基础模型,拥有85亿参数。该模型代表了可扩展的跨模态学习技术,能够将单声道16kHz语音转换为8Hz潜在表示,具有1kbps的比特率,性能优于其他音频编码器。hertz-dev的主要优点包括低延迟、高效率和易于研究人员进行微调和构建。产品背景信息显示,Standard Intelligence致力于构建对全人类有益的通用智能,而hertz-dev是这一旅程的第一步。
基于羊驼模型的大型语音生成模型
LlamaVoice是一个基于羊驼模型的大型语音生成模型,它通过直接预测连续特征,提供了一种与传统依赖于离散语音码预测的向量量化模型相比更为流畅和高效的处理过程。该模型具有连续特征预测、变分自编码器(VAE)潜在特征预测、联合训练、先进采样策略和基于流的增强等关键特点。
多语言大型语音生成模型,提供全栈推理、训练和部署能力。
CosyVoice 是一个多语言的大型语音生成模型,它不仅支持多种语言的语音生成,还提供了从推理到训练再到部署的全栈能力。该模型在语音合成领域具有重要性,因为它能够生成自然流畅、接近真人的语音,适用于多种语言环境。CosyVoice 的背景信息显示,它是由 FunAudioLLM 团队开发,使用了 Apache-2.0 许可证。
低延迟语音模型,生成逼真语音
Sonic是由Carteisa团队开发的低延迟语音模型,旨在为各种设备提供逼真的语音生成能力。该模型利用了创新的状态空间模型架构,以实现高分辨率音频和视频的高效、低延迟生成。Sonic模型的延迟仅为135毫秒,是同类模型中最快的。Carteisa团队专注于优化智能的效率,使它更快、更便宜、更易于访问。Sonic模型的发布,标志着实时对话式AI和长期记忆的计算平台的初步进展,预示着未来AI在实时游戏、客户支持等领域的新体验。
由哔哩哔哩用户评论微调训练而成的本地聊天机器人
bilibot是一个基于哔哩哔哩用户评论训练的本地聊天机器人,支持文字聊天和语音对话。它使用Qwen1.5-32B-Chat作为基础模型,并结合苹果的mlx-lm LORA项目进行微调。语音生成部分基于GPT-SoVITS项目,使用派蒙语音模型。该机器人可以快速生成对话内容,适用于需要智能对话系统的场合。
生成高质量、自然 sounding 的语音
Parler-TTS 是一个由 Hugging Face 开发的轻量级文本转语音(TTS)模型,能够以给定说话者的风格(性别、音调、说话风格等)生成高质量、自然 sounding 的语音。它是基于 Dan Lyth 和 Simon King 发表的论文《Natural language guidance of high-fidelity text-to-speech with synthetic annotations》的工作复现,两位作者分别来自 Stability AI 和爱丁堡大学。与其他TTS模型不同,Parler-TTS 完全开源发布,包括数据集、预处理、训练代码和权重。功能包括:生成高质量且自然 sounding 的语音输出、灵活的使用和部署、提供丰富的注释语音数据集。定价:免费。
使用自得语音技术,创造属于你的角色
自得语音技术可通过简单的步骤创造出属于你的角色。类似GPT,可生成与真人无异的语音片段,在情感、音色和语速等方面与真人一致。自得语音支持快速定制角色,只需要上传一段语音即可立即生成属于你的语音角色。无需下载软件,可在浏览器上完成语音生成。同时提供API接口,方便开发者集成到自己的产品中。商用用户可享受7x24小时的技术支持。
AI语音和视频生成
Listnr AI是一款由AI驱动的语音和视频生成工具。它提供900多种语音和142种语言选择,可以生成逼真的语音和视频内容。用户可以免费开始使用,并在需要时选择付费计划。Listnr AI适用于各种场景,包括生成视频、创建语音广告、制作音频文章、播客制作等。它提供透明的定价,用户可以根据自己的需求选择合适的付费计划。
© 2024 AIbase 备案号:闽ICP备08105208号-14