产品库

高效的文本到音频生成模型

TangoFlux是一个高效的文本到音频（TTA）生成模型，拥有515M参数，能够在单个A40 GPU上仅用3.7秒生成长达30秒的44.1kHz音频。该模型通过提出CLAP-Ranked Preference Optimization (CRPO)框架，解决了TTA模型对齐的挑战，通过迭代生成和优化偏好数据来增强TTA对齐。TangoFlux在客观和主观基准测试中均实现了最先进的性能，并且所有代码和模型均开源，以支持TTA生成的进一步研究。

高效的文本到音频生成模型，具有潜在一致性。

AudioLCM是一个基于PyTorch实现的文本到音频生成模型，它通过潜在一致性模型来生成高质量且高效的音频。该模型由Huadai Liu等人开发，提供了开源的实现和预训练模型。它能够将文本描述转化为接近真实的音频，具有重要的应用价值，尤其是在语音合成、音频制作等领域。

高度逼真的多语言文本到音频生成模型

Bark是由Suno开发的基于Transformer的文本到音频模型，能够生成逼真的多语言语音以及其他类型的音频，如音乐、背景噪声和简单音效。它还支持生成非语言交流，例如笑声、叹息和哭泣声。Bark支持研究社区，提供预训练模型检查点，适用于推理并可用于商业用途。

视频到音频生成模型

vta-ldm是一个专注于视频到音频生成的深度学习模型，能够根据视频内容生成语义和时间上与视频输入对齐的音频内容。它代表了视频生成领域的一个新突破，特别是在文本到视频生成技术取得显著进展之后。该模型由腾讯AI实验室的Manjie Xu等人开发，具有生成与视频内容高度一致的音频的能力，对于视频制作、音频后期处理等领域具有重要的应用价值。

将文本转换为逼真的语音

OpenAI TTS提供文本到语音的API，基于他们的TTS模型。它带有6种内置语音，可用于朗读博客文章、在多种语言中生成口语音频以及使用流式传输实时音频输出。用户可以通过控制模型名称、文本和语音选择来生成音频文件，并且支持多种音频输出格式。

基于扩散模型的文本到音频生成技术

Make-An-Audio 2是一种基于扩散模型的文本到音频生成技术，由浙江大学、字节跳动和香港中文大学的研究人员共同开发。该技术通过使用预训练的大型语言模型(LLMs)解析文本，优化了语义对齐和时间一致性，提高了生成音频的质量。它还设计了基于前馈Transformer的扩散去噪器，以改善变长音频生成的性能，并增强时间信息的提取。此外，通过使用LLMs将大量音频标签数据转换为音频文本数据集，解决了时间数据稀缺的问题。

高效生成高质量文本到音频模型

EzAudio是一个先进的文本到音频(T2A)生成模型，它能够从文本提示中创建高质量的音频。它为开源T2A模型设定了新的标准，提供快速、高效和逼真的声音效果生成。

生成高保真音乐的文本到音频模型

MusicLM是一个模型，可以根据文本描述生成高保真音乐。它可以生成24kHz的音频，音乐风格和文本描述一致，并支持根据旋律进行条件生成。通过使用MusicCaps数据集，模型在音频质量和与文本描述的一致性方面优于之前的系统。MusicLM可以应用于不同的场景，如生成音乐片段、根据画作描述生成音乐等。

从文本提示生成立体声音频

Stable Audio Open 是一个能够从文本提示生成长达47秒的立体声音频的技术。它包含三个主要组件：一个将波形压缩到可管理序列长度的自编码器、一个基于T5的文本嵌入用于文本条件、以及一个在自编码器的潜在空间中操作的基于变换的扩散（DiT）模型。该技术在生成音频方面表现出色，能够根据文本提示生成各种类型的音频，如打击乐、电子音乐、自然声音等。

文本和语音驱动的人体视频生成，从单张人物输入图像生成视频。

VLOGGER是一种从单张人物输入图像生成文本和音频驱动的讲话人类视频的方法，它建立在最近生成扩散模型的成功基础上。我们的方法包括1)一个随机的人类到3D运动扩散模型，以及2)一个新颖的基于扩散的架构，通过时间和空间控制增强文本到图像模型。这种方法能够生成长度可变的高质量视频，并且通过对人类面部和身体的高级表达方式轻松可控。与以前的工作不同，我们的方法不需要为每个人训练，也不依赖于人脸检测和裁剪，生成完整的图像（而不仅仅是面部或嘴唇），并考虑到正确合成交流人类所需的广泛场景（例如可见的躯干或多样性主体身份）。

Sora AI 开发的纯文本到视频生成模型

Sora 是 OpenAI 开发的文本到视频生成模型,能够根据文本描述生成长达1分钟的逼真图像序列。它具有理解和模拟物理世界运动的能力,目标是训练出帮助人们解决需要实物交互的问题的模型。Sora 可以解释长篇提示,根据文本输入生成各种人物、动物、景观和城市景象。它的缺点是难以准确描绘复杂场景的物理学以及理解因果关系。

更好的文本到视频生成评价工具

该产品是一种用于评价文本到视频生成质量的工具。它引入了一种新的评价指标，即文本到视频评分（T2VScore）。该评分整合了两个关键标准：（1）文本-视频对齐，用于审查视频在呈现给定文本描述方面的忠实度；（2）视频质量，评估视频的整体制作水平。此外，为了评估提出的指标并促进未来对其的改进，该产品提供了TVGE数据集，收集了对2,543个文本到视频生成视频在这两个标准上的人类判断。对TVGE数据集的实验表明，提出的T2VScore在为文本到视频生成提供更好的评价指标方面表现出优越性。

文本到视频生成的开源模型，性能卓越。

Open-Sora-Plan是一个由北京大学元组团队开发的文本到视频生成模型。它在2024年4月首次推出v1.0.0版本，以其简单高效的设计和显著的性能在文本到视频生成领域获得了广泛认可。v1.1.0版本在视频生成质量和持续时间上进行了显著改进，包括更优的压缩视觉表示、更高的生成质量和更长的视频生成能力。该模型采用了优化的CausalVideoVAE架构，具有更强的性能和更高的推理效率。此外，它还保持了v1.0.0版本的极简设计和数据效率，并且与Sora基础模型的性能相似，表明其版本演进与Sora展示的扩展法则一致。

AI语音和视频生成

Listnr AI是一款由AI驱动的语音和视频生成工具。它提供900多种语音和142种语言选择，可以生成逼真的语音和视频内容。用户可以免费开始使用，并在需要时选择付费计划。Listnr AI适用于各种场景，包括生成视频、创建语音广告、制作音频文章、播客制作等。它提供透明的定价，用户可以根据自己的需求选择合适的付费计划。

文本图像到视频生成模型

Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。

通过文本生成高质量AI视频

Sora视频生成器是一个可以通过文本生成高质量AI视频的在线网站。用户只需要输入想要生成视频的文本描述,它就可以使用OpenAI的Sora AI模型,转换成逼真的视频。网站还提供了丰富的视频样例,详细的使用指南和定价方案等。

视频到音频生成模型，增强同步性

MaskVAT是一种视频到音频(V2A)生成模型，它利用视频的视觉特征来生成与场景匹配的逼真声音。该模型特别强调声音的起始点与视觉动作的同步性，以避免不自然的同步问题。MaskVAT结合了全频带高质量通用音频编解码器和序列到序列的遮蔽生成模型，能够在保证高音频质量、语义匹配和时间同步性的同时，达到与非编解码器生成音频模型相媲美的竞争力。

文本到视频生成的创新框架

VideoTetris是一个新颖的框架，它实现了文本到视频的生成，特别适用于处理包含多个对象或对象数量动态变化的复杂视频生成场景。该框架通过空间时间组合扩散技术，精确地遵循复杂的文本语义，并通过操作和组合去噪网络的空间和时间注意力图来实现。此外，它还引入了一种新的参考帧注意力机制，以提高自回归视频生成的一致性。VideoTetris在组合文本到视频生成方面取得了令人印象深刻的定性和定量结果。

高效并行音频生成技术

SoundStorm是由Google Research开发的一种音频生成技术，它通过并行生成音频令牌来大幅减少音频合成的时间。这项技术能够生成高质量、与语音和声学条件一致性高的音频，并且可以与文本到语义模型结合，控制说话内容、说话者声音和说话轮次，实现长文本的语音合成和自然对话的生成。SoundStorm的重要性在于它解决了传统自回归音频生成模型在处理长序列时推理速度慢的问题，提高了音频生成的效率和质量。

开源的文本到视频生成模型

CogVideo是由清华大学团队开发的文本到视频生成模型，它通过深度学习技术将文本描述转换为视频内容。该技术在视频内容创作、教育、娱乐等领域具有广泛的应用前景。CogVideo模型通过大规模预训练，能够生成与文本描述相匹配的视频，为视频制作提供了一种全新的自动化方式。

生成真实 AI 语音

Gotalk.ai 是一个强大的 AI 语音生成器，能够在几分钟内创建逼真的语音。完美适用于 YouTube、播客和电话系统问候语。通过先进的 AI 算法和深度学习技术，体验自然语音合成。我们的平台提供先进的 AI 语音合成，是寻找创新高效语音生成工具的专业人士的首选解决方案。

智能视频到音频生成，简化声音设计。

Resona V2A是一款AI驱动的视频到音频生成技术产品，它能够仅通过视频数据自动生成与场景、动画或电影完美匹配的声音设计、效果、拟音和环境音。该技术通过自动化音频创作过程，节省了大约90%的时间和努力，使得音频制作更加高效和智能。Resona V2A技术正在被电影制作、动画、教育和多媒体项目等行业专家和团队测试，他们对音频生产流程的效率和卓越性有严格要求。

Meta旗下AI音频生成研究

Audiobox是Meta的新一代音频生成研究模型，可以利用语音输入和自然语言文本提示生成声音和音效，轻松为各种用例创建定制音频。Audiobox系列模型还包括专业模型Audiobox Speech和Audiobox Sound，所有Audiobox模型都是基于共享的自监督模型Audiobox SSL构建的。

轻量级端到端文本到语音模型

OptiSpeech是一个高效、轻量级且快速的文本到语音模型，专为设备端文本到语音转换设计。它利用了先进的深度学习技术，能够将文本转换为自然听起来的语音，适合需要在移动设备或嵌入式系统中实现语音合成的应用。OptiSpeech的开发得到了Pneuma Solutions提供的GPU资源支持，显著加速了开发进程。

生成式AI文本到语音转换及声音克隆平台

Fish Audio是一个提供文本到语音转换服务的平台，利用生成式AI技术，用户可以将文本转换为自然流畅的语音。该平台支持声音克隆技术，允许用户创建和使用个性化的声音。它适用于娱乐、教育和商业等多种场景，为用户提供了一种创新的交互方式。

基于频率分解的身份保持文本到视频生成模型

ConsisID是一个基于频率分解的身份保持文本到视频生成模型，它通过在频域中使用身份控制信号来生成与输入文本描述一致的高保真度视频。该模型不需要针对不同案例进行繁琐的微调，并且能够保持生成视频中人物身份的一致性。ConsisID的提出，推动了视频生成技术的发展，特别是在无需调整的流程和频率感知的身份保持控制方案方面。

Audiox是专业AI音频生成工具。

Audiox是一款利用AI技术生成专业音频的工具，无需音乐知识，可快速创建令人惊叹的音乐和声音效果。其主要优点包括创作便捷、音质优良、使用简单，适用于音乐制作、视频制作、声效设计等领域。

真实文本转语音的AI语音生成平台

PlayHT AI语音生成器是一款能够使用人工智能技术将文本转化为自然、逼真的人类语音表演的工具。无论是哪种语言和口音，我们的语音AI都能瞬间将文本转化为自然流畅的语音。

文本到视频生成领域的先进模型架构

Open-Sora Plan v1.2是一个开源的视频生成模型，专注于文本到视频的转换任务。它采用3D全注意力架构，优化了视频的视觉表示，并提高了推理效率。该模型在视频生成领域具有创新性，能够更好地捕捉联合空间-时间特征，为视频内容的自动生成提供了新的技术路径。

强大的零样本语音转换和文本到语音WebUI

GPT-SoVITS-WebUI是一个强大的零样本语音转换和文本到语音WebUI。它具有零样本TTS、少样本TTS、跨语言支持和WebUI工具等功能。该产品支持英语、日语和中文，提供了集成工具，包括语音伴奏分离、自动训练集分割、中文ASR和文本标注，帮助初学者创建训练数据集和GPT/SoVITS模型。用户可以通过输入5秒的声音样本，即可体验即时的文本到语音转换，还可以通过仅使用1分钟的训练数据对模型进行微调，以提高语音相似度和逼真度。产品支持环境准备、Python和PyTorch版本、快速安装、手动安装、预训练模型、数据集格式、待办事项和致谢。