高效的文本到音频生成模型
TangoFlux是一个高效的文本到音频(TTA)生成模型,拥有515M参数,能够在单个A40 GPU上仅用3.7秒生成长达30秒的44.1kHz音频。该模型通过提出CLAP-Ranked Preference Optimization (CRPO)框架,解决了TTA模型对齐的挑战,通过迭代生成和优化偏好数据来增强TTA对齐。TangoFlux在客观和主观基准测试中均实现了最先进的性能,并且所有代码和模型均开源,以支持TTA生成的进一步研究。
通过时间变化信号和声音模仿生成可控音频的模型
Sketch2Sound是一个生成音频的模型,能够从一组可解释的时间变化控制信号(响度、亮度、音高)以及文本提示中创建高质量的声音。该模型能够在任何文本到音频的潜在扩散变换器(DiT)上实现,并且只需要40k步的微调和每个控制一个单独的线性层,使其比现有的方法如ControlNet更加轻量级。Sketch2Sound的主要优点包括从声音模仿中合成任意声音的能力,以及在保持输入文本提示和音频质量的同时,遵循输入控制的大致意图。这使得声音艺术家能够结合文本提示的语义灵活性和声音手势或声音模仿的表现力和精确度来创造声音。
高度逼真的多语言文本到音频生成模型
Bark是由Suno开发的基于Transformer的文本到音频模型,能够生成逼真的多语言语音以及其他类型的音频,如音乐、背景噪声和简单音效。它还支持生成非语言交流,例如笑声、叹息和哭泣声。Bark支持研究社区,提供预训练模型检查点,适用于推理并可用于商业用途。
从文本提示生成立体声音频
Stable Audio Open 是一个能够从文本提示生成长达47秒的立体声音频的技术。它包含三个主要组件:一个将波形压缩到可管理序列长度的自编码器、一个基于T5的文本嵌入用于文本条件、以及一个在自编码器的潜在空间中操作的基于变换的扩散(DiT)模型。该技术在生成音频方面表现出色,能够根据文本提示生成各种类型的音频,如打击乐、电子音乐、自然声音等。
高效的文本到音频生成模型,具有潜在一致性。
AudioLCM是一个基于PyTorch实现的文本到音频生成模型,它通过潜在一致性模型来生成高质量且高效的音频。该模型由Huadai Liu等人开发,提供了开源的实现和预训练模型。它能够将文本描述转化为接近真实的音频,具有重要的应用价值,尤其是在语音合成、音频制作等领域。
基于文本提示生成可变长度立体声音频的AI模型。
Stable Audio Open 1.0是一个利用自编码器、基于T5的文本嵌入和基于变压器的扩散模型来生成长达47秒的立体声音频的AI模型。它通过文本提示生成音乐和音频,支持研究和实验,以探索生成性AI模型的当前能力。该模型在Freesound和Free Music Archive (FMA)的数据集上进行训练,确保了数据的多样性和版权合法性。
© 2025 AIbase 备案号:闽ICP备08105208号-14