产品库

通过时间变化信号和声音模仿生成可控音频的模型

Sketch2Sound是一个生成音频的模型，能够从一组可解释的时间变化控制信号（响度、亮度、音高）以及文本提示中创建高质量的声音。该模型能够在任何文本到音频的潜在扩散变换器（DiT）上实现，并且只需要40k步的微调和每个控制一个单独的线性层，使其比现有的方法如ControlNet更加轻量级。Sketch2Sound的主要优点包括从声音模仿中合成任意声音的能力，以及在保持输入文本提示和音频质量的同时，遵循输入控制的大致意图。这使得声音艺术家能够结合文本提示的语义灵活性和声音手势或声音模仿的表现力和精确度来创造声音。

高效的文本到音频生成模型

TangoFlux是一个高效的文本到音频（TTA）生成模型，拥有515M参数，能够在单个A40 GPU上仅用3.7秒生成长达30秒的44.1kHz音频。该模型通过提出CLAP-Ranked Preference Optimization (CRPO)框架，解决了TTA模型对齐的挑战，通过迭代生成和优化偏好数据来增强TTA对齐。TangoFlux在客观和主观基准测试中均实现了最先进的性能，并且所有代码和模型均开源，以支持TTA生成的进一步研究。

从文本提示生成立体声音频

Stable Audio Open 是一个能够从文本提示生成长达47秒的立体声音频的技术。它包含三个主要组件：一个将波形压缩到可管理序列长度的自编码器、一个基于T5的文本嵌入用于文本条件、以及一个在自编码器的潜在空间中操作的基于变换的扩散（DiT）模型。该技术在生成音频方面表现出色，能够根据文本提示生成各种类型的音频，如打击乐、电子音乐、自然声音等。

智能视频到音频生成，简化声音设计。

Resona V2A是一款AI驱动的视频到音频生成技术产品，它能够仅通过视频数据自动生成与场景、动画或电影完美匹配的声音设计、效果、拟音和环境音。该技术通过自动化音频创作过程，节省了大约90%的时间和努力，使得音频制作更加高效和智能。Resona V2A技术正在被电影制作、动画、教育和多媒体项目等行业专家和团队测试，他们对音频生产流程的效率和卓越性有严格要求。

视频到音频生成模型

vta-ldm是一个专注于视频到音频生成的深度学习模型，能够根据视频内容生成语义和时间上与视频输入对齐的音频内容。它代表了视频生成领域的一个新突破，特别是在文本到视频生成技术取得显著进展之后。该模型由腾讯AI实验室的Manjie Xu等人开发，具有生成与视频内容高度一致的音频的能力，对于视频制作、音频后期处理等领域具有重要的应用价值。

高度逼真的多语言文本到音频生成模型

Bark是由Suno开发的基于Transformer的文本到音频模型，能够生成逼真的多语言语音以及其他类型的音频，如音乐、背景噪声和简单音效。它还支持生成非语言交流，例如笑声、叹息和哭泣声。Bark支持研究社区，提供预训练模型检查点，适用于推理并可用于商业用途。

高效生成高质量文本到音频模型

EzAudio是一个先进的文本到音频(T2A)生成模型，它能够从文本提示中创建高质量的音频。它为开源T2A模型设定了新的标准，提供快速、高效和逼真的声音效果生成。

高效的文本到音频生成模型，具有潜在一致性。

AudioLCM是一个基于PyTorch实现的文本到音频生成模型，它通过潜在一致性模型来生成高质量且高效的音频。该模型由Huadai Liu等人开发，提供了开源的实现和预训练模型。它能够将文本描述转化为接近真实的音频，具有重要的应用价值，尤其是在语音合成、音频制作等领域。

基于扩散模型的文本到音频生成技术

Make-An-Audio 2是一种基于扩散模型的文本到音频生成技术，由浙江大学、字节跳动和香港中文大学的研究人员共同开发。该技术通过使用预训练的大型语言模型(LLMs)解析文本，优化了语义对齐和时间一致性，提高了生成音频的质量。它还设计了基于前馈Transformer的扩散去噪器，以改善变长音频生成的性能，并增强时间信息的提取。此外，通过使用LLMs将大量音频标签数据转换为音频文本数据集，解决了时间数据稀缺的问题。

生成高保真音乐的文本到音频模型

MusicLM是一个模型，可以根据文本描述生成高保真音乐。它可以生成24kHz的音频，音乐风格和文本描述一致，并支持根据旋律进行条件生成。通过使用MusicCaps数据集，模型在音频质量和与文本描述的一致性方面优于之前的系统。MusicLM可以应用于不同的场景，如生成音乐片段、根据画作描述生成音乐等。

视频到音频生成模型，增强同步性

MaskVAT是一种视频到音频(V2A)生成模型，它利用视频的视觉特征来生成与场景匹配的逼真声音。该模型特别强调声音的起始点与视觉动作的同步性，以避免不自然的同步问题。MaskVAT结合了全频带高质量通用音频编解码器和序列到序列的遮蔽生成模型，能够在保证高音频质量、语义匹配和时间同步性的同时，达到与非编解码器生成音频模型相媲美的竞争力。

基于文本提示生成可变长度立体声音频的AI模型。

Stable Audio Open 1.0是一个利用自编码器、基于T5的文本嵌入和基于变压器的扩散模型来生成长达47秒的立体声音频的AI模型。它通过文本提示生成音乐和音频，支持研究和实验，以探索生成性AI模型的当前能力。该模型在Freesound和Free Music Archive (FMA)的数据集上进行训练，确保了数据的多样性和版权合法性。

快速、准确、免费的音频转文字服务

AIbase音频提取文字工具利用人工智能技术，通过机器学习模型快速生成高质量的音频文本描述，优化文本排版，提升可读性，同时完全免费使用，无需安装、下载或付款，为创意人员提供便捷的基础服务。

高效并行音频生成技术

SoundStorm是由Google Research开发的一种音频生成技术，它通过并行生成音频令牌来大幅减少音频合成的时间。这项技术能够生成高质量、与语音和声学条件一致性高的音频，并且可以与文本到语义模型结合，控制说话内容、说话者声音和说话轮次，实现长文本的语音合成和自然对话的生成。SoundStorm的重要性在于它解决了传统自回归音频生成模型在处理长序列时推理速度慢的问题，提高了音频生成的效率和质量。

开源音频样本和声音设计模型

Stable Audio Open是一个开源的文本到音频模型，专为生成短音频样本、音效和制作元素而优化。它允许用户通过简单的文本提示生成高达47秒的高质量音频数据，特别适用于创造鼓点、乐器即兴演奏、环境声音、拟音录音等音乐制作和声音设计。开源发布的关键好处是用户可以根据自己的自定义音频数据微调模型。

Meta旗下AI音频生成研究

Audiobox是Meta的新一代音频生成研究模型，可以利用语音输入和自然语言文本提示生成声音和音效，轻松为各种用例创建定制音频。Audiobox系列模型还包括专业模型Audiobox Speech和Audiobox Sound，所有Audiobox模型都是基于共享的自监督模型Audiobox SSL构建的。

AI生成音效，从文本描述到声音效果的创新工具。

Text to Sound Effects是ElevenLabs开发的最新AI音频模型，能够根据文本提示生成各种音效、短音乐曲目、音景和角色声音。它代表了音频制作领域的重大创新，为电影电视工作室、视频游戏开发者和社交媒体内容创作者提供了快速、经济、大规模生成丰富沉浸式音景的工具。该产品通过与Shutterstock的合作，利用其丰富的音频库中的授权曲目，经过精细调整，为现代创作者创造了一个多功能的新工具。

高质量音频生成框架

AudioLM是由Google Research开发的一个框架，用于高质量音频生成，具有长期一致性。它将输入音频映射到离散标记序列，并将音频生成视为这一表示空间中的语言建模任务。AudioLM通过在大量原始音频波形上训练，学习生成自然且连贯的音频续篇，即使在没有文本或注释的情况下，也能生成语法和语义上合理的语音续篇，同时保持说话者的身份和韵律。此外，AudioLM还能生成连贯的钢琴音乐续篇，尽管它在训练时没有使用任何音乐的符号表示。

音乐生成模型，结合文本和音频条件进行控制。

JASCO是一个结合了符号和基于音频的条件的文本到音乐生成模型，它能够根据全局文本描述和细粒度的局部控制生成高质量的音乐样本。JASCO基于流匹配建模范式和一种新颖的条件方法，允许音乐生成同时受到局部（例如和弦）和全局（文本描述）的控制。通过信息瓶颈层和时间模糊来提取与特定控制相关的信息，允许在同一个文本到音乐模型中结合符号和基于音频的条件。

Audiox是专业AI音频生成工具。

Audiox是一款利用AI技术生成专业音频的工具，无需音乐知识，可快速创建令人惊叹的音乐和声音效果。其主要优点包括创作便捷、音质优良、使用简单，适用于音乐制作、视频制作、声效设计等领域。

基于文本提示生成独特声音

ElevenLabs Voice Design是一个在线平台，允许用户通过简单的文本提示来设计和生成定制的声音。这项技术的重要性在于它能够快速创建出符合特定描述的声音，如年龄、口音、语气或角色，甚至包括虚构角色如巨魔、精灵和外星人。它为音频内容创作者、广告制作者、游戏开发者等提供了一个强大的工具，可以用于各种商业和创意项目。ElevenLabs提供了一个免费试用的机会，用户可以注册后尝试其服务。

音频生成与自动字幕生成模型

GenAU是一个由Snap Research开发的音频生成模型，它通过AutoCap自动字幕生成模型和GenAu音频生成架构，显著提升了音频生成的质量。它在生成环境声音和效果方面具有挑战性，特别是在数据稀缺和字幕质量不足的情况下。GenAU模型能够生成高质量的音频，并且在音频合成领域具有很大的潜力。

去除音频中的废话声音

Cleanvoice AI是一种人工智能，可以从您的播客或音频录音中去除填充声音（如“嗯”、“呃”）、嘴部声音（如唇舌音）和口吃声。它可以自动检测和删除这些声音，帮助您节省大量编辑时间。您可以免费试用30分钟，无需信用卡。

音乐生成模型，实现文本转音频

MusicGen Stereo是一系列用于生成立体声音乐的模型，包括小型、中型、大型和旋律大型模型。这些模型可以将文本转换为高质量的音频，适用于各种音乐生成场景。定价根据模型规模和使用情况而定，定位于为用户提供高质量的音乐生成解决方案。

文本和语音驱动的人体视频生成，从单张人物输入图像生成视频。

VLOGGER是一种从单张人物输入图像生成文本和音频驱动的讲话人类视频的方法，它建立在最近生成扩散模型的成功基础上。我们的方法包括1)一个随机的人类到3D运动扩散模型，以及2)一个新颖的基于扩散的架构，通过时间和空间控制增强文本到图像模型。这种方法能够生成长度可变的高质量视频，并且通过对人类面部和身体的高级表达方式轻松可控。与以前的工作不同，我们的方法不需要为每个人训练，也不依赖于人脸检测和裁剪，生成完整的图像（而不仅仅是面部或嘴唇），并考虑到正确合成交流人类所需的广泛场景（例如可见的躯干或多样性主体身份）。

免费AI音频过滤器，清理口语音频

Enhance Speech from Adobe是一款免费的AI音频过滤器，可以将口语音频处理得像在声音隔音工作室中录制的一样。它可以自动清除背景噪音，调整音量平衡，提升音频质量。用户可以将录音文件上传到该平台，通过AI算法进行音频优化处理。Enhance Speech from Adobe适用于广播、播客、音频制作等领域。该产品完全免费使用。

基于PyTorch的生成式音频模型库

stable-audio-tools是一个开源的PyTorch库,提供了用于条件音频生成的生成模型的训练和推理代码。包括自动编码器、隐式扩散模型、MusicGen等。支持多GPU训练,可以生成高质量的音频。

自托管的开源OpenAI替代品，支持文本、音频、图像生成

LocalAI 是一个自托管的开源 OpenAI 替代品，可在消费级硬件上运行，支持本地或本地部署的文本、音频、图像生成。它提供了 GPT 等模型的文本生成功能，同时支持文本转语音、图像生成等多种功能。由于其开源自托管的特性，用户可以自由定制和部署，不受云端 API 限制，适合对数据隐私和安全性有要求的用户。LocalAI 的定位是为那些寻求自主控制、不依赖于第三方服务的个人用户或组织提供强大的 AI 生成能力。

音频变声技术，转换声音同时保留原始表达和情感

Voice Changer是Cartesia推出的一款音频变声模型，它能够在转换音频声音的同时，保持原始音频的表达方式和情感。这项技术基于Cartesia在状态空间模型（SSM）架构上的开创性工作，能够以惊人的质量处理和生成高分辨率的声音。Voice Changer的主要优点包括自然语音保留、精确控制交付、多样化的使用场景以及与Sonic声音生成技术的结合使用。

将PDF文件转换为音频播客、讲座、摘要等

PDF2Audio是一个利用OpenAI的GPT模型将PDF文档转换成音频内容的工具。它能够将文本生成和文本到语音转换技术结合起来，为用户提供一个可以编辑草稿、提供反馈和改进建议的平台。该技术对于提高信息获取效率、辅助学习和教育等领域具有重要意义。