产品库

音乐生成工具，助力音乐制作人

musicgen-songstarter-v0.2是一个针对音乐制作人设计的音频生成模型，专门用于生成有用的旋律循环。该模型在Splice样本库中的旋律循环数据集上进行了微调，能够生成立体声音频，音频频率为32kHz。与v0.1版本相比，v0.2版本使用了三倍的独特样本，并且模型大小从中等提升到了大型。

AI驱动的视频和音频生成平台，简化内容创作。

VidAU AI Video & Audio Creator是一个AI驱动的视频和音频生成平台，它通过简化从构思到制作的整个内容创作过程，使得用户能够轻松创建引人入胜的视频。平台提供多种AI工具，包括视频更换、视频翻译、字幕翻译和去除、AI虚拟形象发言人以及文本转音频等功能，帮助用户提升视频内容的质量和吸引力。VidAU支持120多种语言的视频翻译，覆盖150多个国家，能够节省90%以上的视频制作时间。

高效的文本到音频生成模型，具有潜在一致性。

AudioLCM是一个基于PyTorch实现的文本到音频生成模型，它通过潜在一致性模型来生成高质量且高效的音频。该模型由Huadai Liu等人开发，提供了开源的实现和预训练模型。它能够将文本描述转化为接近真实的音频，具有重要的应用价值，尤其是在语音合成、音频制作等领域。

基于扩散模型的文本到音频生成技术

Make-An-Audio 2是一种基于扩散模型的文本到音频生成技术，由浙江大学、字节跳动和香港中文大学的研究人员共同开发。该技术通过使用预训练的大型语言模型(LLMs)解析文本，优化了语义对齐和时间一致性，提高了生成音频的质量。它还设计了基于前馈Transformer的扩散去噪器，以改善变长音频生成的性能，并增强时间信息的提取。此外，通过使用LLMs将大量音频标签数据转换为音频文本数据集，解决了时间数据稀缺的问题。

OptimizerAI是一个AI声音效果生成器，为创作者、游戏开发者、艺术家和视频制作者提供服务

OptimizerAI专注于使用人工智能技术生成各种声音效果，旨在为游戏、视频、短片、广告等多媒体内容增添活力。该平台提供了高质量的音频生成服务，并计划推出文本到声音效果生成功能。

通过音频生成充满表情的肖像视频

阿里巴巴的EMO: 是一款生成具有表情丰富的面部表情视频的工具，可以根据输入的角色图像和声音音频生成各种头部姿势和表情的声音头像视频。支持多语言歌曲和各种肖像风格，能够根据音频节奏生成动态、表现丰富的动画角色。

基于PyTorch的生成式音频模型库

stable-audio-tools是一个开源的PyTorch库,提供了用于条件音频生成的生成模型的训练和推理代码。包括自动编码器、隐式扩散模型、MusicGen等。支持多GPU训练,可以生成高质量的音频。

从音频生成照片般逼真的人类avatar

audio2photoreal是一个从音频生成照片级逼真avatar的开源项目。它包含了一个pytorch实现,可以从音频中合成交谈中的人类形象。该项目提供了训练代码、测试代码、预训练的运动模型以及数据集访问。它的模型包括人脸扩散模型、人体扩散模型、人体VQ VAE模型和人体引导变换器模型。该项目让研究人员和开发者能够训练自己的模型,并基于语音合成高质量的逼真avatar。

Meta旗下AI音频生成研究

Audiobox是Meta的新一代音频生成研究模型，可以利用语音输入和自然语言文本提示生成声音和音效，轻松为各种用例创建定制音频。Audiobox系列模型还包括专业模型Audiobox Speech和Audiobox Sound，所有Audiobox模型都是基于共享的自监督模型Audiobox SSL构建的。

Read为用户生成个性化的每日新闻音频简报

Read是一个新闻音频生成平台。它可以自动搜集用户感兴趣的内容,生成个性化的每日音频新闻简报,帮助用户高效获取所需信息。该产品拥有人工智能生成的自然语音功能,支持邮件订阅,提供个性化推荐,功能强大。适合需要每日了解所关心事件和新闻的用户。

用文字创建、定制、吸引，Snowpixel 让您轻松生成美丽的图片、视频、音乐等作品。

Snowpixel 是一个能够通过文字生成美丽图片、视频、音乐等作品的平台。用户可以使用自己的数据训练定制模型，为作品增添个性化的风格。Snowpixel 提供了视频生成、音乐生成、图片生成、音频生成、3D 对象生成和像素艺术模型等功能。用户可以在不同的场景下使用 Snowpixel，比如创作个性化作品、定制模型、生成音乐、生成视频等。Snowpixel 的定价灵活，用户可以按需选择付费。

使用文本生成带有声音的短视频

ShortVideoGen是一个简单易用的文本转视频应用，使用最先进的视频和音频生成AI模型，帮助您在几秒钟内创建个性化视频。只需提交文本提示，指定帧率和最大帧数，选择是否需要声音，等待魔法发生，即可生成符合要求的视频。

用AI创作音乐，免费试用

Stable Audio是一款AI音乐生成工具，可根据用户的描述生成定制长度的音乐，支持商业使用。其高质量音频生成和商业授权让音乐创作更加简单。Stable Audio的使命是为创作者提供音乐创作工具，帮助他们实现音乐创作的梦想。

AI音乐生成引擎

Musico是一款由AI驱动的音乐生成引擎，可以根据手势、动作、代码或其他声音生成音乐。Musico的引擎结合传统和现代机器学习算法，以各种风格生成无尽的版权自由音乐。从半辅助到全自动的创作，Musico的引擎为音乐专业人士和非音乐人提供了适应其上下文的新的音频生成方式。

发现、创新、变现AI创意

AI创意市场是一个AI创意产品的在线市场，用户可以轻松买卖AI动力激发的创意，从文本生成开始，未来还会引入图像、视频和音频生成等更多功能。AI创意市场让用户进行交易并学习AI的最佳应用。

用AI技术编程潜意识，实现目标达成

Binaural Beats Factory提供基于人工智能的在线自我催眠/潜意识/肯定音频生成器。通过解锁思维的力量，轻松实现目标。探索个性化双音节节拍和潜意识建议的可能性，同步大脑波，积极改变思维、情绪和行为。体验未来的音频创作与我们用户友好的在线应用程序，并发现大量免费的自我催眠/潜意识/肯定音频曲目。立即开始转变旅程，实现您想要的生活。

音频处理和生成的深度学习库

AudioCraft 是一个用于音频处理和生成的 PyTorch 库。它包含了两个最先进的人工智能生成模型：AudioGen 和 MusicGen，可以生成高质量的音频。AudioCraft 还提供了 EnCodec 音频压缩 / 分词器和 Multi Band Diffusion 解码器等功能。该库适用于音频生成的深度学习研究。

智能音乐创作工具，一键生成专业和弦进行。

Cadenza是一款AI驱动的音乐制作工具，它允许用户通过简单的描述来生成专业的MIDI和弦进行。该工具能够确保和弦流畅地转换，适用于各种音乐风格，从流行到爵士。Cadenza的主要优点包括用户友好的界面、实时生成和弦进行的能力以及与各种数字音频工作站(DAW)的兼容性。价格方面，Cadenza在促销期间以30美元的价格出售，这使得它对于音乐制作人来说是一个经济实惠的选择。

你的私人AI聊天工具，运行在浏览器中。

Chatty是一个利用WebGPU技术在浏览器中本地且私密地运行大型语言模型(LLMs)的私人AI聊天工具。它提供了丰富的浏览器内AI体验，包括本地数据处理、离线使用、聊天历史管理、支持开源模型、响应式设计、直观UI、Markdown和代码高亮显示、文件聊天、自定义内存支持、导出聊天记录、语音输入支持、重新生成响应以及明暗模式切换等功能。

开源AI工具，推动AI民主化。

ComfyUI是一个开源AI模型，致力于推动AI工具的民主化和开源化。它由一个团队创建和维护，旨在为AI社区提供易于使用、安全和可靠的工具。ComfyUI支持通过各种工具，如节点管理器、节点注册表、命令行界面、自动化测试和公共文档来支持其生态系统。团队相信开源模型将在长期内胜过封闭模型，并致力于通过社区驱动的方式推动AI工具的发展。

从文本描述生成高质量音效

ElevenLabs的文本转音效API允许用户根据简短的文本描述生成高质量的音效，这些音效可以应用于游戏开发、音乐制作应用等多种场景。该API利用先进的音频合成技术，能够根据文本提示动态生成音效，为用户提供了一种创新的声音设计工具。

提升大型语言模型性能的混合代理技术

MoA（Mixture of Agents）是一种新颖的方法，它利用多个大型语言模型（LLMs）的集体优势来提升性能，实现了最先进的结果。MoA采用分层架构，每层包含多个LLM代理，显著超越了GPT-4 Omni在AlpacaEval 2.0上的57.5%得分，达到了65.1%的得分，使用的是仅开源模型。

多分辨率扩散变换器，支持中英文理解

HunyuanDiT-v1.1是由腾讯Hunyuan团队开发的一款多分辨率扩散变换模型，它具备精细的中英文理解能力。该模型通过精心设计的变换器结构、文本编码器和位置编码，结合从头开始构建的完整数据管道，实现数据的迭代优化。HunyuanDiT-v1.1能够执行多轮多模态对话，根据上下文生成和细化图像。经过50多名专业人类评估员的全面评估，HunyuanDiT-v1.1在中文到图像生成方面与其他开源模型相比，达到了新的最先进水平。

使用人工智能创作和混音音乐，200,000+样本或自创样本。

TwoShot是一个在线音乐采样平台，提供超过200,000个音乐样本，用户可以重新想象这些样本或生成自己的音乐样本。它允许音乐制作人和爱好者探索和下载各种风格的音乐样本包，从而丰富他们的音乐创作。TwoShot的背景信息包括其创新的音乐采样技术，以及如何帮助用户在音乐制作中获得灵感和便利。

音频采样器，创造音乐节奏

ComfyUI-StableAudioSampler 是一款集成在 ComfyUI 节点中的音频采样器插件，它允许用户生成音频并输出原始字节和采样率，支持所有原始 Stable Audio Open 参数，并可以保存音频到文件。这个插件是开源的，并且正在积极开发中，旨在为音乐制作者提供一个易于使用且功能强大的工具。

代码生成任务的新型模型，测试准确率高于GPT-4 Turbo。

AutoCoder是一个专为代码生成任务设计的新型模型，其在HumanEval基准数据集上的测试准确率超过了GPT-4 Turbo（2024年4月）和GPT-4o。与之前的开源模型相比，AutoCoder提供了一个新功能：它可以自动安装所需的包，并在用户希望执行代码时尝试运行代码，直到确定没有问题。

虚拟人物生成的图像到视频框架

MusePose是由腾讯音乐娱乐的Lyra Lab开发的一款图像到视频的生成框架，旨在通过姿势控制信号生成虚拟人物的视频。它是Muse开源系列的最后一个构建块，与MuseV和MuseTalk一起，旨在推动社区向生成具有全身运动和交互能力的虚拟人物的愿景迈进。MusePose基于扩散模型和姿势引导，能够生成参考图像中人物的舞蹈视频，并且结果质量超越了当前几乎所有同一主题的开源模型。

AI辅助的音乐创作伙伴

Fryderyk是一个集成了AI助手的音乐制作网页应用程序，它提供了一个浏览器内的音乐创作环境，支持即插即用，连接麦克风或任何MIDI乐器。用户可以访问广泛的虚拟乐器库，应用混响、失真、延迟等效果和混合工具，进行音频编辑、录制和编辑音频。Fryderyk还提供云存储功能，项目自动保存并同步至所有设备。它的内置生成性AI能够扩展用户的想法或在用户遇到创作瓶颈时提供新的想法。

第二代多模态预训练对话模型

CogVLM2是由清华大学团队开发的第二代多模态预训练对话模型，它在多个基准测试中取得了显著的改进，支持8K内容长度和1344*1344的图像分辨率。CogVLM2系列模型提供了支持中文和英文的开源版本，能够与一些非开源模型相媲美的性能。

基于2千亿MoE模型的领先AI技术，提供超低价格和越级场景体验。

DeepSeek-V2是一款基于2千亿参数量的MoE（Mixture of Experts）模型的AI技术产品，它在对话官网和API上全面上线，提供领先性能和超低价格。该产品在中文综合能力（AlignBench）和英文综合能力（MT-Bench）的评测中表现出色，与GPT-4-Turbo等闭源模型处于同一梯队。DeepSeek-V2支持128K上下文的开源模型，而对话官网/API支持32K上下文。产品的主要优点包括即刻接入、能力卓越、价格低廉，并且兼容OpenAI API接口，提供丝滑的体验。