Lyria 3是Google DeepMind Lyria家族于2026年2月18日在Gemini中推出的最新模型。它的重要性在于推动了AI音乐生成领域的发展，能将文本、图像、视频上下文转化为音乐。其主要优点包括可自动生成歌词、歌曲结构更连贯、短格式输出质量更高、支持更丰富的多模态控制。产品背景上，Lyria始于2023年的YouTube Shorts音乐创作，Lyria 2在2024年改进了乐器处理和和声连贯性。价格方面，有免费使用但有计划限制，还有Plus、Pro和Ultra付费层级，付费层级有更高的生成上限。产品定位为面向消费者的音乐生成模型，而Lyria 2则是企业API路径。
需求人群：
["创作者：对于音乐创作者、视频创作者等，Lyria 3提供了强大的创作工具，可快速生成音乐，节省创作时间和精力。其多模态控制功能让创作者能够根据不同的创意需求，灵活地引导音乐生成，实现独特的音乐风格。", "企业：企业可以利用Lyria 2的API进行集成，而Lyria 3则为企业的营销活动等提供了面向消费者的音乐生成体验，有助于提升品牌宣传效果和用户参与度。", "普通用户：非专业音乐人或普通用户也能轻松使用Lyria 3创作音乐，自动生成歌词和清晰的歌曲结构降低了音乐创作的门槛，让更多人能够体验到音乐创作的乐趣。"]
使用场景示例：
视频创作者为YouTube Shorts快速生成合适的AI配乐。
营销团队为品牌宣传活动制作独特的背景音乐。
音乐爱好者自己动手创作具有个人风格的30秒音乐片段。
产品特色：
可自动生成歌词：Lyria 3能够根据用户输入的提示意图自动生成歌词，无需用户手动输入，这极大地减少了非专业音乐人创作音乐时的困扰，也加快了内容创作的工作流程，让音乐创作更加便捷高效。
提供更连贯的歌曲结构：该模型在歌曲整体结构上表现出色，输出质量在各个章节层面都更加连贯，能够清晰呈现出歌曲的前奏、主歌、副歌、过渡段和结尾等部分，使生成的音乐具有更完整的框架和流畅的节奏。
提升短格式输出的保真度：Lyria 3专注于生成30秒的音乐片段，其音频质量更高，声音更加清晰纯净，音乐编排更加丰富多样，各乐器层次分明，音乐的连续性也更强，能够为用户带来更好的听觉体验。
支持丰富的多模态控制：创作者可以通过文本、图像和视频等多种输入方式来引导音乐生成，利用图像和视频的视觉语境为音乐赋予特定的情感方向和节奏，还可以通过迭代提示来进一步调整音乐的风格、音调、速度和情绪等参数。
具备SynthID音频水印：Gemini生成的Lyria 3音乐输出包含不可察觉的SynthID音频水印，这有助于对AI生成或编辑的音频进行来源验证，为音频内容的审核和版权归属提供了可靠的依据，增加了内容管理的可信度和安全性。
使用教程：
1. 访问Lyria 3平台：目前可通过Gemini应用体验，优先在网页端推出，后续会扩展到移动端。
2. 选择输入方式：可以输入文本描述音乐的情绪、风格、类型等信息，也可以上传图像或视频作为音乐生成的参考。
3. 细化音乐参数：利用提示迭代功能，进一步调整音乐的风格、音调、速度、情绪等参数，还可以选择语言。
4. 生成音乐：确认输入信息和参数后，点击生成按钮，Lyria 3会根据输入内容生成30秒的音乐片段。
5. 试听和调整：试听生成的音乐，如果不满意，可以返回上一步调整参数，再次生成，直到得到满意的音乐作品。
6. 保存和使用：将满意的音乐作品保存，用于个人创作、商业宣传等相关场景。
浏览量：16
Lyria 3可将文本、图像和视频上下文转化为30秒音乐片段，具备多种优势。
Lyria 3是Google DeepMind Lyria家族于2026年2月18日在Gemini中推出的最新模型。它的重要性在于推动了AI音乐生成领域的发展，能将文本、图像、视频上下文转化为音乐。其主要优点包括可自动生成歌词、歌曲结构更连贯、短格式输出质量更高、支持更丰富的多模态控制。产品背景上，Lyria始于2023年的YouTube Shorts音乐创作，Lyria 2在2024年改进了乐器处理和和声连贯性。价格方面，有免费使用但有计划限制，还有Plus、Pro和Ultra付费层级，付费层级有更高的生成上限。产品定位为面向消费者的音乐生成模型，而Lyria 2则是企业API路径。
利用尖端AI技术，快速生成任何流派的原创音乐。
AI音乐生成器是一个基于人工智能的在线平台，能够快速生成原创音乐。它利用复杂的机器学习模型和神经网络技术，分析数百万首歌曲的模式和结构，生成高质量的旋律、和声和人声。该产品的主要优点是能够快速实现音乐创作，支持多种流派和风格的定制，并提供灵活的生成选项。它适合音乐创作者、内容制作者和企业用户，能够帮助他们节省创作时间，激发灵感，并生成符合特定需求的音乐。产品提供免费试用和多种付费计划，满足不同用户的需求。
音乐生成模型，通过控制网络进行微调。
Stable Audio ControlNet 是一个基于 Stable Audio Open 的音乐生成模型，通过 DiT ControlNet 进行微调，能够在具有 16GB VRAM 的 GPU 上使用，支持音频控制。此模型仍在开发中，但已经能够实现音乐的生成和控制，具有重要的技术意义和应用前景。
Cradle框架：用于控制计算机的多模态代理
Cradle框架旨在使基础模型能够通过与人类相同的通用接口（屏幕作为输入，键盘和鼠标操作作为输出）执行复杂的计算机任务。该框架在Red Dead Redemption II游戏中进行了案例研究，展示了其在复杂环境中的泛化和适应能力。
Wan 2.7是通用多模态AI视频生成平台，支持多信号控制与视频延续。
Wan 2.7是一款通用多模态AI视频生成平台，通过图像、视频和音频作为控制信号，实现持续的身份一致性和智能视频延续。与上一版本相比，它在视觉、音频、运动、风格和一致性五个方面进行了全面升级，能够输出更清晰的画面、更自然的动态、更强的风格控制、更好的音频同步和更稳定的主体连续性。产品以免费试用的形式提供给用户，让用户可以体验其强大的功能。其定位是为专业视频创作者提供端到端的高级视频创作解决方案，帮助他们更轻松地创建高质量的视频。
多重时变控制的音乐生成模型
Music ControlNet 是一种基于扩散的音乐生成模型，可以提供多个精确的、时变的音乐控制。它可以根据旋律、动态和节奏控制生成音频，并且可以部分指定时间上的控制。与其他音乐生成模型相比，Music ControlNet 具有更高的旋律准确度，并且参数更少、数据量更小。定价信息请访问官方网站。
Ima Studio的多模态AI平台，用文本提示生成图、视频和音频
Ima Studio Claw是一个多模态AI创作平台，集成40种AI模型，可实现图片、视频和音乐的全链路创作。其重要性在于为用户提供了便捷、高效的创作方式，用户只需简单的文本提示就能生成所需内容。主要优点包括智能模型选择、自动推荐最佳模型、全链路交付等。产品背景信息暂未提及，价格方面提到有积分充值，推测可能是付费模式，定位为满足用户多样化的创意创作需求。
多模态图像生成模型
Instruct-Imagen是一个多模态图像生成模型，通过引入多模态指令，实现对异构图像生成任务的处理，并在未知任务中实现泛化。该模型利用自然语言整合不同的模态（如文本、边缘、风格、主题等），标准化丰富的生成意图。通过在预训练文本到图像扩散模型上进行两阶段框架的微调，采用检索增强训练和多样的图像生成任务微调，使得该模型在各种图像生成数据集上的人工评估结果表明，其在领域内与先前的任务特定模型相匹配或超越，并展现出对未知和更复杂任务的有希望的泛化能力。
多模态文本到图像生成模型
EMMA是一个基于最前沿的文本到图像扩散模型ELLA构建的新型图像生成模型，能够接受多模态提示，通过创新的多模态特征连接器设计，有效整合文本和补充模态信息。该模型通过冻结原始T2I扩散模型的所有参数，并仅调整一些额外层，揭示了预训练的T2I扩散模型可以秘密接受多模态提示的有趣特性。EMMA易于适应不同的现有框架，是生成个性化和上下文感知图像甚至视频的灵活有效工具。
AI多模态数据绑定
ImageBind是一种新的AI模型，能够同时绑定六种感官模态的数据，无需显式监督。通过识别这些模态之间的关系（图像和视频、音频、文本、深度、热成像和惯性测量单元（IMUs）），这一突破有助于推动AI发展，使机器能够更好地分析多种不同形式的信息。探索演示以了解ImageBind在图像、音频和文本模态上的能力。
小型多模态模型，支持图像和文本生成
Fuyu-8B是由Adept AI训练的多模态文本和图像转换模型。它具有简化的架构和训练过程，易于理解、扩展和部署。它专为数字代理设计，可以支持任意图像分辨率，回答关于图表和图形的问题，回答基于UI的问题，并对屏幕图像进行细粒度定位。它的响应速度很快，可以在100毫秒内处理大型图像。尽管针对我们的用例进行了优化，但它在标准图像理解基准测试中表现良好，如视觉问答和自然图像字幕。请注意，我们发布的模型是一个基础模型，我们希望您根据具体的用例进行微调，例如冗长的字幕或多模态聊天。在我们的经验中，该模型对于少样本学习和各种用例的微调都表现良好。
多模态长篇故事生成模型
SEED-Story是一个基于大型语言模型（MLLM）的多模态长篇故事生成模型，能够根据用户提供的图片和文本生成丰富、连贯的叙事文本和风格一致的图片。它代表了人工智能在创意写作和视觉艺术领域的前沿技术，具有生成高质量、多模态故事内容的能力，为创意产业提供了新的可能性。
多模态驱动的定制视频生成架构。
HunyuanCustom 是一个多模态定制视频生成框架，旨在根据用户定义的条件生成特定主题的视频。该技术在身份一致性和多种输入模式的支持上表现出色，能够处理文本、图像、音频和视频输入，适合虚拟人广告、视频编辑等多种应用场景。
统一多模态视频生成系统
UniVG是一款统一多模态视频生成系统，能够处理多种视频生成任务，包括文本和图像模态。通过引入多条件交叉注意力和偏置高斯噪声，实现了高自由度和低自由度视频生成。在公共学术基准MSR-VTT上实现了最低的Fr'echet视频距离（FVD），超越了当前开源方法在人类评估上的表现，并与当前闭源方法Gen2不相上下。
多模态AI模型，图像理解与生成兼备
Mini-Gemini是由香港中文大学终身教授贾佳亚团队开发的多模态模型，具备精准的图像理解能力和高质量的训练数据。该模型结合图像推理和生成，提供不同规模的版本，性能与GPT-4和DALLE3相媲美。Mini-Gemini采用Gemini的视觉双分支信息挖掘方法和SDXL技术，通过卷积网络编码图像并利用Attention机制挖掘信息，同时结合LLM生成文本链接两个模型。
多模态头像生成和动画
MagicAvatar是一个多模态框架，能够将各种输入模式（文本、视频和音频）转换为运动信号，从而生成/动画化头像。它可以通过简单的文本提示创建头像，也可以根据给定的源视频创建遵循给定运动的头像。此外，它还可以动画化特定主题的头像。MagicAvatar的优势在于它能够将多种输入模式结合起来，生成高质量的头像和动画。
多模态综合理解与创作
DreamLLM是一个学习框架，首次实现了多模态大型语言模型（LLM）在多模态理解和创作之间的协同效应。它通过直接在原始多模态空间中进行采样，生成语言和图像的后验模型。这种方法避免了像CLIP这样的外部特征提取器所固有的限制和信息损失，从而获得了更全面的多模态理解。DreamLLM还通过建模文本和图像内容以及无结构布局的原始交叉文档，有效地学习了所有条件、边缘和联合多模态分布。因此，DreamLLM是第一个能够生成自由形式交叉内容的MLLM。全面的实验证明了DreamLLM作为零样本多模态通才的卓越性能，充分利用了增强的学习协同效应。
多模态自回归模型，擅长文本生成图像
Lumina-mGPT是一个多模态自回归模型家族，能够执行各种视觉和语言任务，特别是在从文本描述生成灵活的逼真图像方面表现突出。该模型基于xllmx模块实现，支持以LLM为中心的多模态任务，适用于深度探索和快速熟悉模型能力。
统一的多模态生成模型
Unified-IO 2是一个统一的多模态生成模型,能够理解和生成图像、文本、音频和动作。它使用单个编码器-解码器Transformer模型,将不同模式(图像、文本、音频、动作等)的输入和输出都表示为一个共享的语义空间进行处理。该模型从头开始在大规模的多模态预训练语料上进行训练,使用了多模态的去噪目标进行优化。为了学会广泛的技能,该模型还在120个现有数据集上进行微调,这些数据集包含提示和数据增强。Unified-IO 2在GRIT基准测试中达到了最先进的性能,在30多个基准测试中都取得了强劲的结果,包括图像生成和理解、文本理解、视频和音频理解以及机器人操作。
更有效的提示大型多模态模型，释放潜能
Multimodal-Maestro为您提供更多对大型多模态模型的控制，以获得您想要的输出。通过更有效的提示策略，您可以让多模态模型执行您以前不知道（或认为不可能）的任务。想知道它是如何工作的吗？试试我们的HF空间！ 该项目仍在建设中，API可能会发生变化。
多模态语言模型
SpeechGPT是一种多模态语言模型，具有内在的跨模态对话能力。它能够感知并生成多模态内容，遵循多模态人类指令。SpeechGPT-Gen是一种扩展了信息链的语音生成模型。SpeechAgents是一种具有多模态多代理系统的人类沟通模拟。SpeechTokenizer是一种统一的语音标记器，适用于语音语言模型。这些模型和数据集的发布日期和相关信息均可在官方网站上找到。
多模态引导的共语言面部动画生成
Media2Face是一款通过音频、文本和图像多模态引导的共语言面部动画生成工具。它首先利用通用神经参数化面部资产（GNPFA）将面部几何和图像映射到高度通用的表情潜在空间，然后从大量视频中提取高质量的表情和准确的头部姿态，构建了M2F-D数据集。最后，采用GNPFA潜在空间中的扩散模型进行共语言面部动画生成。该工具不仅在面部动画合成方面具有高保真度，还拓展了表现力和样式适应性。
高性能多模态AI模型
Gemini Pro是DeepMind推出的一款高性能多模态AI模型，专为广泛的任务设计，具有高达两百万token的长上下文窗口，能够处理大规模文档、代码、音频和视频等。它在多个基准测试中表现出色，包括代码生成、数学问题解决和多语言翻译等。
© 2026 AIbase 备案号：闽ICP备08105208号-14