DiTCtrl是一种基于多模态扩散变换器（MM-DiT）架构的视频生成模型，它专注于无需额外训练即可生成具有多个连续提示的连贯场景视频。该模型通过分析MM-DiT的注意力机制，实现了在不同提示间精确的语义控制和注意力共享，从而生成具有平滑过渡和一致对象运动的视频。DiTCtrl的主要优点包括无需训练、能够处理多提示视频生成任务，并能展示电影风格的过渡效果。此外，DiTCtrl还提供了一个新基准MPVBench，专门用于评估多提示视频生成的性能。
需求人群：
"目标受众为视频制作者、内容创作者和研究人员，他们需要生成具有多个提示和动态场景的视频内容。DiTCtrl适合他们，因为它提供了一种无需复杂训练过程即可生成高质量、连贯视频内容的方法，同时还能进行视频编辑和长视频生成，极大地提高了视频制作的效率和灵活性。"
使用场景示例：
生成一个关于‘一只猫看着一只黑色的老鼠’的视频，展示不同提示间的平滑过渡。
通过DiTCtrl生成一个长视频，内容为‘海洋中的鱼’，展示视频的连贯性和动态效果。
使用DiTCtrl进行视频编辑，将视频中的‘白色SUV’替换为‘红色跑车’，同时保持视频的原始构图。
产品特色：
• 无需训练的多提示视频生成：DiTCtrl能够在无需额外训练的情况下，根据多个连续提示生成视频。
• 平滑过渡和一致性：视频生成过程中实现了对象运动的连贯性和场景之间的平滑过渡。
• 多模态扩散变换器架构：基于MM-DiT架构，DiTCtrl展现了与UNet类似的自注意力机制，并增强了时间建模能力。
• 精确的语义控制：通过注意力机制的分析，DiTCtrl能够实现不同提示间的精确语义控制。
• 视频编辑功能：DiTCtrl可以应用于视频编辑任务，如文字替换和视频重权。
• 长视频生成：DiTCtrl能够通过设置相同的连续提示，自然地工作在单提示长视频生成上。
• 电影风格的过渡效果：DiTCtrl能够展示电影风格的过渡效果，如男孩骑行序列的描绘。
使用教程：
1. 准备多个连续的视频提示，作为视频生成的输入。
2. 使用DiTCtrl模型，将这些提示输入模型中。
3. 模型将分析每个提示的语义内容，并在内部进行注意力机制的计算。
4. 模型生成视频的初始潜在表示，包括多个提示的视频内容。
5. 通过模型的去噪过程，将全注意力转换为遮罩引导的KV共享策略，以查询源视频中的视频内容。
6. 根据修改后的目标提示，合成内容一致的视频。
7. 观察生成的视频，检查过渡的平滑性和对象运动的连贯性。
8. 如有需要，可以对生成的视频进行进一步的视频编辑，如文字替换或视频重权。
浏览量：7
探索多模态扩散变换器中的注意力控制，实现无需调优的多提示长视频生成
DiTCtrl是一种基于多模态扩散变换器（MM-DiT）架构的视频生成模型，它专注于无需额外训练即可生成具有多个连续提示的连贯场景视频。该模型通过分析MM-DiT的注意力机制，实现了在不同提示间精确的语义控制和注意力共享，从而生成具有平滑过渡和一致对象运动的视频。DiTCtrl的主要优点包括无需训练、能够处理多提示视频生成任务，并能展示电影风格的过渡效果。此外，DiTCtrl还提供了一个新基准MPVBench，专门用于评估多提示视频生成的性能。
视频扩散模型加速工具，无需训练即可生成高质量视频内容。
FasterCache是一种创新的无需训练的策略，旨在加速视频扩散模型的推理过程，并生成高质量的视频内容。这一技术的重要性在于它能够显著提高视频生成的效率，同时保持或提升内容的质量，这对于需要快速生成视频内容的行业来说是非常有价值的。FasterCache由来自香港大学、南洋理工大学和上海人工智能实验室的研究人员共同开发，项目页面提供了更多的视觉结果和详细信息。产品目前免费提供，主要面向视频内容生成、AI研究和开发等领域。
下一代多模态智能模型
Emu3是一套最新的多模态模型，仅通过下一个token预测进行训练，能够处理图像、文本和视频。它在生成和感知任务上超越了多个特定任务的旗舰模型，并且不需要扩散或组合架构。Emu3通过将多模态序列统一到一个单一的transformer模型中，简化了复杂的多模态模型设计，展示了在训练和推理过程中扩展的巨大潜力。
视频生成的轨迹导向扩散变换器
Tora是一种基于扩散变换器（DiT）的视频生成模型，它通过集成文本、视觉和轨迹条件，实现了对视频内容动态的精确控制。Tora的设计充分利用了DiT的可扩展性，允许在不同的持续时间、纵横比和分辨率下生成高质量的视频内容。该模型在运动保真度和物理世界运动模拟方面表现出色，为视频内容创作提供了新的可能性。
生成无限长度视频的文本条件视频生成技术
FIFO-Diffusion是一种基于预训练扩散模型的新颖推理技术，用于文本条件视频生成。它能够无需训练生成无限长的视频，通过迭代执行对角去噪，同时处理队列中一系列连续帧的逐渐增加的噪声水平；该方法在头部出队一个完全去噪的帧，同时在尾部入队一个新的随机噪声帧。此外，引入了潜在分割来减少训练推理差距，并通过前瞻去噪来利用前向引用的好处。
统一多模态视频生成系统
UniVG是一款统一多模态视频生成系统，能够处理多种视频生成任务，包括文本和图像模态。通过引入多条件交叉注意力和偏置高斯噪声，实现了高自由度和低自由度视频生成。在公共学术基准MSR-VTT上实现了最低的Fr'echet视频距离（FVD），超越了当前开源方法在人类评估上的表现，并与当前闭源方法Gen2不相上下。
一款多模态人工智能系统，可以根据文字、图片或视频剪辑生成新颖的视频。
Gen-2是一款多模态人工智能系统，可以根据文字、图片或视频剪辑生成新颖的视频。它可以通过将图像或文字提示的构图和风格应用于源视频的结构（Video to Video），或者仅使用文字（Text to Video）来实现。就像拍摄了全新的内容，而实际上并没有拍摄任何东西。Gen-2提供了多种模式，可以将任何图像、视频剪辑或文字提示转化为引人注目的影片作品。
多模态大型语言模型，提升视觉与语言的交互能力。
InternVL2_5-26B-MPO是一个多模态大型语言模型（MLLM），它在InternVL2.5的基础上，通过混合偏好优化（Mixed Preference Optimization, MPO）进一步提升了模型性能。该模型能够处理包括图像、文本在内的多模态数据，广泛应用于图像描述、视觉问答等场景。它的重要性在于能够理解和生成与图像内容紧密相关的文本，推动了多模态人工智能的边界。产品背景信息包括其在多模态任务中的卓越性能，以及在OpenCompass Learderboard中的评估结果。该模型为研究者和开发者提供了强大的工具，以探索和实现多模态人工智能的潜力。
多模态大型语言模型，提升视觉与语言的交互能力
InternVL2_5-8B-MPO-AWQ是OpenGVLab推出的一款多模态大型语言模型，它基于InternVL2.5系列，并采用混合偏好优化（Mixed Preference Optimization, MPO）技术。该模型在视觉和语言的理解与生成方面展现了卓越的性能，尤其在多模态任务中表现出色。它通过结合视觉部分InternViT和语言部分InternLM或Qwen，使用随机初始化的MLP投影器进行增量预训练，实现了对图像和文本的深入理解与交互。该技术的重要性在于它能够处理包括单图像、多图像以及视频数据在内的多种数据类型，为多模态人工智能领域提供了新的解决方案。
无需训练的迭代框架，用于长篇故事可视化
Story-Adapter是一个无需训练的迭代框架，专为长篇故事可视化设计。它通过迭代范式和全局参考交叉注意力模块，优化图像生成过程，保持故事中语义的连贯性，同时减少计算成本。该技术的重要性在于它能够在长篇故事中生成高质量、细节丰富的图像，解决了传统文本到图像模型在长故事可视化中的挑战，如语义一致性和计算可行性。
多模态大型语言模型，展示卓越的整体性能。
InternVL2.5-MPO是一个先进的多模态大型语言模型系列，它基于InternVL2.5和混合偏好优化构建。该模型整合了新增量预训练的InternViT与各种预训练的大型语言模型，包括InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL2.5-MPO在新版本中保留了与InternVL 2.5及其前身相同的模型架构，遵循“ViT-MLP-LLM”范式。该模型支持多图像和视频数据，通过混合偏好优化（MPO）进一步提升模型性能，使其在多模态任务中表现更优。
定制化漫画生成模型，连接多模态LLMs和扩散模型。
DiffSensei是一个结合了多模态大型语言模型（LLMs）和扩散模型的定制化漫画生成模型。它能够根据用户提供的文本提示和角色图像，生成可控制的黑白漫画面板，并具有灵活的角色适应性。这项技术的重要性在于它将自然语言处理与图像生成相结合，为漫画创作和个性化内容生成提供了新的可能性。DiffSensei模型以其高质量的图像生成、多样化的应用场景以及对资源的高效利用而受到关注。目前，该模型在GitHub上公开，可以免费下载使用，但具体的使用可能需要一定的计算资源。
多模态大型语言模型，优化图像与文本交互能力
InternVL2_5-4B-MPO-AWQ是一个多模态大型语言模型（MLLM），专注于提升模型在图像和文本交互任务中的表现。该模型基于InternVL2.5系列，并通过混合偏好优化（MPO）进一步提升性能。它能够处理包括单图像和多图像、视频数据在内的多种输入，适用于需要图像和文本交互理解的复杂任务。InternVL2_5-4B-MPO-AWQ以其卓越的多模态能力，为图像-文本到文本的任务提供了一个强大的解决方案。
开源的端到端自动驾驶多模态模型
OpenEMMA是一个开源项目，复现了Waymo的EMMA模型，提供了一个端到端框架用于自动驾驶车辆的运动规划。该模型利用预训练的视觉语言模型（VLMs）如GPT-4和LLaVA，整合文本和前视摄像头输入，实现对未来自身路径点的精确预测，并提供决策理由。OpenEMMA的目标是为研究人员和开发者提供易于获取的工具，以推进自动驾驶研究和应用。
多模态大型语言模型，展示卓越的整体性能
InternVL2.5-MPO是一个先进的多模态大型语言模型系列，基于InternVL2.5和混合偏好优化构建。该模型集成了新增量预训练的InternViT和各种预训练的大型语言模型，如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。它支持多图像和视频数据，并且在多模态任务中表现出色，能够理解和生成与图像相关的文本内容。
轻松集成先进AI接口，赋能项目。
API.box是一个提供先进AI接口的平台，旨在帮助开发者快速集成AI功能到他们的项目中。它提供全面的API文档和详细的调用日志，确保高效开发和系统性能稳定。API.box具备企业级安全性和强大可扩展性，支持高并发需求，同时提供免费试用和商业用途的输出许可，是开发者和企业的理想选择。
多模态大型语言模型，提升文本、图像和视频数据处理能力。
Valley是由字节跳动开发的多模态大型模型（MLLM），旨在处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，远超过其他开源模型，并在OpenCompass多模态模型评估排行榜上展现了出色的性能，平均得分67.40，位列已知开源MLLMs（<10B）中的前两名。
多模态大型模型，处理文本、图像和视频数据
Valley-Eagle-7B是由字节跳动开发的多模态大型模型，旨在处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，并在OpenCompass测试中展现出与同规模模型相比的卓越性能。Valley-Eagle-7B结合了LargeMLP和ConvAdapter构建投影器，并引入了VisionEncoder，以增强模型在极端场景下的性能。
多模态大型模型，处理文本、图像和视频数据
Valley是由字节跳动开发的尖端多模态大型模型，能够处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，比其他开源模型表现更优。在OpenCompass测试中，与同规模模型相比，平均得分大于等于67.40，在小于10B模型中排名第二。Valley-Eagle版本参考了Eagle，引入了一个可以灵活调整令牌数量并与原始视觉令牌并行的视觉编码器，增强了模型在极端场景下的性能。
一站式大模型算法、模型及优化工具开源项目
FlagAI是由北京智源人工智能研究院推出的一站式、高质量开源项目，集成了全球各种主流大模型算法技术以及多种大模型并行处理和训练加速技术。它支持高效训练和微调，旨在降低大模型开发和应用的门槛，提高开发效率。FlagAI涵盖了多个领域明星模型，如语言大模型OPT、T5，视觉大模型ViT、Swin Transformer，多模态大模型CLIP等。智源研究院也持续将“悟道2.0”“悟道3.0”大模型项目成果开源至FlagAI，目前该项目已经加入Linux基金会，吸引全球科研力量共同创新、共同贡献。
先进的多模态大型语言模型
InternVL2_5-2B-MPO是一个多模态大型语言模型系列，展示了卓越的整体性能。该系列基于InternVL2.5和混合偏好优化构建。它集成了新增量预训练的InternViT与各种预训练的大型语言模型，包括InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。该模型在多模态任务中表现出色，能够处理包括图像和文本在内的多种数据类型，适用于需要理解和生成多模态内容的场景。
使用AI技术将静态图片转换成动态视频。
Image To Video是一个利用人工智能技术将用户的静态图片转换成动态视频的平台。该产品通过AI技术实现图片动画化，使得内容创作者能够轻松制作出具有自然动作和过渡的视频内容。产品的主要优点包括快速处理、每日免费信用点数、高质量输出和易于下载。Image To Video的背景信息显示，它旨在帮助用户以低成本或无成本的方式，将图片转化为视频，从而提高内容的吸引力和互动性。产品定位于内容创作者、数字艺术家和营销专业人士，提供免费试用和高质量的视频生成服务。
多模态大型语言模型，提升视觉和语言的综合理解能力
InternVL2_5-1B-MPO是一个多模态大型语言模型（MLLM），它基于InternVL2.5和混合偏好优化（MPO）构建，展示了优越的整体性能。该模型集成了新增量预训练的InternViT与各种预训练的大型语言模型（LLMs），包括InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL2.5-MPO在模型架构上保留了与InternVL 2.5及其前身相同的“ViT-MLP-LLM”范式，并引入了对多图像和视频数据的支持。该模型在多模态任务中表现出色，能够处理包括图像描述、视觉问答等多种视觉语言任务。
多模态大语言模型，提升多模态推理能力
InternVL2-8B-MPO是一个多模态大语言模型（MLLM），通过引入混合偏好优化（MPO）过程，增强了模型的多模态推理能力。该模型在数据方面设计了自动化的偏好数据构建管线，并构建了MMPR这一大规模多模态推理偏好数据集。在模型方面，InternVL2-8B-MPO基于InternVL2-8B初始化，并使用MMPR数据集进行微调，展现出更强的多模态推理能力，且幻觉现象更少。该模型在MathVista上取得了67.0%的准确率，超越InternVL2-8B 8.7个点，且表现接近于大10倍的InternVL2-76B。
AI内容生成平台，提供视频、语音和图像生成服务
Synthesys是一个AI内容生成平台，提供AI视频、AI语音和AI图像生成服务。它通过使用先进的人工智能技术，帮助用户以更低的成本和更简单的操作生成专业级别的内容。Synthesys的产品背景基于当前市场对于高质量、低成本内容生成的需求，其主要优点包括支持多种语言的超真实语音合成、无需专业设备即可生成高清视频、以及用户友好的界面设计。平台的定价策略包括免费试用和不同级别的付费服务，定位于满足不同规模企业的内容生成需求。
一个集成了Gemini多模态直播和WebRTC技术的单文件应用
Gemini Multimodal Live + WebRTC是一个展示如何构建简单语音AI应用的示例项目，使用Gemini多模态直播API和WebRTC技术。该产品的主要优点包括低延迟、更好的鲁棒性、易于实现核心功能，并且兼容多种平台和语言的SDK。产品背景信息显示，这是一个开源项目，旨在通过WebRTC技术提升实时媒体连接的性能，并简化开发流程。
3D人体动作的言语和非言语语言统一模型
这是一个由斯坦福大学研究团队开发的多模态语言模型框架，旨在统一3D人体动作中的言语和非言语语言。该模型能够理解并生成包含文本、语音和动作的多模态数据，对于创建能够自然交流的虚拟角色至关重要，广泛应用于游戏、电影和虚拟现实等领域。该模型的主要优点包括灵活性高、训练数据需求少，并且能够解锁如可编辑手势生成和从动作中预测情感等新任务。
一种用于控制人类图像动画的方法
DisPose是一种用于控制人类图像动画的方法，它通过运动场引导和关键点对应来提高视频生成的质量。这项技术能够从参考图像和驱动视频中生成视频，同时保持运动对齐和身份信息的一致性。DisPose通过从稀疏的运动场和参考图像生成密集的运动场，提供区域级别的密集引导，同时保持稀疏姿态控制的泛化能力。此外，它还从参考图像中提取与姿态关键点对应的扩散特征，并将这些点特征转移到目标姿态，以提供独特的身份信息。DisPose的主要优点包括无需额外的密集输入即可提取更通用和有效的控制信号，以及通过即插即用的混合ControlNet提高生成视频的质量和一致性，而无需冻结现有模型参数。
© 2024 AIbase 备案号：闽ICP备08105208号-14