产品库

探索多模态扩散变换器中的注意力控制，实现无需调优的多提示长视频生成

DiTCtrl是一种基于多模态扩散变换器（MM-DiT）架构的视频生成模型，它专注于无需额外训练即可生成具有多个连续提示的连贯场景视频。该模型通过分析MM-DiT的注意力机制，实现了在不同提示间精确的语义控制和注意力共享，从而生成具有平滑过渡和一致对象运动的视频。DiTCtrl的主要优点包括无需训练、能够处理多提示视频生成任务，并能展示电影风格的过渡效果。此外，DiTCtrl还提供了一个新基准MPVBench，专门用于评估多提示视频生成的性能。

视频扩散模型加速工具，无需训练即可生成高质量视频内容。

FasterCache是一种创新的无需训练的策略，旨在加速视频扩散模型的推理过程，并生成高质量的视频内容。这一技术的重要性在于它能够显著提高视频生成的效率，同时保持或提升内容的质量，这对于需要快速生成视频内容的行业来说是非常有价值的。FasterCache由来自香港大学、南洋理工大学和上海人工智能实验室的研究人员共同开发，项目页面提供了更多的视觉结果和详细信息。产品目前免费提供，主要面向视频内容生成、AI研究和开发等领域。

下一代多模态智能模型

Emu3是一套最新的多模态模型，仅通过下一个token预测进行训练，能够处理图像、文本和视频。它在生成和感知任务上超越了多个特定任务的旗舰模型，并且不需要扩散或组合架构。Emu3通过将多模态序列统一到一个单一的transformer模型中，简化了复杂的多模态模型设计，展示了在训练和推理过程中扩展的巨大潜力。

视频生成的轨迹导向扩散变换器

Tora是一种基于扩散变换器（DiT）的视频生成模型，它通过集成文本、视觉和轨迹条件，实现了对视频内容动态的精确控制。Tora的设计充分利用了DiT的可扩展性，允许在不同的持续时间、纵横比和分辨率下生成高质量的视频内容。该模型在运动保真度和物理世界运动模拟方面表现出色，为视频内容创作提供了新的可能性。

生成无限长度视频的文本条件视频生成技术

FIFO-Diffusion是一种基于预训练扩散模型的新颖推理技术，用于文本条件视频生成。它能够无需训练生成无限长的视频，通过迭代执行对角去噪，同时处理队列中一系列连续帧的逐渐增加的噪声水平；该方法在头部出队一个完全去噪的帧，同时在尾部入队一个新的随机噪声帧。此外，引入了潜在分割来减少训练推理差距，并通过前瞻去噪来利用前向引用的好处。

统一多模态视频生成系统

UniVG是一款统一多模态视频生成系统，能够处理多种视频生成任务，包括文本和图像模态。通过引入多条件交叉注意力和偏置高斯噪声，实现了高自由度和低自由度视频生成。在公共学术基准MSR-VTT上实现了最低的Fr'echet视频距离（FVD），超越了当前开源方法在人类评估上的表现，并与当前闭源方法Gen2不相上下。

一款多模态人工智能系统，可以根据文字、图片或视频剪辑生成新颖的视频。

Gen-2是一款多模态人工智能系统，可以根据文字、图片或视频剪辑生成新颖的视频。它可以通过将图像或文字提示的构图和风格应用于源视频的结构（Video to Video），或者仅使用文字（Text to Video）来实现。就像拍摄了全新的内容，而实际上并没有拍摄任何东西。Gen-2提供了多种模式，可以将任何图像、视频剪辑或文字提示转化为引人注目的影片作品。

将PDF转化为引人入胜的视频，加速学习过程。

MemenomeLM是一个创新的在线教育工具，通过将PDF文档转化为视频内容，帮助用户更高效地学习。它利用先进的AI技术，将枯燥的文字转化为生动的视频，使学习变得更加有趣和高效。产品主要面向学生群体，尤其是那些需要处理大量阅读材料的学生。它提供了多种视频格式和声音效果，以满足不同用户的需求。MemenomeLM有免费版和付费版，付费版提供更多功能，如更多的视频生成次数、高级AI声音和专属服务器等。

MinMo是一款多模态大型语言模型，用于无缝语音交互。

MinMo是阿里巴巴集团通义实验室开发的一款多模态大型语言模型，拥有约80亿参数，专注于实现无缝语音交互。它通过多个阶段的训练，包括语音到文本对齐、文本到语音对齐、语音到语音对齐和全双工交互对齐，在140万小时的多样化语音数据和广泛的语音任务上进行训练。MinMo在语音理解和生成的各种基准测试中达到了最先进的性能，同时保持了文本大型语言模型的能力，并支持全双工对话，即用户和系统之间的同时双向通信。此外，MinMo还提出了一种新颖且简单的语音解码器，在语音生成方面超越了以往的模型。MinMo的指令遵循能力得到了增强，支持根据用户指令控制语音生成，包括情感、方言和语速等细节，并模仿特定的声音。MinMo的语音到文本延迟约为100毫秒，全双工延迟理论上约为600毫秒，实际约为800毫秒。MinMo的开发旨在克服以往对齐多模态模型的主要限制，为用户提供更自然、流畅和人性化的语音交互体验。

MiniCPM-o 2.6是一个强大的多模态大型语言模型，适用于视觉、语音和多模态直播。

MiniCPM-o 2.6是MiniCPM-o系列中最新且功能最强大的模型。该模型基于SigLip-400M、Whisper-medium-300M、ChatTTS-200M和Qwen2.5-7B构建，拥有8B参数。它在视觉理解、语音交互和多模态直播方面表现出色，支持实时语音对话和多模态直播功能。该模型在开源社区中表现优异，超越了多个知名模型。其优势在于高效的推理速度、低延迟、低内存和功耗，能够在iPad等终端设备上高效支持多模态直播。此外，MiniCPM-o 2.6易于使用，支持多种使用方式，包括llama.cpp的CPU推理、int4和GGUF格式的量化模型、vLLM的高吞吐量推理等。

MiniCPM-o 2.6：一款GPT-4o级别，可在手机上实现视觉、语音和多模态直播的MLLM。

MiniCPM-o 2.6 是OpenBMB团队开发的最新多模态大型语言模型（MLLM），具有8B参数，能够在手机等端侧设备上实现高质量的视觉、语音和多模态直播功能。该模型基于SigLip-400M、Whisper-medium-300M、ChatTTS-200M和Qwen2.5-7B构建，采用端到端的方式训练，性能与GPT-4o-202405相当。其主要优点包括领先的视觉能力、先进的语音能力、强大的多模态直播能力、强大的OCR能力以及优越的效率。该模型免费开源，适用于学术研究和商业用途。

全能AI工作空间，实时语音助手搭配多模态画布，助力高效创作与思考。

Albus AI是一个由人工智能驱动的平台，旨在为知识和创意专业人士提供高效的工作空间。通过实时语音助手和多模态画布，用户可以快速处理大量信息，激发新想法，节省宝贵的时间和注意力。该平台利用大型语言模型和机器学习服务，能够连接不同思想，避免用户在多个标签和应用之间来回切换。Albus AI的出现，为创意工作者、记者、研究人员等专业人士提供了强大的辅助工具，帮助他们更好地发挥人类智慧，为社会创造价值。目前，Albus AI提供有限的早期访问价格，订阅价格为9美元。

下一代AI创意工作室，支持视频和图像生成及编辑。

KLINGAI是一个由Kling大模型和Kolors大模型驱动的下一代AI创意工作室，受到全球创作者的高度评价。它支持视频和图像的生成与编辑，用户可以在这里释放想象力，或从其他创作者的作品中获取灵感，将想法变为现实。该应用在App Store中属于图形与设计类别，排名123，拥有3.9的用户评分。它适用于iPad，提供免费下载，但包含应用内购买项目。

开源的视觉语言模型，可在多种设备上运行。

Moondream AI是一个开源的视觉语言模型，具有强大的多模态处理能力。它支持多种量化格式，如fp16、int8、int4，能够在服务器、PC、移动设备等多种目标设备上进行GPU和CPU优化推理。其主要优点包括快速、高效、易于部署，且采用Apache 2.0许可证，允许用户自由使用和修改。Moondream AI的定位是为开发者提供一个灵活、高效的人工智能解决方案，适用于需要视觉和语言处理能力的各种应用场景。

一种基于扩散变换器网络的高动态、逼真肖像图像动画技术。

Hallo3是一种用于肖像图像动画的技术，它利用预训练的基于变换器的视频生成模型，能够生成高度动态和逼真的视频，有效解决了非正面视角、动态对象渲染和沉浸式背景生成等挑战。该技术由复旦大学和百度公司的研究人员共同开发，具有强大的泛化能力，为肖像动画领域带来了新的突破。

InternVL2.5-MPO系列模型，基于InternVL2.5和混合偏好优化，展现卓越性能。

InternVL2.5-MPO是一个先进的多模态大型语言模型系列，基于InternVL2.5和混合偏好优化（MPO）构建。该系列模型在多模态任务中表现出色，能够处理图像、文本和视频数据，并生成高质量的文本响应。模型采用'ViT-MLP-LLM'范式，通过像素unshuffle操作和动态分辨率策略优化视觉处理能力。此外，模型还引入了多图像和视频数据的支持，进一步扩展了其应用场景。InternVL2.5-MPO在多模态能力评估中超越了多个基准模型，证明了其在多模态领域的领先地位。

一种支持多种视频生成控制任务的统一架构模型。

Diffusion as Shader (DaS) 是一种创新的视频生成控制模型，旨在通过3D感知的扩散过程实现对视频生成的多样化控制。该模型利用3D跟踪视频作为控制输入，能够在统一的架构下支持多种视频控制任务，如网格到视频生成、相机控制、运动迁移和对象操作等。DaS的主要优势在于其3D感知能力，能够有效提升生成视频的时间一致性，并在短时间内通过少量数据微调即可展现出强大的控制能力。该模型由香港科技大学等多所高校的研究团队共同开发，旨在推动视频生成技术的发展，为影视制作、虚拟现实等领域提供更为灵活和高效的解决方案。

TransPixar: 推进带有透明度的文本到视频生成技术

TransPixar 是一种先进的文本到视频生成模型，能够生成包含透明度通道的 RGBA 视频。该技术通过结合扩散变换器（DiT）架构和 LoRA 基于微调的方法，实现了 RGB 和 Alpha 通道的高一致性生成。TransPixar 在视觉效果（VFX）和互动内容创作领域具有重要应用价值，能够为娱乐、广告和教育等行业提供多样化的内容生成解决方案。其主要优点包括高效的模型扩展性、强大的生成能力和对有限训练数据的优化处理能力。

先进的多模态大型语言模型，具备卓越的多模态推理能力。

InternVL2_5-26B-MPO-AWQ 是由 OpenGVLab 开发的多模态大型语言模型，旨在通过混合偏好优化提升模型的推理能力。该模型在多模态任务中表现出色，能够处理图像和文本之间的复杂关系。它采用了先进的模型架构和优化技术，使其在多模态数据处理方面具有显著优势。该模型适用于需要高效处理和理解多模态数据的场景，如图像描述生成、多模态问答等。其主要优点包括强大的推理能力和高效的模型架构。

基于孪生多模态扩散变换器的创意布局到图像生成技术

CreatiLayout是一种创新的布局到图像生成技术，利用孪生多模态扩散变换器（Siamese Multimodal Diffusion Transformer）来实现高质量和细粒度可控的图像生成。该技术能够精确渲染复杂的属性，如颜色、纹理、形状、数量和文本，适用于需要精确布局和图像生成的应用场景。其主要优点包括高效的布局引导集成、强大的图像生成能力和大规模数据集的支持。CreatiLayout由复旦大学和字节跳动公司联合开发，旨在推动图像生成技术在创意设计领域的应用。

VITA-1.5: 实时视觉和语音交互的GPT-4o级多模态大语言模型

VITA-1.5 是一款开源的多模态大语言模型，旨在实现接近实时的视觉和语音交互。它通过显著降低交互延迟和提升多模态性能，为用户提供更流畅的交互体验。该模型支持英语和中文，适用于多种应用场景，如图像识别、语音识别和自然语言处理等。其主要优点包括高效的语音处理能力和强大的多模态理解能力。

一个用于信息检索和生成的灵活高性能框架

FlexRAG是一个用于检索增强生成（RAG）任务的灵活且高性能的框架。它支持多模态数据、无缝配置管理和开箱即用的性能，适用于研究和原型开发。该框架使用Python编写，具有轻量级和高性能的特点，能够显著提高RAG工作流的速度和减少延迟。其主要优点包括支持多种数据类型、统一的配置管理以及易于集成和扩展。

多模态大型语言模型，提升视觉与语言的交互能力。

InternVL2_5-26B-MPO是一个多模态大型语言模型（MLLM），它在InternVL2.5的基础上，通过混合偏好优化（Mixed Preference Optimization, MPO）进一步提升了模型性能。该模型能够处理包括图像、文本在内的多模态数据，广泛应用于图像描述、视觉问答等场景。它的重要性在于能够理解和生成与图像内容紧密相关的文本，推动了多模态人工智能的边界。产品背景信息包括其在多模态任务中的卓越性能，以及在OpenCompass Learderboard中的评估结果。该模型为研究者和开发者提供了强大的工具，以探索和实现多模态人工智能的潜力。

多模态大型语言模型，提升视觉与语言的交互能力

InternVL2_5-8B-MPO-AWQ是OpenGVLab推出的一款多模态大型语言模型，它基于InternVL2.5系列，并采用混合偏好优化（Mixed Preference Optimization, MPO）技术。该模型在视觉和语言的理解与生成方面展现了卓越的性能，尤其在多模态任务中表现出色。它通过结合视觉部分InternViT和语言部分InternLM或Qwen，使用随机初始化的MLP投影器进行增量预训练，实现了对图像和文本的深入理解与交互。该技术的重要性在于它能够处理包括单图像、多图像以及视频数据在内的多种数据类型，为多模态人工智能领域提供了新的解决方案。

无需训练的迭代框架，用于长篇故事可视化

Story-Adapter是一个无需训练的迭代框架，专为长篇故事可视化设计。它通过迭代范式和全局参考交叉注意力模块，优化图像生成过程，保持故事中语义的连贯性，同时减少计算成本。该技术的重要性在于它能够在长篇故事中生成高质量、细节丰富的图像，解决了传统文本到图像模型在长故事可视化中的挑战，如语义一致性和计算可行性。

多模态大型语言模型，展示卓越的整体性能。

InternVL2.5-MPO是一个先进的多模态大型语言模型系列，它基于InternVL2.5和混合偏好优化构建。该模型整合了新增量预训练的InternViT与各种预训练的大型语言模型，包括InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL2.5-MPO在新版本中保留了与InternVL 2.5及其前身相同的模型架构，遵循“ViT-MLP-LLM”范式。该模型支持多图像和视频数据，通过混合偏好优化（MPO）进一步提升模型性能，使其在多模态任务中表现更优。

定制化漫画生成模型，连接多模态LLMs和扩散模型。

DiffSensei是一个结合了多模态大型语言模型（LLMs）和扩散模型的定制化漫画生成模型。它能够根据用户提供的文本提示和角色图像，生成可控制的黑白漫画面板，并具有灵活的角色适应性。这项技术的重要性在于它将自然语言处理与图像生成相结合，为漫画创作和个性化内容生成提供了新的可能性。DiffSensei模型以其高质量的图像生成、多样化的应用场景以及对资源的高效利用而受到关注。目前，该模型在GitHub上公开，可以免费下载使用，但具体的使用可能需要一定的计算资源。

多模态大型语言模型，优化图像与文本交互能力

InternVL2_5-4B-MPO-AWQ是一个多模态大型语言模型（MLLM），专注于提升模型在图像和文本交互任务中的表现。该模型基于InternVL2.5系列，并通过混合偏好优化（MPO）进一步提升性能。它能够处理包括单图像和多图像、视频数据在内的多种输入，适用于需要图像和文本交互理解的复杂任务。InternVL2_5-4B-MPO-AWQ以其卓越的多模态能力，为图像-文本到文本的任务提供了一个强大的解决方案。

开源的端到端自动驾驶多模态模型

OpenEMMA是一个开源项目，复现了Waymo的EMMA模型，提供了一个端到端框架用于自动驾驶车辆的运动规划。该模型利用预训练的视觉语言模型（VLMs）如GPT-4和LLaVA，整合文本和前视摄像头输入，实现对未来自身路径点的精确预测，并提供决策理由。OpenEMMA的目标是为研究人员和开发者提供易于获取的工具，以推进自动驾驶研究和应用。

多模态大型语言模型，展示卓越的整体性能

InternVL2.5-MPO是一个先进的多模态大型语言模型系列，基于InternVL2.5和混合偏好优化构建。该模型集成了新增量预训练的InternViT和各种预训练的大型语言模型，如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。它支持多图像和视频数据，并且在多模态任务中表现出色，能够理解和生成与图像相关的文本内容。