产品库

利用多指令视频到音频合成技术

Draw an Audio是一个创新的视频到音频合成技术，它通过多指令控制，能够根据视频内容生成高质量的同步音频。这项技术不仅提升了音频生成的可控性和灵活性，还能够在多阶段产生混合音频，展现出更广泛的实际应用潜力。

MMAudio根据视频和/或文本输入生成同步音频。

MMAudio是一种多模态联合训练技术，旨在高质量的视频到音频合成。该技术能够根据视频和文本输入生成同步音频，适用于各种应用场景，如影视制作、游戏开发等。其重要性在于提升了音频生成的效率和质量，适合需要音频合成的创作者和开发者使用。

开源多模态大型语言模型，支持实时语音输入和流式音频输出。

Mini-Omni是一个开源的多模态大型语言模型，能够实现实时的语音输入和流式音频输出的对话能力。它具备实时语音到语音的对话功能，无需额外的ASR或TTS模型。此外，它还可以在思考的同时进行语音输出，支持文本和音频的同时生成。Mini-Omni通过'Audio-to-Text'和'Audio-to-Audio'的批量推理进一步增强性能。

多模态大型模型，处理文本、图像和视频数据

Valley是由字节跳动开发的尖端多模态大型模型，能够处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，比其他开源模型表现更优。在OpenCompass测试中，与同规模模型相比，平均得分大于等于67.40，在小于10B模型中排名第二。Valley-Eagle版本参考了Eagle，引入了一个可以灵活调整令牌数量并与原始视觉令牌并行的视觉编码器，增强了模型在极端场景下的性能。

统一多模态视频生成系统

UniVG是一款统一多模态视频生成系统，能够处理多种视频生成任务，包括文本和图像模态。通过引入多条件交叉注意力和偏置高斯噪声，实现了高自由度和低自由度视频生成。在公共学术基准MSR-VTT上实现了最低的Fr'echet视频距离（FVD），超越了当前开源方法在人类评估上的表现，并与当前闭源方法Gen2不相上下。

大型多模态模型，处理多图像、视频和3D数据。

LLaVA-NeXT是一个大型多模态模型，它通过统一的交错数据格式处理多图像、视频、3D和单图像数据，展示了在不同视觉数据模态上的联合训练能力。该模型在多图像基准测试中取得了领先的结果，并在不同场景中通过适当的数据混合提高了之前单独任务的性能或保持了性能。

多模态大型模型，处理文本、图像和视频数据

Valley-Eagle-7B是由字节跳动开发的多模态大型模型，旨在处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，并在OpenCompass测试中展现出与同规模模型相比的卓越性能。Valley-Eagle-7B结合了LargeMLP和ConvAdapter构建投影器，并引入了VisionEncoder，以增强模型在极端场景下的性能。

InternVL3开源：7种尺寸覆盖文、图、视频处理，多模态能力扩展至工业图像分析

InternVL3是由OpenGVLab开源发布的多模态大型语言模型（MLLM），具备卓越的多模态感知和推理能力。该模型系列包含从1B到78B共7个尺寸，能够同时处理文字、图片、视频等多种信息，展现出卓越的整体性能。InternVL3在工业图像分析、3D视觉感知等领域表现出色，其整体文本性能甚至优于Qwen2.5系列。该模型的开源为多模态应用开发提供了强大的支持，有助于推动多模态技术在更多领域的应用。

大型多模态模型中视频理解的探索

Apollo是一个专注于视频理解的先进大型多模态模型家族。它通过系统性地探索视频-LMMs的设计空间，揭示了驱动性能的关键因素，提供了优化模型性能的实用见解。Apollo通过发现'Scaling Consistency'，使得在较小模型和数据集上的设计决策能够可靠地转移到更大的模型上，大幅降低计算成本。Apollo的主要优点包括高效的设计决策、优化的训练计划和数据混合，以及一个新型的基准测试ApolloBench，用于高效评估。

首个多模态 Mistral 模型，支持图像和文本的混合任务处理。

Pixtral 12B 是 Mistral AI 团队开发的一款多模态 AI 模型，它能够理解自然图像和文档，具备出色的多模态任务处理能力，同时在文本基准测试中也保持了最先进的性能。该模型支持多种图像尺寸和宽高比，能够在长上下文窗口中处理任意数量的图像，是 Mistral Nemo 12B 的升级版，专为多模态推理而设计，不牺牲关键文本处理能力。

AI多模态数据绑定

ImageBind是一种新的AI模型，能够同时绑定六种感官模态的数据，无需显式监督。通过识别这些模态之间的关系（图像和视频、音频、文本、深度、热成像和惯性测量单元（IMUs）），这一突破有助于推动AI发展，使机器能够更好地分析多种不同形式的信息。探索演示以了解ImageBind在图像、音频和文本模态上的能力。

多模态多视角视频数据集和基准挑战

Ego-Exo4D 是一个多模态多视角视频数据集和基准挑战，以捕捉技能人类活动的自我中心和外部中心视频为中心。它支持日常生活活动的多模态机器感知研究。该数据集由 839 位佩戴摄像头的志愿者在全球 13 个城市收集，捕捉了 1422 小时的技能人类活动视频。该数据集提供了专家评论、参与者提供的教程样式的叙述和一句话的原子动作描述等三种自然语言数据集，配对视频使用。Ego-Exo4D 还捕获了多视角和多种感知模态，包括多个视角、七个麦克风阵列、两个 IMUs、一个气压计和一个磁强计。数据集记录时严格遵守隐私和伦理政策，参与者的正式同意。欲了解更多信息，请访问官方网站。

音频处理和生成的深度学习库

AudioCraft 是一个用于音频处理和生成的 PyTorch 库。它包含了两个最先进的人工智能生成模型：AudioGen 和 MusicGen，可以生成高质量的音频。AudioCraft 还提供了 EnCodec 音频压缩 / 分词器和 Multi Band Diffusion 解码器等功能。该库适用于音频生成的深度学习研究。

ComfyUI节点，用于MMAudio模型的音频处理

ComfyUI-MMAudio是一个基于ComfyUI的插件，它允许用户利用MMAudio模型进行音频处理。该插件的主要优点在于能够提供高质量的音频生成和处理能力，支持多种音频模型，并且易于集成到现有的音频处理流程中。产品背景信息显示，它是由kijai开发的，并且是开源的，可以在GitHub上找到。目前，该插件主要面向技术爱好者和音频处理专业人士，可以免费使用。

视频指令调优与合成数据研究

LLaVA-Video是一个专注于视频指令调优的大型多模态模型（LMMs），通过创建高质量的合成数据集LLaVA-Video-178K来解决从网络获取大量高质量原始数据的难题。该数据集包括详细的视频描述、开放式问答和多项选择问答等任务，旨在提高视频语言模型的理解和推理能力。LLaVA-Video模型在多个视频基准测试中表现出色，证明了其数据集的有效性。

多模态AI开发助手

DevMind AI旨在无缝整合文本、图像、视频、音频和代码等多种模型的推理能力，帮助您像专业人士一样进行开发！DevMind AI通过AI功能增强您的项目。

多模态头像生成和动画

MagicAvatar是一个多模态框架，能够将各种输入模式（文本、视频和音频）转换为运动信号，从而生成/动画化头像。它可以通过简单的文本提示创建头像，也可以根据给定的源视频创建遵循给定运动的头像。此外，它还可以动画化特定主题的头像。MagicAvatar的优势在于它能够将多种输入模式结合起来，生成高质量的头像和动画。

面向长期视频理解的大规模多模态模型

MA-LMM是一种基于大语言模型的大规模多模态模型,主要针对长期视频理解进行设计。它采用在线处理视频的方式,并使用记忆库存储过去的视频信息,从而可以在不超过语言模型上下文长度限制或GPU内存限制的情况下,参考历史视频内容进行长期分析。MA-LMM可以无缝集成到当前的多模态语言模型中,并在长视频理解、视频问答和视频字幕等任务上取得了领先的性能。

统一的多模态生成模型

Unified-IO 2是一个统一的多模态生成模型,能够理解和生成图像、文本、音频和动作。它使用单个编码器-解码器Transformer模型,将不同模式(图像、文本、音频、动作等)的输入和输出都表示为一个共享的语义空间进行处理。该模型从头开始在大规模的多模态预训练语料上进行训练,使用了多模态的去噪目标进行优化。为了学会广泛的技能,该模型还在120个现有数据集上进行微调,这些数据集包含提示和数据增强。Unified-IO 2在GRIT基准测试中达到了最先进的性能,在30多个基准测试中都取得了强劲的结果,包括图像生成和理解、文本理解、视频和音频理解以及机器人操作。

基于多模态的 AI 模型，无缝进行图像、视频、音频和代码的推理

Google Gemini 是一款基于多模态的 AI 模型，能够无缝进行图像、视频、音频和代码的推理。Gemini 是 DeepMind 推出的最先进的 AI 模型，能够在 MMLU（大规模多任务语言理解）等各项测试中超越人类专家。Gemini 具有出色的推理能力，在各种多模态任务中取得了最先进的性能。

VideoLLaMA3是前沿的多模态基础模型，专注于图像和视频理解。

VideoLLaMA3是由DAMO-NLP-SG团队开发的前沿多模态基础模型，专注于图像和视频理解。该模型基于Qwen2.5架构，结合了先进的视觉编码器（如SigLip）和强大的语言生成能力，能够处理复杂的视觉和语言任务。其主要优点包括高效的时空建模能力、强大的多模态融合能力以及对大规模数据的优化训练。该模型适用于需要深度视频理解的应用场景，如视频内容分析、视觉问答等，具有广泛的研究和商业应用潜力。

视频到音频生成模型

vta-ldm是一个专注于视频到音频生成的深度学习模型，能够根据视频内容生成语义和时间上与视频输入对齐的音频内容。它代表了视频生成领域的一个新突破，特别是在文本到视频生成技术取得显著进展之后。该模型由腾讯AI实验室的Manjie Xu等人开发，具有生成与视频内容高度一致的音频的能力，对于视频制作、音频后期处理等领域具有重要的应用价值。

HyperGAI推出的创新多模态LLM框架，旨在理解和处理文本、图像、视频等多种输入模态

HPT（Hyper-Pretrained Transformers）是HyperGAI研究团队推出的新型多模态大型语言模型框架，它能够高效且可扩展地训练大型多模态基础模型，理解包括文本、图像、视频等多种输入模态。HPT框架可以从头开始训练，也可以通过现有的预训练视觉编码器和/或大型语言模型进行高效适配。

多模态大型语言模型，支持图像和文本处理。

Llama-3.2-11B-Vision 是 Meta 发布的一款多模态大型语言模型（LLMs），它结合了图像和文本处理的能力，旨在提高视觉识别、图像推理、图像描述和回答有关图像的一般问题的性能。该模型在常见的行业基准测试中的表现超过了众多开源和封闭的多模态模型。

多模态原生混合专家模型

Aria是一个多模态原生混合专家模型，具有强大的多模态、语言和编码任务性能。它在视频和文档理解方面表现出色，支持长达64K的多模态输入，能够在10秒内描述一个256帧的视频。Aria模型的参数量为25.3B，能够在单个A100（80GB）GPU上使用bfloat16精度进行加载。Aria的开发背景是满足对多模态数据理解的需求，特别是在视频和文档处理方面。它是一个开源模型，旨在推动多模态人工智能的发展。

Qwen2.5-Omni 是阿里云通义千问团队开发的端到端多模态模型，支持文本、音频、图像、视频输入。

Qwen2.5-Omni 是阿里云通义千问团队推出的新一代端到端多模态旗舰模型。该模型专为全方位多模态感知设计，能够无缝处理文本、图像、音频和视频等多种输入形式，并通过实时流式响应同时生成文本与自然语音合成输出。其创新的 Thinker-Talker 架构和 TMRoPE 位置编码技术，使其在多模态任务中表现出色，特别是在音频、视频和图像理解方面。该模型在多个基准测试中超越了类似规模的单模态模型，展现了强大的性能和广泛的应用潜力。目前，Qwen2.5-Omni 已在 Hugging Face、ModelScope、DashScope 和 GitHub 上开源开放，为开发者提供了丰富的使用场景和开发支持。

多模态驱动的定制视频生成架构。

HunyuanCustom 是一个多模态定制视频生成框架，旨在根据用户定义的条件生成特定主题的视频。该技术在身份一致性和多种输入模式的支持上表现出色，能够处理文本、图像、音频和视频输入，适合虚拟人广告、视频编辑等多种应用场景。

多模态大型语言模型，提升文本、图像和视频数据处理能力。

Valley是由字节跳动开发的多模态大型模型（MLLM），旨在处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，远超过其他开源模型，并在OpenCompass多模态模型评估排行榜上展现了出色的性能，平均得分67.40，位列已知开源MLLMs（<10B）中的前两名。

多模态图像生成模型

Instruct-Imagen是一个多模态图像生成模型，通过引入多模态指令，实现对异构图像生成任务的处理，并在未知任务中实现泛化。该模型利用自然语言整合不同的模态（如文本、边缘、风格、主题等），标准化丰富的生成意图。通过在预训练文本到图像扩散模型上进行两阶段框架的微调，采用检索增强训练和多样的图像生成任务微调，使得该模型在各种图像生成数据集上的人工评估结果表明，其在领域内与先前的任务特定模型相匹配或超越，并展现出对未知和更复杂任务的有希望的泛化能力。

多模态大型语言模型，支持图像和文本理解。

Pixtral-12b-240910是由Mistral AI团队发布的多模态大型语言模型，它能够处理和理解图像以及文本信息。该模型采用了先进的神经网络架构，能够通过图像和文本的结合输入，提供更加丰富和准确的输出结果。它在图像识别、自然语言处理和多模态交互方面展现出卓越的性能，对于需要图像和文本同时处理的应用场景具有重要意义。