产品库

多模态图像生成模型

Instruct-Imagen是一个多模态图像生成模型，通过引入多模态指令，实现对异构图像生成任务的处理，并在未知任务中实现泛化。该模型利用自然语言整合不同的模态（如文本、边缘、风格、主题等），标准化丰富的生成意图。通过在预训练文本到图像扩散模型上进行两阶段框架的微调，采用检索增强训练和多样的图像生成任务微调，使得该模型在各种图像生成数据集上的人工评估结果表明，其在领域内与先前的任务特定模型相匹配或超越，并展现出对未知和更复杂任务的有希望的泛化能力。

多模态文本到图像生成模型

EMMA是一个基于最前沿的文本到图像扩散模型ELLA构建的新型图像生成模型，能够接受多模态提示，通过创新的多模态特征连接器设计，有效整合文本和补充模态信息。该模型通过冻结原始T2I扩散模型的所有参数，并仅调整一些额外层，揭示了预训练的T2I扩散模型可以秘密接受多模态提示的有趣特性。EMMA易于适应不同的现有框架，是生成个性化和上下文感知图像甚至视频的灵活有效工具。

基于多模态的 AI 模型，无缝进行图像、视频、音频和代码的推理

Google Gemini 是一款基于多模态的 AI 模型，能够无缝进行图像、视频、音频和代码的推理。Gemini 是 DeepMind 推出的最先进的 AI 模型，能够在 MMLU（大规模多任务语言理解）等各项测试中超越人类专家。Gemini 具有出色的推理能力，在各种多模态任务中取得了最先进的性能。

多模态长篇故事生成模型

SEED-Story是一个基于大型语言模型（MLLM）的多模态长篇故事生成模型，能够根据用户提供的图片和文本生成丰富、连贯的叙事文本和风格一致的图片。它代表了人工智能在创意写作和视觉艺术领域的前沿技术，具有生成高质量、多模态故事内容的能力，为创意产业提供了新的可能性。

AI多模态数据绑定

ImageBind是一种新的AI模型，能够同时绑定六种感官模态的数据，无需显式监督。通过识别这些模态之间的关系（图像和视频、音频、文本、深度、热成像和惯性测量单元（IMUs）），这一突破有助于推动AI发展，使机器能够更好地分析多种不同形式的信息。探索演示以了解ImageBind在图像、音频和文本模态上的能力。

多模态AI开发助手

DevMind AI旨在无缝整合文本、图像、视频、音频和代码等多种模型的推理能力，帮助您像专业人士一样进行开发！DevMind AI通过AI功能增强您的项目。

小型多模态模型，支持图像和文本生成

Fuyu-8B是由Adept AI训练的多模态文本和图像转换模型。它具有简化的架构和训练过程，易于理解、扩展和部署。它专为数字代理设计，可以支持任意图像分辨率，回答关于图表和图形的问题，回答基于UI的问题，并对屏幕图像进行细粒度定位。它的响应速度很快，可以在100毫秒内处理大型图像。尽管针对我们的用例进行了优化，但它在标准图像理解基准测试中表现良好，如视觉问答和自然图像字幕。请注意，我们发布的模型是一个基础模型，我们希望您根据具体的用例进行微调，例如冗长的字幕或多模态聊天。在我们的经验中，该模型对于少样本学习和各种用例的微调都表现良好。

统一多模态视频生成系统

UniVG是一款统一多模态视频生成系统，能够处理多种视频生成任务，包括文本和图像模态。通过引入多条件交叉注意力和偏置高斯噪声，实现了高自由度和低自由度视频生成。在公共学术基准MSR-VTT上实现了最低的Fr'echet视频距离（FVD），超越了当前开源方法在人类评估上的表现，并与当前闭源方法Gen2不相上下。

Gemini 2.0 是谷歌推出的最新一代生成式 AI 模型，包含 Flash、Flash-Lite 和 Pro 版本。

Gemini 2.0 是谷歌在生成式 AI 领域的重要进展，代表了最新的人工智能技术。它通过强大的语言生成能力，为开发者提供高效、灵活的解决方案，适用于多种复杂场景。Gemini 2.0 的主要优点包括高性能、低延迟和简化的定价策略，旨在降低开发成本并提高生产效率。该模型通过 Google AI Studio 和 Vertex AI 提供，支持多种模态输入，具备广泛的应用前景。

多功能文本到多模态内容生成框架

Alpha-VLLM提供了一系列模型，支持从文本到图像、音频等多模态内容的生成。这些模型基于深度学习技术，可以广泛应用于内容创作、数据增强、自动化设计等领域。

多模态AI模型，图像理解与生成兼备

Mini-Gemini是由香港中文大学终身教授贾佳亚团队开发的多模态模型，具备精准的图像理解能力和高质量的训练数据。该模型结合图像推理和生成，提供不同规模的版本，性能与GPT-4和DALLE3相媲美。Mini-Gemini采用Gemini的视觉双分支信息挖掘方法和SDXL技术，通过卷积网络编码图像并利用Attention机制挖掘信息，同时结合LLM生成文本链接两个模型。

多模态驱动的定制视频生成架构。

HunyuanCustom 是一个多模态定制视频生成框架，旨在根据用户定义的条件生成特定主题的视频。该技术在身份一致性和多种输入模式的支持上表现出色，能够处理文本、图像、音频和视频输入，适合虚拟人广告、视频编辑等多种应用场景。

使用生成式AI赋能人类创造力与生产力

HiDream.ai是一个使用生成式AI来提升人类创造力和生产力的平台。它提供了像Pixeling这样的产品,可以自动生成图像、视频、文字等创意内容,帮助用户提高工作效率,创造更多价值。平台采用自主研发的多模态基础模型,可以处理文本、图像、音频等不同形式的数据,实现多模态的生成。平台面向创意工作者、企事业单位等用户,提供基于订阅的服务模式。用户可以通过WEB页面访问该平台,体验其强大的生成能力。

强大的多模态LLM，商业解决方案

Reka Core是一个GPT-4级别的多模态大型语言模型（LLM），具备图像、视频和音频的强大上下文理解能力。它是目前市场上仅有的两个商用综合多模态解决方案之一。Core在多模态理解、推理能力、编码和Agent工作流程、多语言支持以及部署灵活性方面表现出色。

多模态头像生成和动画

MagicAvatar是一个多模态框架，能够将各种输入模式（文本、视频和音频）转换为运动信号，从而生成/动画化头像。它可以通过简单的文本提示创建头像，也可以根据给定的源视频创建遵循给定运动的头像。此外，它还可以动画化特定主题的头像。MagicAvatar的优势在于它能够将多种输入模式结合起来，生成高质量的头像和动画。

多模态综合理解与创作

DreamLLM是一个学习框架，首次实现了多模态大型语言模型（LLM）在多模态理解和创作之间的协同效应。它通过直接在原始多模态空间中进行采样，生成语言和图像的后验模型。这种方法避免了像CLIP这样的外部特征提取器所固有的限制和信息损失，从而获得了更全面的多模态理解。DreamLLM还通过建模文本和图像内容以及无结构布局的原始交叉文档，有效地学习了所有条件、边缘和联合多模态分布。因此，DreamLLM是第一个能够生成自由形式交叉内容的MLLM。全面的实验证明了DreamLLM作为零样本多模态通才的卓越性能，充分利用了增强的学习协同效应。

多模态自回归模型，擅长文本生成图像

Lumina-mGPT是一个多模态自回归模型家族，能够执行各种视觉和语言任务，特别是在从文本描述生成灵活的逼真图像方面表现突出。该模型基于xllmx模块实现，支持以LLM为中心的多模态任务，适用于深度探索和快速熟悉模型能力。

多模态音乐理解和生成系统

M2UGen是一个结合大语言模型的多模态音乐理解和生成框架,旨在帮助用户进行音乐创作。它能同时完成音乐理解和多模态音乐生成任务。

新一代生成式AI模型

Liquid Foundation Models (LFMs) 是一系列新型的生成式AI模型，它们在各种规模上都达到了最先进的性能，同时保持了更小的内存占用和更高效的推理效率。LFMs 利用动态系统理论、信号处理和数值线性代数的计算单元，可以处理包括视频、音频、文本、时间序列和信号在内的任何类型的序列数据。这些模型是通用的AI模型，旨在处理大规模的序列多模态数据，实现高级推理，并做出可靠的决策。

智能编程助手，助力高效编程。

JoyCoder 是京东自主研发的智能编程助手，基于大语言模型，适配多种 IDE，提供代码预测、智能问答等功能。它能够提升开发人员的编程效率和代码质量，减少编程错误，降低修复问题的频率。该产品适合各种开发者使用，特别是在快速开发和测试需求中。随着智能编程的兴起，JoyCoder 为开发者提供了一个高效、流畅的编程环境，满足其多样化需求。产品定价方面，具体信息请联系售前顾问。

统一的多模态生成模型

Unified-IO 2是一个统一的多模态生成模型,能够理解和生成图像、文本、音频和动作。它使用单个编码器-解码器Transformer模型,将不同模式(图像、文本、音频、动作等)的输入和输出都表示为一个共享的语义空间进行处理。该模型从头开始在大规模的多模态预训练语料上进行训练,使用了多模态的去噪目标进行优化。为了学会广泛的技能,该模型还在120个现有数据集上进行微调,这些数据集包含提示和数据增强。Unified-IO 2在GRIT基准测试中达到了最先进的性能,在30多个基准测试中都取得了强劲的结果,包括图像生成和理解、文本理解、视频和音频理解以及机器人操作。

AI Mode 是谷歌搜索中的一项实验性生成式 AI 功能，可帮助用户解决复杂问题。

AI Mode 是谷歌搜索中的一项实验性功能，基于 Gemini 2.0 模型开发。它通过高级推理和多模态能力，为用户提供更深入、更全面的搜索结果。该功能旨在帮助用户更高效地处理复杂的多部分问题，并通过实时数据和知识图谱提供高质量的响应。AI Mode 的推出体现了谷歌在提升搜索体验方面的持续创新，同时也展示了生成式 AI 在信息检索中的应用潜力。

AlloyDB AI助力PostgreSQL构建生成式AI应用

AlloyDB AI是Google Cloud推出的一项数据库服务,可帮助开发者在PostgreSQL数据库上构建生成式AI应用。它提供了熟悉的PostgreSQL接口,支持向量、模型管理,并可深度集成Google Vertex AI,轻松访问各种生成式AI模型。AlloyDB AI拥有企业级的可扩展性、可用性与安全性,可实现超高性能的向量运算,是构建PostgreSQL生成式AI应用的理想选择。

多模态引导的共语言面部动画生成

Media2Face是一款通过音频、文本和图像多模态引导的共语言面部动画生成工具。它首先利用通用神经参数化面部资产（GNPFA）将面部几何和图像映射到高度通用的表情潜在空间，然后从大量视频中提取高质量的表情和准确的头部姿态，构建了M2F-D数据集。最后，采用GNPFA潜在空间中的扩散模型进行共语言面部动画生成。该工具不仅在面部动画合成方面具有高保真度，还拓展了表现力和样式适应性。

前沿的多模态大型语言模型

NVLM-D-72B是NVIDIA推出的一款多模态大型语言模型，专注于视觉-语言任务，并且通过多模态训练提升了文本性能。该模型在视觉-语言基准测试中取得了与业界领先模型相媲美的成绩。

基于文本生成图像的多模态扩散变换器模型

Stable Diffusion 3.5 Medium是一个基于文本到图像的生成模型，由Stability AI开发，具有改进的图像质量、排版、复杂提示理解和资源效率。该模型使用了三个固定的预训练文本编码器，通过QK-规范化提高训练稳定性，并在前12个变换层中引入双注意力块。它在多分辨率图像生成、一致性和各种文本到图像任务的适应性方面表现出色。

多模态语言模型

SpeechGPT是一种多模态语言模型，具有内在的跨模态对话能力。它能够感知并生成多模态内容，遵循多模态人类指令。SpeechGPT-Gen是一种扩展了信息链的语音生成模型。SpeechAgents是一种具有多模态多代理系统的人类沟通模拟。SpeechTokenizer是一种统一的语音标记器，适用于语音语言模型。这些模型和数据集的发布日期和相关信息均可在官方网站上找到。

高性能多模态AI模型

Gemini Pro是DeepMind推出的一款高性能多模态AI模型，专为广泛的任务设计，具有高达两百万token的长上下文窗口，能够处理大规模文档、代码、音频和视频等。它在多个基准测试中表现出色，包括代码生成、数学问题解决和多语言翻译等。

实时多模态内容审核平台

Seyft AI 是一个实时的多模态内容审核平台，能够过滤文本、图像和视频中的有害和不相关内容，确保合规性，并为不同的语言和文化背景提供个性化解决方案。该平台的主要优点包括实时审核、多语言支持、无需人工干预的图像和视频审核，以及易于集成的API。Seyft AI 的背景信息显示，它旨在帮助企业保持数字空间的清洁和安全，适用于需要内容审核的各种应用场景。

多模态语言模型预测网络

Honeybee是一个适用于多模态语言模型的局部性增强预测器。它能够提高多模态语言模型在不同下游任务上的性能,如自然语言推理、视觉问答等。Honeybee的优势在于引入了局部性感知机制,可以更好地建模输入样本之间的依赖关系,从而增强多模态语言模型的推理和问答能力。