产品库

文本到图像生成/编辑框架

RPG-DiffusionMaster是一个全新的无需训练的文本到图像生成/编辑框架，利用多模态LLM的链式推理能力增强文本到图像扩散模型的组合性。该框架采用MLLM作为全局规划器，将复杂图像生成过程分解为多个子区域内的简单生成任务。同时提出了互补的区域扩散以实现区域化的组合生成。此外，在提出的RPG框架中闭环地集成了文本引导的图像生成和编辑，从而增强了泛化能力。大量实验证明，RPG-DiffusionMaster在多类别对象组合和文本-图像语义对齐方面优于DALL-E 3和SDXL等最先进的文本到图像扩散模型。特别地，RPG框架与各种MLLM架构（例如MiniGPT-4）和扩散骨干（例如ControlNet）兼容性广泛。

多功能文本到多模态内容生成框架

Alpha-VLLM提供了一系列模型，支持从文本到图像、音频等多模态内容的生成。这些模型基于深度学习技术，可以广泛应用于内容创作、数据增强、自动化设计等领域。

多模态文本到图像生成模型

EMMA是一个基于最前沿的文本到图像扩散模型ELLA构建的新型图像生成模型，能够接受多模态提示，通过创新的多模态特征连接器设计，有效整合文本和补充模态信息。该模型通过冻结原始T2I扩散模型的所有参数，并仅调整一些额外层，揭示了预训练的T2I扩散模型可以秘密接受多模态提示的有趣特性。EMMA易于适应不同的现有框架，是生成个性化和上下文感知图像甚至视频的灵活有效工具。

基于文本生成图像的多模态扩散变换器模型

Stable Diffusion 3.5 Medium是一个基于文本到图像的生成模型，由Stability AI开发，具有改进的图像质量、排版、复杂提示理解和资源效率。该模型使用了三个固定的预训练文本编码器，通过QK-规范化提高训练稳定性，并在前12个变换层中引入双注意力块。它在多分辨率图像生成、一致性和各种文本到图像任务的适应性方面表现出色。

先进的文本到图像生成系统

Stable Diffusion 3是一款先进的文本到图像生成系统，它在排版和提示遵循方面与DALL-E 3和Midjourney v6等顶尖系统相匹敌或更优。该系统采用新的多模态扩散变换器(MMDiT)架构，使用不同的权重集来改善图像和语言的表示，从而提高文本理解和拼写能力。Stable Diffusion 3 API现已在Stability AI开发者平台上线，与Fireworks AI合作提供快速可靠的API服务，并承诺在不久的将来通过Stability AI会员资格开放模型权重以供自托管。

一个强大的统一多模态模型，支持文本到图像生成及图像编辑。

OmniGen2 是一个高效的多模态生成模型，结合了视觉语言模型和扩散模型，能够实现视觉理解、图像生成及编辑等功能。其开源特性为研究人员和开发者提供了强大的基础，助力个性化和可控生成 AI 的探索。

小型多模态模型，支持图像和文本生成

Fuyu-8B是由Adept AI训练的多模态文本和图像转换模型。它具有简化的架构和训练过程，易于理解、扩展和部署。它专为数字代理设计，可以支持任意图像分辨率，回答关于图表和图形的问题，回答基于UI的问题，并对屏幕图像进行细粒度定位。它的响应速度很快，可以在100毫秒内处理大型图像。尽管针对我们的用例进行了优化，但它在标准图像理解基准测试中表现良好，如视觉问答和自然图像字幕。请注意，我们发布的模型是一个基础模型，我们希望您根据具体的用例进行微调，例如冗长的字幕或多模态聊天。在我们的经验中，该模型对于少样本学习和各种用例的微调都表现良好。

高性能的文本到图像生成模型

Stable Diffusion 3.5 Large 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，由 Stability AI 开发。该模型在图像质量、排版、复杂提示理解和资源效率方面都有显著提升。它使用三个固定的预训练文本编码器，并通过 QK 归一化技术提高训练稳定性。此外，该模型在训练数据和策略上使用了包括合成数据和过滤后的公开可用数据。Stable Diffusion 3.5 Large 模型在遵守社区许可协议的前提下，可以免费用于研究、非商业用途，以及年收入少于100万美元的组织或个人的商业用途。

高效能的文本到图像生成模型

Stable Diffusion 3.5 Large Turbo 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，采用了对抗性扩散蒸馏（ADD）技术，提高了图像质量、排版、复杂提示理解和资源效率，特别注重减少推理步骤。该模型在生成图像方面表现出色，能够理解和生成复杂的文本提示，适用于多种图像生成场景。它在Hugging Face平台上发布，遵循Stability Community License，适合研究、非商业用途以及年收入少于100万美元的组织或个人免费使用。

HyperGAI推出的创新多模态LLM框架，旨在理解和处理文本、图像、视频等多种输入模态

HPT（Hyper-Pretrained Transformers）是HyperGAI研究团队推出的新型多模态大型语言模型框架，它能够高效且可扩展地训练大型多模态基础模型，理解包括文本、图像、视频等多种输入模态。HPT框架可以从头开始训练，也可以通过现有的预训练视觉编码器和/或大型语言模型进行高效适配。

基于LLM的文本到图像生成系统

DiffusionGPT是一种基于大型语言模型（LLM）的文本到图像生成系统。它利用扩散模型构建了针对各种生成模型的领域特定树，从而能够无缝地适应各种类型的提示并集成领域专家模型。此外，DiffusionGPT引入了优势数据库，其中的思维树得到了人类反馈的丰富，使模型选择过程与人类偏好保持一致。通过广泛的实验和比较，我们展示了DiffusionGPT的有效性，展示了它在不同领域推动图像合成边界的潜力。

多模态图像生成模型

Instruct-Imagen是一个多模态图像生成模型，通过引入多模态指令，实现对异构图像生成任务的处理，并在未知任务中实现泛化。该模型利用自然语言整合不同的模态（如文本、边缘、风格、主题等），标准化丰富的生成意图。通过在预训练文本到图像扩散模型上进行两阶段框架的微调，采用检索增强训练和多样的图像生成任务微调，使得该模型在各种图像生成数据集上的人工评估结果表明，其在领域内与先前的任务特定模型相匹配或超越，并展现出对未知和更复杂任务的有希望的泛化能力。

Cradle框架：用于控制计算机的多模态代理

Cradle框架旨在使基础模型能够通过与人类相同的通用接口（屏幕作为输入，键盘和鼠标操作作为输出）执行复杂的计算机任务。该框架在Red Dead Redemption II游戏中进行了案例研究，展示了其在复杂环境中的泛化和适应能力。

多模态自回归模型，擅长文本生成图像

Lumina-mGPT是一个多模态自回归模型家族，能够执行各种视觉和语言任务，特别是在从文本描述生成灵活的逼真图像方面表现突出。该模型基于xllmx模块实现，支持以LLM为中心的多模态任务，适用于深度探索和快速熟悉模型能力。

苹果发布多模态LLM模型MM1

苹果发布了自己的大语言模型MM1，这是一个最高有30B规模的多模态LLM。通过预训练和SFT，MM1模型在多个基准测试中取得了SOTA性能，展现了上下文内预测、多图像推理和少样本学习能力等吸引人的特性。

控制型文本转图像生成和编辑模型

BLIP-Diffusion 是一个支持多模态控制的主题驱动图像生成模型。它通过接受主题图像和文本提示作为输入，生成基于文本提示的主题图像。与现有模型相比，BLIP-Diffusion 提供了零 - shot 主题驱动生成和高效的定制主题微调。它还可以与其他技术（如 ControlNet 和 prompt-to-prompt）灵活结合，实现新颖的主题驱动生成和编辑应用。

先进的多模态模型，支持图像和文本理解。

Phi-3.5-vision是微软开发的轻量级、最新一代的多模态模型，基于包括合成数据和经过筛选的公开可用网站在内的数据集构建，专注于文本和视觉的高质量、密集推理数据。该模型属于Phi-3模型家族，经过严格的增强过程，结合了监督微调和直接偏好优化，以确保精确的指令遵循和强大的安全措施。

强大的多模态LLM，商业解决方案

Reka Core是一个GPT-4级别的多模态大型语言模型（LLM），具备图像、视频和音频的强大上下文理解能力。它是目前市场上仅有的两个商用综合多模态解决方案之一。Core在多模态理解、推理能力、编码和Agent工作流程、多语言支持以及部署灵活性方面表现出色。

先进文本生成图像模型

Stable Diffusion 3是由Stability AI开发的最新文本生成图像模型，具有显著进步的图像保真度、多主体处理和文本匹配能力。利用多模态扩散变换器（MMDiT）架构，提供单独的图像和语言表示，支持API、下载和在线平台访问，适用于各种应用场景。

前沿级多模态AI模型，提供图像和文本理解

Pixtral Large是Mistral AI推出的一款前沿级多模态AI模型，基于Mistral Large 2构建，具备领先的图像理解能力，能够理解文档、图表和自然图像，同时保持Mistral Large 2在文本理解方面的领先地位。该模型在多模态基准测试中表现优异，特别是在MathVista、ChartQA和DocVQA等测试中超越了其他模型。Pixtral Large在MM-MT-Bench测试中也展现了竞争力，超越了包括Claude-3.5 Sonnet在内的多个模型。该模型适用于研究和教育用途的Mistral Research License (MRL)，以及适用于商业用途的Mistral Commercial License。

多模态理解和生成的统一模型

Janus是一个创新的自回归框架，它通过分离视觉编码来实现多模态理解和生成的统一。这种解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus超越了以往的统一模型，并与特定任务的模型性能相匹配或超越。Janus的简单性、高灵活性和有效性使其成为下一代统一多模态模型的强有力候选者。

控制文本到图像生成过程

FreeControl是一个无需训练就可以实现对文本到图像生成过程的可控制的方法。它支持对多种条件、架构和检查点的同时控制。FreeControl通过结构指导实现与指导图像的结构对齐,通过外观指导实现使用相同种子的生成图像之间的外观共享。FreeControl包含分析阶段和合成阶段。在分析阶段,FreeControl查询文本到图像模型生成少量种子图像,然后从生成的图像构建线性特征子空间。在合成阶段,FreeControl在子空间中运用指导实现与指导图像的结构对齐,以及使用与不使用控制的生成图像之间的外观对齐。

一个统一的文本到任意模态生成框架

Lumina-T2X是一个先进的文本到任意模态生成框架，它能够将文本描述转换为生动的图像、动态视频、详细的多视图3D图像和合成语音。该框架采用基于流的大型扩散变换器（Flag-DiT），支持高达7亿参数，并能扩展序列长度至128,000个标记。Lumina-T2X集成了图像、视频、3D对象的多视图和语音频谱图到一个时空潜在标记空间中，可以生成任何分辨率、宽高比和时长的输出。

提供一种新颖的视频到视频编辑框架，无需训练即可使用

AnyV2V是一个创新的视频到视频编辑框架，允许用户使用任何现成的图像编辑工具编辑视频的第一帧，然后使用现有的图像到视频生成模型进行图像到视频的重建。这种方法使得各种编辑任务变得简单，包括基于提示的编辑、样式转换、主题驱动的编辑和身份操纵。

开源文本到图像生成模型

AuraFlow v0.3是一个完全开源的基于流的文本到图像生成模型。与之前的版本AuraFlow-v0.2相比，该模型经过了更多的计算训练，并在美学数据集上进行了微调，支持各种宽高比，宽度和高度可达1536像素。该模型在GenEval上取得了最先进的结果，目前处于beta测试阶段，正在不断改进中，社区反馈非常重要。

基于孪生多模态扩散变换器的创意布局到图像生成技术

CreatiLayout是一种创新的布局到图像生成技术，利用孪生多模态扩散变换器（Siamese Multimodal Diffusion Transformer）来实现高质量和细粒度可控的图像生成。该技术能够精确渲染复杂的属性，如颜色、纹理、形状、数量和文本，适用于需要精确布局和图像生成的应用场景。其主要优点包括高效的布局引导集成、强大的图像生成能力和大规模数据集的支持。CreatiLayout由复旦大学和字节跳动公司联合开发，旨在推动图像生成技术在创意设计领域的应用。

多模态智能框架，识别页面任务并执行动作。

NavAIGuide是一个可扩展的多模态智能框架，通过访问移动和桌面生态系统中的应用程序，实现计划和用户查询。具有视觉任务检测、高级代码选择器、面向动作的执行和鲁棒的错误处理等功能。定位于为用户提供高效的自动化解决方案。

Falcon 2 是一款开源、多语言、多模态的模型，具备图像到文本转换能力。

Falcon 2 是一款具有创新功能的生成式 AI 模型，为我们创造了一种充满可能性的未来路径，只有想象力才是限制。Falcon 2 采用开源许可证，具备多语言和多模态的能力，其中独特的图像到文本转换功能标志着 AI 创新的重大进展。

统一的多模态生成模型

Unified-IO 2是一个统一的多模态生成模型,能够理解和生成图像、文本、音频和动作。它使用单个编码器-解码器Transformer模型,将不同模式(图像、文本、音频、动作等)的输入和输出都表示为一个共享的语义空间进行处理。该模型从头开始在大规模的多模态预训练语料上进行训练,使用了多模态的去噪目标进行优化。为了学会广泛的技能,该模型还在120个现有数据集上进行微调,这些数据集包含提示和数据增强。Unified-IO 2在GRIT基准测试中达到了最先进的性能,在30多个基准测试中都取得了强劲的结果,包括图像生成和理解、文本理解、视频和音频理解以及机器人操作。