产品库

高效能的文本到图像生成模型

Stable Diffusion 3.5 Large Turbo 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，采用了对抗性扩散蒸馏（ADD）技术，提高了图像质量、排版、复杂提示理解和资源效率，特别注重减少推理步骤。该模型在生成图像方面表现出色，能够理解和生成复杂的文本提示，适用于多种图像生成场景。它在Hugging Face平台上发布，遵循Stability Community License，适合研究、非商业用途以及年收入少于100万美元的组织或个人免费使用。

高性能的文本到图像生成模型

Stable Diffusion 3.5 Large 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，由 Stability AI 开发。该模型在图像质量、排版、复杂提示理解和资源效率方面都有显著提升。它使用三个固定的预训练文本编码器，并通过 QK 归一化技术提高训练稳定性。此外，该模型在训练数据和策略上使用了包括合成数据和过滤后的公开可用数据。Stable Diffusion 3.5 Large 模型在遵守社区许可协议的前提下，可以免费用于研究、非商业用途，以及年收入少于100万美元的组织或个人的商业用途。

基于稳定扩散生成高质量动漫风格图像的文本到图像模型

Animagine XL 3.1 是一款能够基于文本提示生成高质量动漫风格图像的文本到图像生成模型。它建立在稳定扩散 XL 的基础之上,专门针对动漫风格进行了优化。该模型具有更广泛的动漫角色知识、优化过的数据集和新的美学标签,从而提高了生成图像的质量和准确性。它旨在为动漫爱好者、艺术家和内容创作者提供有价值的资源。

OFT可有效稳定微调文本到图像扩散模型

Controlling Text-to-Image Diffusion研究了如何有效引导或控制强大的文本到图像生成模型进行各种下游任务。提出了正交微调(OFT)方法,可以保持模型的生成能力。OFT可以保持神经元之间的超球面能量不变,防止模型坍塌。作者考虑了两种重要的微调任务:主体驱动生成和可控生成。结果表明,OFT方法在生成质量和收敛速度上优于现有方法。

基于级联扩散的文本到图像生成系统

CogView3是一个基于级联扩散的文本到图像生成系统，使用中继扩散框架。该系统通过将高分辨率图像生成过程分解为多个阶段，并通过中继超分辨率过程，在低分辨率生成结果上添加高斯噪声，从而开始从这些带噪声的图像进行扩散过程。CogView3在生成图像方面超越了SDXL，具有更快的生成速度和更高的图像质量。

开源文本到图像生成模型

AuraFlow v0.3是一个完全开源的基于流的文本到图像生成模型。与之前的版本AuraFlow-v0.2相比，该模型经过了更多的计算训练，并在美学数据集上进行了微调，支持各种宽高比，宽度和高度可达1536像素。该模型在GenEval上取得了最先进的结果，目前处于beta测试阶段，正在不断改进中，社区反馈非常重要。

基于文本提示修订图像的大型扩散模型

SeedEdit是Doubao Team推出的大型扩散模型，用于根据任何文本提示修订图像。它通过逐步将图像生成器与强大的图像编辑器对齐，实现了图像重建和图像再生之间的最佳平衡。SeedEdit能够实现高审美/分辨率图像的零样本稳定编辑，并支持图像的连续修订。该技术的重要性在于其能够解决图像编辑问题中成对图像数据稀缺的核心难题，通过将文本到图像(T2I)生成模型视为弱编辑模型，并通过生成带有新提示的新图像来实现“编辑”，然后将其蒸馏并与之对齐到图像条件编辑模型中。

文本到图像扩散模型的美学质量提升工具

VMix是一种用于提升文本到图像扩散模型美学质量的技术，通过创新的条件控制方法——价值混合交叉注意力，系统性地增强图像的美学表现。VMix作为一个即插即用的美学适配器，能够在保持视觉概念通用性的同时提升生成图像的质量。VMix的关键洞见是通过设计一种优越的条件控制方法来增强现有扩散模型的美学表现，同时保持图像与文本的对齐。VMix足够灵活，可以应用于社区模型，以实现更好的视觉性能，无需重新训练。

控制文本到图像生成过程

FreeControl是一个无需训练就可以实现对文本到图像生成过程的可控制的方法。它支持对多种条件、架构和检查点的同时控制。FreeControl通过结构指导实现与指导图像的结构对齐,通过外观指导实现使用相同种子的生成图像之间的外观共享。FreeControl包含分析阶段和合成阶段。在分析阶段,FreeControl查询文本到图像模型生成少量种子图像,然后从生成的图像构建线性特征子空间。在合成阶段,FreeControl在子空间中运用指导实现与指导图像的结构对齐,以及使用与不使用控制的生成图像之间的外观对齐。

开源的基于流的文本到图像生成模型

AuraFlow v0.1是一个完全开源的、基于流的文本到图像生成模型，它在GenEval上达到了最先进的结果。目前模型处于beta阶段，正在不断改进中，社区反馈至关重要。感谢两位工程师@cloneofsimo和@isidentical将此项目变为现实，以及为该项目奠定基础的研究人员。

基于潜在扩散模型的大规模文本到图像生成模型

Kolors是由快手Kolors团队开发的大规模文本到图像生成模型，基于潜在扩散模型，训练于数十亿文本-图像对。它在视觉质量、复杂语义准确性以及中英文文本渲染方面，均优于开源和闭源模型。Kolors支持中英文输入，尤其在理解及生成中文特定内容方面表现突出。

一种用于文本到图像扩散模型的概念擦除技术

RECE是一种文本到图像扩散模型的概念擦除技术，它通过在模型训练过程中引入正则化项来实现对特定概念的可靠和高效擦除。这项技术对于提高图像生成模型的安全性和控制性具有重要意义，特别是在需要避免生成不适当内容的场景中。RECE技术的主要优点包括高效率、高可靠性和易于集成到现有模型中。

文本到图像生成模型，支持高分辨率图像生成

由清华大学团队开发的文本到图像生成模型，开源，在图像生成领域有广泛应用前景，有高分辨率输出等优点。

基于ControlNet的文本到图像生成模型

flux-controlnet-canny是由XLabs AI团队开发的基于FLUX.1-dev模型的ControlNet Canny模型，用于文本到图像的生成。该模型通过训练，能够根据文本提示生成高质量的图像，广泛应用于创意设计和视觉艺术领域。

开源的文本到图像生成模型

OpenFLUX.1是一个基于FLUX.1-schnell模型的微调版本，移除了蒸馏过程，使其可以进行微调，并且拥有开源、宽松的许可证Apache 2.0。该模型能够生成令人惊叹的图像，并且只需1-4步即可完成。它是一个尝试去除蒸馏过程，创建一个可以微调的开源许可模型。

12亿参数的文本到图像生成模型

FLUX.1-dev是一个拥有12亿参数的修正流变换器，能够根据文本描述生成图像。它代表了文本到图像生成技术的最新发展，具有先进的输出质量，仅次于其专业版模型FLUX.1 [pro]。该模型通过指导蒸馏训练，提高了效率，并且开放权重以推动新的科学研究，并赋予艺术家开发创新工作流程的能力。生成的输出可以用于个人、科学和商业目的，具体如flux-1-dev-non-commercial-license所述。

新一代文本到图像生成AI模型

Stable Diffusion 3是stability公司推出的新一代文本到图像生成AI模型,相比早期版本在多主体提示、图像质量和拼写能力等方面都有了极大提升。该模型采用了diffusion transformer架构和flow matching技术,参数量范围从800M到8B不等,提供了从个人用户到企业客户多种部署方案。主要功能包括:高质量图片生成、支持多主体、拼写错误纠正等。典型应用场景有:数字艺术创作、图片编辑、游戏和电影制作等。相比早期版本,该AI助手具有更强大的理解和创作能力,是新一代安全、开放、普惠的生成式AI典范。

基于Transformer的通用领域文本到图像生成

CogView是一个用于通用领域文本到图像生成的预训练Transformer模型。该模型包含410亿参数,能够生成高质量、多样化的图像。模型的训练思路采用抽象到具体的方式,先 pretrain 获得通用知识,然后 finetune 在特定域生成图像,能显著提升生成质量。值得一提的是,论文还提出了两种帮助大模型稳定训练的技巧:PB-relax 和 Sandwich-LN。

多功能文本到图像扩散模型，生成高质量非真实感图像。

Pony Diffusion V6 XL是一个文本到图像的扩散模型，专门设计用于生成以小马为主题的高质量艺术作品。它在大约80,000张小马图像的数据集上进行了微调，确保生成的图像既相关又美观。该模型采用用户友好的界面，易于使用，并通过CLIP进行美学排名，以提升图像质量。Pony Diffusion在CreativeML OpenRAIL许可证下提供，允许用户自由使用、再分发和修改模型。

基于文本生成图像的多模态扩散变换器模型

Stable Diffusion 3.5 Medium是一个基于文本到图像的生成模型，由Stability AI开发，具有改进的图像质量、排版、复杂提示理解和资源效率。该模型使用了三个固定的预训练文本编码器，通过QK-规范化提高训练稳定性，并在前12个变换层中引入双注意力块。它在多分辨率图像生成、一致性和各种文本到图像任务的适应性方面表现出色。

一种先进的文本到图像的生成模型。

FLUX.1-dev-Controlnet-Union-alpha是一个文本到图像的生成模型，属于Diffusers系列，使用ControlNet技术进行控制。目前发布的是alpha版本，尚未完全训练完成，但已经展示了其代码的有效性。该模型旨在通过开源社区的快速成长，推动Flux生态系统的发展。尽管完全训练的Union模型可能在特定领域如姿势控制上不如专业模型，但随着训练的进展，其性能将不断提升。

4K文本到图像生成的扩散变换器

PixArt-Sigma是一个基于PyTorch的模型定义、预训练权重和推理/采样代码的集合，用于探索4K文本到图像生成的弱到强训练扩散变换器。它支持从低分辨率到高分辨率的图像生成，提供了多种功能和优势，如快速体验、用户友好的代码库和多种模型选择。

生成高质量逼真图像的文本到图像技术

Imagen 2 是我们最先进的文本到图像扩散技术，可生成与用户提示密切对齐且一致的高质量逼真图像。它通过使用训练数据的自然分布生成更加逼真的图像，而不是采用预先编程的风格。Imagen 2 强大的文本到图像技术通过 Google Cloud Vertex AI 的 Imagen API 为开发者和云客户提供支持。Google Arts and Culture 团队还在其文化标志实验中部署了我们的 Imagen 2 技术，使用户可以通过 Google AI 探索、学习和测试其文化知识。

自适应条件选择，提升文本到图像生成控制力

DynamicControl是一个用于提升文本到图像扩散模型控制力的框架。它通过动态组合多样的控制信号，支持自适应选择不同数量和类型的条件，以更可靠和详细地合成图像。该框架首先使用双循环控制器，利用预训练的条件生成模型和判别模型，为所有输入条件生成初始真实分数排序。然后，通过多模态大型语言模型（MLLM）构建高效条件评估器，优化条件排序。DynamicControl联合优化MLLM和扩散模型，利用MLLM的推理能力促进多条件文本到图像任务，最终排序的条件输入到并行多控制适配器，学习动态视觉条件的特征图并整合它们以调节ControlNet，增强对生成图像的控制。

文本图像到视频生成模型

Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。

基于Diffusion的文本到图像生成模型，专注于时尚模特摄影风格图像生成

Fashion-Hut-Modeling-LoRA是一个基于Diffusion技术的文本到图像生成模型，主要用于生成时尚模特的高质量图像。该模型通过特定的训练参数和数据集，能够根据文本提示生成具有特定风格和细节的时尚摄影图像。它在时尚设计、广告制作等领域具有重要应用价值，能够帮助设计师和广告商快速生成创意概念图。模型目前仍在训练阶段，可能存在一些生成效果不佳的情况，但已经展示了强大的潜力。该模型的训练数据集包含14张高分辨率图像，使用了AdamW优化器和constant学习率调度器等参数，训练过程注重图像的细节和质量。

先进的文本到图像生成系统

Stable Diffusion 3是一款先进的文本到图像生成系统，它在排版和提示遵循方面与DALL-E 3和Midjourney v6等顶尖系统相匹敌或更优。该系统采用新的多模态扩散变换器(MMDiT)架构，使用不同的权重集来改善图像和语言的表示，从而提高文本理解和拼写能力。Stable Diffusion 3 API现已在Stability AI开发者平台上线，与Fireworks AI合作提供快速可靠的API服务，并承诺在不久的将来通过Stability AI会员资格开放模型权重以供自托管。

基于LLM的文本到图像生成系统

DiffusionGPT是一种基于大型语言模型（LLM）的文本到图像生成系统。它利用扩散模型构建了针对各种生成模型的领域特定树，从而能够无缝地适应各种类型的提示并集成领域专家模型。此外，DiffusionGPT引入了优势数据库，其中的思维树得到了人类反馈的丰富，使模型选择过程与人类偏好保持一致。通过广泛的实验和比较，我们展示了DiffusionGPT的有效性，展示了它在不同领域推动图像合成边界的潜力。

连接不同语言模型和生成视觉模型进行文本到图像生成

LaVi-Bridge是一种针对文本到图像扩散模型设计的桥接模型,能够连接各种预训练的语言模型和生成视觉模型。它通过利用LoRA和适配器,提供了一种灵活的插拔式方法,无需修改原始语言和视觉模型的权重。该模型与各种语言模型和生成视觉模型兼容,可容纳不同的结构。在这一框架内,我们证明了通过整合更高级的模块(如更先进的语言模型或生成视觉模型)可以明显提高文本对齐或图像质量等能力。该模型经过大量评估,证实了其有效性。