产品库

升级扩散模型插件通用兼容性

X-Adapter是一个通用升级工具，可以使预训练的插件模块（例如ControlNet、LoRA）直接与升级的文本到图像扩散模型（例如SD-XL）配合使用，无需进一步重新训练。通过训练额外的网络来控制冻结的升级模型，X-Adapter保留旧模型的连接器，并添加可训练的映射层以连接不同版本模型的解码器进行特征重映射。重映射的特征将作为升级模型的引导。为了增强X-Adapter的引导能力，我们采用空文本训练策略。在训练后，我们还引入了两阶段去噪策略，以调整X-Adapter和升级模型的初始潜变量。X-Adapter展示了与各种插件的通用兼容性，并使不同版本的插件能够共同工作，从而扩展了扩散社区的功能。我们进行了大量实验证明，X-Adapter可能在升级的基础扩散模型中有更广泛的应用。

开源文本到图像生成模型

AuraFlow v0.3是一个完全开源的基于流的文本到图像生成模型。与之前的版本AuraFlow-v0.2相比，该模型经过了更多的计算训练，并在美学数据集上进行了微调，支持各种宽高比，宽度和高度可达1536像素。该模型在GenEval上取得了最先进的结果，目前处于beta测试阶段，正在不断改进中，社区反馈非常重要。

高性能的文本到图像生成模型

Stable Diffusion 3.5 Large 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，由 Stability AI 开发。该模型在图像质量、排版、复杂提示理解和资源效率方面都有显著提升。它使用三个固定的预训练文本编码器，并通过 QK 归一化技术提高训练稳定性。此外，该模型在训练数据和策略上使用了包括合成数据和过滤后的公开可用数据。Stable Diffusion 3.5 Large 模型在遵守社区许可协议的前提下，可以免费用于研究、非商业用途，以及年收入少于100万美元的组织或个人的商业用途。

开源的基于流的文本到图像生成模型

AuraFlow v0.1是一个完全开源的、基于流的文本到图像生成模型，它在GenEval上达到了最先进的结果。目前模型处于beta阶段，正在不断改进中，社区反馈至关重要。感谢两位工程师@cloneofsimo和@isidentical将此项目变为现实，以及为该项目奠定基础的研究人员。

OFT可有效稳定微调文本到图像扩散模型

Controlling Text-to-Image Diffusion研究了如何有效引导或控制强大的文本到图像生成模型进行各种下游任务。提出了正交微调(OFT)方法,可以保持模型的生成能力。OFT可以保持神经元之间的超球面能量不变,防止模型坍塌。作者考虑了两种重要的微调任务:主体驱动生成和可控生成。结果表明,OFT方法在生成质量和收敛速度上优于现有方法。

高效能的文本到图像生成模型

Stable Diffusion 3.5 Large Turbo 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，采用了对抗性扩散蒸馏（ADD）技术，提高了图像质量、排版、复杂提示理解和资源效率，特别注重减少推理步骤。该模型在生成图像方面表现出色，能够理解和生成复杂的文本提示，适用于多种图像生成场景。它在Hugging Face平台上发布，遵循Stability Community License，适合研究、非商业用途以及年收入少于100万美元的组织或个人免费使用。

开源的文本到图像生成模型

OpenFLUX.1是一个基于FLUX.1-schnell模型的微调版本，移除了蒸馏过程，使其可以进行微调，并且拥有开源、宽松的许可证Apache 2.0。该模型能够生成令人惊叹的图像，并且只需1-4步即可完成。它是一个尝试去除蒸馏过程，创建一个可以微调的开源许可模型。

新一代文本到图像生成AI模型

Stable Diffusion 3是stability公司推出的新一代文本到图像生成AI模型,相比早期版本在多主体提示、图像质量和拼写能力等方面都有了极大提升。该模型采用了diffusion transformer架构和flow matching技术,参数量范围从800M到8B不等,提供了从个人用户到企业客户多种部署方案。主要功能包括:高质量图片生成、支持多主体、拼写错误纠正等。典型应用场景有:数字艺术创作、图片编辑、游戏和电影制作等。相比早期版本,该AI助手具有更强大的理解和创作能力,是新一代安全、开放、普惠的生成式AI典范。

文本图像到视频生成模型

Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。

高度写实的文本到图像模型

Deep floyd是一个开源的文本到图像模型，具有高度的写实性和语言理解能力。它由一个冻结的文本编码器和三个级联的像素扩散模块组成：一个基础模型用于根据文本提示生成 64x64 像素的图像，以及两个超分辨率模型，分别用于生成分辨率逐渐增加的图像：256x256 像素和 1024x1024 像素。模型的所有阶段都利用基于 T5 transformer 的冻结文本编码器来提取文本嵌入，然后将其输入到一个增强了交叉注意力和注意力池化的 UNet 架构中。这个高效的模型在性能上超过了当前的最先进模型，在 COCO 数据集上实现了零样本 FID 得分为 6.66。我们的工作强调了级联扩散模型的第一阶段中更大的 UNet 架构的潜力，并展示了文本到图像合成的一个有前途的未来。

控制文本到图像生成过程

FreeControl是一个无需训练就可以实现对文本到图像生成过程的可控制的方法。它支持对多种条件、架构和检查点的同时控制。FreeControl通过结构指导实现与指导图像的结构对齐,通过外观指导实现使用相同种子的生成图像之间的外观共享。FreeControl包含分析阶段和合成阶段。在分析阶段,FreeControl查询文本到图像模型生成少量种子图像,然后从生成的图像构建线性特征子空间。在合成阶段,FreeControl在子空间中运用指导实现与指导图像的结构对齐,以及使用与不使用控制的生成图像之间的外观对齐。

基于Transformer的通用领域文本到图像生成

CogView是一个用于通用领域文本到图像生成的预训练Transformer模型。该模型包含410亿参数,能够生成高质量、多样化的图像。模型的训练思路采用抽象到具体的方式,先 pretrain 获得通用知识,然后 finetune 在特定域生成图像,能显著提升生成质量。值得一提的是,论文还提出了两种帮助大模型稳定训练的技巧:PB-relax 和 Sandwich-LN。

12亿参数的文本到图像生成模型

FLUX.1-dev是一个拥有12亿参数的修正流变换器，能够根据文本描述生成图像。它代表了文本到图像生成技术的最新发展，具有先进的输出质量，仅次于其专业版模型FLUX.1 [pro]。该模型通过指导蒸馏训练，提高了效率，并且开放权重以推动新的科学研究，并赋予艺术家开发创新工作流程的能力。生成的输出可以用于个人、科学和商业目的，具体如flux-1-dev-non-commercial-license所述。

基于LLM的文本到图像生成系统

DiffusionGPT是一种基于大型语言模型（LLM）的文本到图像生成系统。它利用扩散模型构建了针对各种生成模型的领域特定树，从而能够无缝地适应各种类型的提示并集成领域专家模型。此外，DiffusionGPT引入了优势数据库，其中的思维树得到了人类反馈的丰富，使模型选择过程与人类偏好保持一致。通过广泛的实验和比较，我们展示了DiffusionGPT的有效性，展示了它在不同领域推动图像合成边界的潜力。

AI文本到图像生成工具

NeutronField是一款AI文本到图像生成工具，通过输入文字描述，即可生成对应的图像。它具有稳定的扩散算法，能够生成高质量的图像作品。NeutronField的主要功能包括根据文本生成图像、展示AI文本到图像的作品、购买和出售AI文本到图像的作品等。它的优势在于能够快速生成多样化的图像作品，满足用户的个性化需求。NeutronField的定价根据作品的复杂程度和独特性而定，用户可以根据自己的需求选择合适的作品进行购买。NeutronField定位于为用户提供便捷、高效的AI文本到图像生成服务。

快速个性化文本到图像模型

HyperDreamBooth是由Google Research开发的一种超网络，用于快速个性化文本到图像模型。它通过从单张人脸图像生成一组小型的个性化权重，结合快速微调，能够在多种上下文和风格中生成具有高主题细节的人脸图像，同时保持模型对多样化风格和语义修改的关键知识。

基于ControlNet的文本到图像生成模型

flux-controlnet-canny是由XLabs AI团队开发的基于FLUX.1-dev模型的ControlNet Canny模型，用于文本到图像的生成。该模型通过训练，能够根据文本提示生成高质量的图像，广泛应用于创意设计和视觉艺术领域。

连接不同语言模型和生成视觉模型进行文本到图像生成

LaVi-Bridge是一种针对文本到图像扩散模型设计的桥接模型,能够连接各种预训练的语言模型和生成视觉模型。它通过利用LoRA和适配器,提供了一种灵活的插拔式方法,无需修改原始语言和视觉模型的权重。该模型与各种语言模型和生成视觉模型兼容,可容纳不同的结构。在这一框架内,我们证明了通过整合更高级的模块(如更先进的语言模型或生成视觉模型)可以明显提高文本对齐或图像质量等能力。该模型经过大量评估,证实了其有效性。

文本到图像生成模型，支持高分辨率图像生成

由清华大学团队开发的文本到图像生成模型，开源，在图像生成领域有广泛应用前景，有高分辨率输出等优点。

文本到图像扩散模型的美学质量提升工具

VMix是一种用于提升文本到图像扩散模型美学质量的技术，通过创新的条件控制方法——价值混合交叉注意力，系统性地增强图像的美学表现。VMix作为一个即插即用的美学适配器，能够在保持视觉概念通用性的同时提升生成图像的质量。VMix的关键洞见是通过设计一种优越的条件控制方法来增强现有扩散模型的美学表现，同时保持图像与文本的对齐。VMix足够灵活，可以应用于社区模型，以实现更好的视觉性能，无需重新训练。

AI模型测试与文本到图像提示集合平台

Prompt Llama是一个专注于文本到图像生成的AI模型测试平台，它允许用户收集高质量的文本提示，并测试不同模型在同一提示下的表现。该平台支持多种AI模型，包括但不限于midjourney、DALL·E 3、Firefly等，是AI图像生成领域研究者和爱好者的宝贵资源。

一种先进的文本到图像的生成模型。

FLUX.1-dev-Controlnet-Union-alpha是一个文本到图像的生成模型，属于Diffusers系列，使用ControlNet技术进行控制。目前发布的是alpha版本，尚未完全训练完成，但已经展示了其代码的有效性。该模型旨在通过开源社区的快速成长，推动Flux生态系统的发展。尽管完全训练的Union模型可能在特定领域如姿势控制上不如专业模型，但随着训练的进展，其性能将不断提升。

一种用于文本到图像扩散模型的概念擦除技术

RECE是一种文本到图像扩散模型的概念擦除技术，它通过在模型训练过程中引入正则化项来实现对特定概念的可靠和高效擦除。这项技术对于提高图像生成模型的安全性和控制性具有重要意义，特别是在需要避免生成不适当内容的场景中。RECE技术的主要优点包括高效率、高可靠性和易于集成到现有模型中。

高效能的文本到图像生成模型

SDXL Flash是由SD社区与Project Fluently合作推出的文本到图像生成模型。它在保持生成图像质量的同时，提供了比LCM、Turbo、Lightning和Hyper更快的处理速度。该模型基于Stable Diffusion XL技术，通过优化步骤和CFG（Guidance）参数，实现了图像生成的高效率和高质量。

文本到图像模型的个性化定制

内容创作者经常希望使用个人主题创建个性化图片，超越传统的文本到图像模型的能力。此外，他们可能希望生成的图片包含特定的位置、风格、氛围等。现有的个性化方法可能会在个性化能力和与复杂文本提示的对齐之间做出妥协。这种权衡可能会阻碍用户提示和主题的忠实性。我们提出了一种新的方法，专注于单个提示的个性化方法，以解决这个问题。我们将这种方法称为提示对齐个性化。尽管这种方法可能看起来有限，但我们的方法在改进文本对齐方面表现出色，可以创建具有复杂和复杂提示的图像，这对于当前技术来说可能是一个挑战。具体而言，我们的方法使用额外的得分蒸馏采样项，使个性化模型与目标提示保持对齐。我们在多次拍摄和单次拍摄设置中展示了我们方法的多功能性，并进一步展示了它可以组合多个主题或从艺术作品等参考图像中获取灵感。我们定量和定性地与现有基线和最先进的技术进行比较。

生成高质量逼真图像的文本到图像技术

Imagen 2 是我们最先进的文本到图像扩散技术，可生成与用户提示密切对齐且一致的高质量逼真图像。它通过使用训练数据的自然分布生成更加逼真的图像，而不是采用预先编程的风格。Imagen 2 强大的文本到图像技术通过 Google Cloud Vertex AI 的 Imagen API 为开发者和云客户提供支持。Google Arts and Culture 团队还在其文化标志实验中部署了我们的 Imagen 2 技术，使用户可以通过 Google AI 探索、学习和测试其文化知识。

先进的文本到图像模型工具套件

FLUX.1 Tools是Black Forest Labs推出的一套模型工具，旨在为基于文本的图像生成模型FLUX.1增加控制和可操作性，使得对真实和生成的图像进行修改和再创造成为可能。该工具套件包含四个不同的特性，以开放访问模型的形式在FLUX.1 [dev]模型系列中提供，并作为BFL API的补充，支持FLUX.1 [pro]。FLUX.1 Tools的主要优点包括先进的图像修复和扩展能力、结构化引导、图像变化和重构等，这些功能对于图像编辑和创作领域具有重要意义。

基于潜在扩散模型的大规模文本到图像生成模型

Kolors是由快手Kolors团队开发的大规模文本到图像生成模型，基于潜在扩散模型，训练于数十亿文本-图像对。它在视觉质量、复杂语义准确性以及中英文文本渲染方面，均优于开源和闭源模型。Kolors支持中英文输入，尤其在理解及生成中文特定内容方面表现突出。

文本到图像生成中风格保留的 InstantStyle。

InstantStyle 是一个通用框架，利用两种简单但强大的技术，实现对参考图像中风格和内容的有效分离。其原则包括将内容从图像中分离出来、仅注入到风格块中，并提供样式风格的合成和图像生成等功能。InstantStyle 可以帮助用户在文本到图像生成过程中保持风格，为用户提供更好的生成体验。