产品库

OFT可有效稳定微调文本到图像扩散模型

Controlling Text-to-Image Diffusion研究了如何有效引导或控制强大的文本到图像生成模型进行各种下游任务。提出了正交微调(OFT)方法,可以保持模型的生成能力。OFT可以保持神经元之间的超球面能量不变,防止模型坍塌。作者考虑了两种重要的微调任务:主体驱动生成和可控生成。结果表明,OFT方法在生成质量和收敛速度上优于现有方法。

开源文本到图像生成模型

AuraFlow v0.3是一个完全开源的基于流的文本到图像生成模型。与之前的版本AuraFlow-v0.2相比，该模型经过了更多的计算训练，并在美学数据集上进行了微调，支持各种宽高比，宽度和高度可达1536像素。该模型在GenEval上取得了最先进的结果，目前处于beta测试阶段，正在不断改进中，社区反馈非常重要。

开源的基于流的文本到图像生成模型

AuraFlow v0.1是一个完全开源的、基于流的文本到图像生成模型，它在GenEval上达到了最先进的结果。目前模型处于beta阶段，正在不断改进中，社区反馈至关重要。感谢两位工程师@cloneofsimo和@isidentical将此项目变为现实，以及为该项目奠定基础的研究人员。

高效能的文本到图像生成模型

Stable Diffusion 3.5 Large Turbo 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，采用了对抗性扩散蒸馏（ADD）技术，提高了图像质量、排版、复杂提示理解和资源效率，特别注重减少推理步骤。该模型在生成图像方面表现出色，能够理解和生成复杂的文本提示，适用于多种图像生成场景。它在Hugging Face平台上发布，遵循Stability Community License，适合研究、非商业用途以及年收入少于100万美元的组织或个人免费使用。

控制文本到图像生成过程

FreeControl是一个无需训练就可以实现对文本到图像生成过程的可控制的方法。它支持对多种条件、架构和检查点的同时控制。FreeControl通过结构指导实现与指导图像的结构对齐,通过外观指导实现使用相同种子的生成图像之间的外观共享。FreeControl包含分析阶段和合成阶段。在分析阶段,FreeControl查询文本到图像模型生成少量种子图像,然后从生成的图像构建线性特征子空间。在合成阶段,FreeControl在子空间中运用指导实现与指导图像的结构对齐,以及使用与不使用控制的生成图像之间的外观对齐。

高性能的文本到图像生成模型

Stable Diffusion 3.5 Large 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，由 Stability AI 开发。该模型在图像质量、排版、复杂提示理解和资源效率方面都有显著提升。它使用三个固定的预训练文本编码器，并通过 QK 归一化技术提高训练稳定性。此外，该模型在训练数据和策略上使用了包括合成数据和过滤后的公开可用数据。Stable Diffusion 3.5 Large 模型在遵守社区许可协议的前提下，可以免费用于研究、非商业用途，以及年收入少于100万美元的组织或个人的商业用途。

高度写实的文本到图像模型

Deep floyd是一个开源的文本到图像模型，具有高度的写实性和语言理解能力。它由一个冻结的文本编码器和三个级联的像素扩散模块组成：一个基础模型用于根据文本提示生成 64x64 像素的图像，以及两个超分辨率模型，分别用于生成分辨率逐渐增加的图像：256x256 像素和 1024x1024 像素。模型的所有阶段都利用基于 T5 transformer 的冻结文本编码器来提取文本嵌入，然后将其输入到一个增强了交叉注意力和注意力池化的 UNet 架构中。这个高效的模型在性能上超过了当前的最先进模型，在 COCO 数据集上实现了零样本 FID 得分为 6.66。我们的工作强调了级联扩散模型的第一阶段中更大的 UNet 架构的潜力，并展示了文本到图像合成的一个有前途的未来。

提高文本到图像合成质量的一致性蒸馏技术

TCD是一种用于文本到图像合成的一致性蒸馏技术，它通过轨迹一致性函数（TCF）和策略性随机采样（SSS）来减少合成过程中的错误。TCD在低NFE（噪声自由能量）时显著提高图像质量，并在高NFE时保持比教师模型更详细的结果。TCD不需要额外的判别器或LPIPS监督，即可在低NFE和高NFE时均保持优越的生成质量。

文本到图像生成模型，支持高分辨率图像生成

由清华大学团队开发的文本到图像生成模型，开源，在图像生成领域有广泛应用前景，有高分辨率输出等优点。

12亿参数的文本到图像生成模型

FLUX.1-dev是一个拥有12亿参数的修正流变换器，能够根据文本描述生成图像。它代表了文本到图像生成技术的最新发展，具有先进的输出质量，仅次于其专业版模型FLUX.1 [pro]。该模型通过指导蒸馏训练，提高了效率，并且开放权重以推动新的科学研究，并赋予艺术家开发创新工作流程的能力。生成的输出可以用于个人、科学和商业目的，具体如flux-1-dev-non-commercial-license所述。

基于ControlNet的文本到图像生成模型

flux-controlnet-canny是由XLabs AI团队开发的基于FLUX.1-dev模型的ControlNet Canny模型，用于文本到图像的生成。该模型通过训练，能够根据文本提示生成高质量的图像，广泛应用于创意设计和视觉艺术领域。

高分辨率文本到图像合成模型

Meissonic是一个非自回归的掩码图像建模文本到图像合成模型，能够生成高分辨率的图像。它被设计为可以在消费级显卡上运行。这项技术的重要性在于其能够利用现有的硬件资源，为用户带来高质量的图像生成体验，同时保持了较高的运行效率。Meissonic的背景信息包括其在arXiv上发表的论文，以及在Hugging Face上的模型和代码。

开源的文本到图像生成模型

OpenFLUX.1是一个基于FLUX.1-schnell模型的微调版本，移除了蒸馏过程，使其可以进行微调，并且拥有开源、宽松的许可证Apache 2.0。该模型能够生成令人惊叹的图像，并且只需1-4步即可完成。它是一个尝试去除蒸馏过程，创建一个可以微调的开源许可模型。

新一代文本到图像生成AI模型

Stable Diffusion 3是stability公司推出的新一代文本到图像生成AI模型,相比早期版本在多主体提示、图像质量和拼写能力等方面都有了极大提升。该模型采用了diffusion transformer架构和flow matching技术,参数量范围从800M到8B不等,提供了从个人用户到企业客户多种部署方案。主要功能包括:高质量图片生成、支持多主体、拼写错误纠正等。典型应用场景有:数字艺术创作、图片编辑、游戏和电影制作等。相比早期版本,该AI助手具有更强大的理解和创作能力,是新一代安全、开放、普惠的生成式AI典范。

基于Transformer的通用领域文本到图像生成

CogView是一个用于通用领域文本到图像生成的预训练Transformer模型。该模型包含410亿参数,能够生成高质量、多样化的图像。模型的训练思路采用抽象到具体的方式,先 pretrain 获得通用知识,然后 finetune 在特定域生成图像,能显著提升生成质量。值得一提的是,论文还提出了两种帮助大模型稳定训练的技巧:PB-relax 和 Sandwich-LN。

内容风格合成在文本到图像生成中的应用

CSGO是一个基于内容风格合成的文本到图像生成模型，它通过一个数据构建管道生成并自动清洗风格化数据三元组，构建了首个大规模的风格迁移数据集IMAGStyle，包含210k图像三元组。CSGO模型采用端到端训练，明确解耦内容和风格特征，通过独立特征注入实现。它实现了图像驱动的风格迁移、文本驱动的风格合成以及文本编辑驱动的风格合成，具有无需微调即可推理、保持原始文本到图像模型的生成能力、统一风格迁移和风格合成等优点。

生成高质量逼真图像的文本到图像技术

Imagen 2 是我们最先进的文本到图像扩散技术，可生成与用户提示密切对齐且一致的高质量逼真图像。它通过使用训练数据的自然分布生成更加逼真的图像，而不是采用预先编程的风格。Imagen 2 强大的文本到图像技术通过 Google Cloud Vertex AI 的 Imagen API 为开发者和云客户提供支持。Google Arts and Culture 团队还在其文化标志实验中部署了我们的 Imagen 2 技术，使用户可以通过 Google AI 探索、学习和测试其文化知识。

大规模的生成对抗网络用于文本到图像的合成

GigaGAN是一种大规模的GAN模型，用于文本到图像的合成。它具有快速的推理速度、高分辨率图像生成能力和可编辑的潜在空间，支持多种潜在空间编辑应用，如潜在插值、样式混合和向量算术操作。GigaGAN可以生成512像素的图像，每秒钟可以生成多达7.7张图像，支持16兆像素的图像合成。它是一种高效的文本到图像合成模型，可用于多种应用场景。

文本图像到视频生成模型

Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。

一种先进的文本到图像的生成模型。

FLUX.1-dev-Controlnet-Union-alpha是一个文本到图像的生成模型，属于Diffusers系列，使用ControlNet技术进行控制。目前发布的是alpha版本，尚未完全训练完成，但已经展示了其代码的有效性。该模型旨在通过开源社区的快速成长，推动Flux生态系统的发展。尽管完全训练的Union模型可能在特定领域如姿势控制上不如专业模型，但随着训练的进展，其性能将不断提升。

基于LLM的文本到图像生成系统

DiffusionGPT是一种基于大型语言模型（LLM）的文本到图像生成系统。它利用扩散模型构建了针对各种生成模型的领域特定树，从而能够无缝地适应各种类型的提示并集成领域专家模型。此外，DiffusionGPT引入了优势数据库，其中的思维树得到了人类反馈的丰富，使模型选择过程与人类偏好保持一致。通过广泛的实验和比较，我们展示了DiffusionGPT的有效性，展示了它在不同领域推动图像合成边界的潜力。

基于Diffusion的文本到图像生成模型，专注于时尚模特摄影风格图像生成

Fashion-Hut-Modeling-LoRA是一个基于Diffusion技术的文本到图像生成模型，主要用于生成时尚模特的高质量图像。该模型通过特定的训练参数和数据集，能够根据文本提示生成具有特定风格和细节的时尚摄影图像。它在时尚设计、广告制作等领域具有重要应用价值，能够帮助设计师和广告商快速生成创意概念图。模型目前仍在训练阶段，可能存在一些生成效果不佳的情况，但已经展示了强大的潜力。该模型的训练数据集包含14张高分辨率图像，使用了AdamW优化器和constant学习率调度器等参数，训练过程注重图像的细节和质量。

连接不同语言模型和生成视觉模型进行文本到图像生成

LaVi-Bridge是一种针对文本到图像扩散模型设计的桥接模型,能够连接各种预训练的语言模型和生成视觉模型。它通过利用LoRA和适配器,提供了一种灵活的插拔式方法,无需修改原始语言和视觉模型的权重。该模型与各种语言模型和生成视觉模型兼容,可容纳不同的结构。在这一框架内,我们证明了通过整合更高级的模块(如更先进的语言模型或生成视觉模型)可以明显提高文本对齐或图像质量等能力。该模型经过大量评估,证实了其有效性。

自适应条件选择，提升文本到图像生成控制力

DynamicControl是一个用于提升文本到图像扩散模型控制力的框架。它通过动态组合多样的控制信号，支持自适应选择不同数量和类型的条件，以更可靠和详细地合成图像。该框架首先使用双循环控制器，利用预训练的条件生成模型和判别模型，为所有输入条件生成初始真实分数排序。然后，通过多模态大型语言模型（MLLM）构建高效条件评估器，优化条件排序。DynamicControl联合优化MLLM和扩散模型，利用MLLM的推理能力促进多条件文本到图像任务，最终排序的条件输入到并行多控制适配器，学习动态视觉条件的特征图并整合它们以调节ControlNet，增强对生成图像的控制。

先进的文本到图像生成系统

Stable Diffusion 3是一款先进的文本到图像生成系统，它在排版和提示遵循方面与DALL-E 3和Midjourney v6等顶尖系统相匹敌或更优。该系统采用新的多模态扩散变换器(MMDiT)架构，使用不同的权重集来改善图像和语言的表示，从而提高文本理解和拼写能力。Stable Diffusion 3 API现已在Stability AI开发者平台上线，与Fireworks AI合作提供快速可靠的API服务，并承诺在不久的将来通过Stability AI会员资格开放模型权重以供自托管。

朱雀大模型检测，精准识别AI生成图像，助力内容真实性鉴别。

朱雀大模型检测是腾讯推出的一款AI检测工具，主要功能是检测图片是否由AI模型生成。它经过大量自然图片和生成图片的训练，涵盖摄影、艺术、绘画等内容，可检测多类主流文生图模型生成图片。该产品具有高精度检测、快速响应等优点，对于维护内容真实性、打击虚假信息传播具有重要意义。目前暂未明确其具体价格，但从功能来看，主要面向需要进行内容审核、鉴别真伪的机构和个人，如媒体、艺术机构等。

高效能的文本到图像生成模型

SDXL Flash是由SD社区与Project Fluently合作推出的文本到图像生成模型。它在保持生成图像质量的同时，提供了比LCM、Turbo、Lightning和Hyper更快的处理速度。该模型基于Stable Diffusion XL技术，通过优化步骤和CFG（Guidance）参数，实现了图像生成的高效率和高质量。

最新的图像上色算法

DDColor 是最新的图像上色算法，输入一张黑白图像，返回上色处理后的彩色图像，并能够实现自然生动的上色效果。 该模型为黑白图像上色模型，输入一张黑白图像，实现端到端的全图上色，返回上色处理后的彩色图像。 模型期望使用方式和适用范围： 该模型适用于多种格式的图像输入，给定黑白图像，生成上色后的彩色图像；给定彩色图像，将自动提取灰度通道作为输入，生成重上色的图像。