产品库

提高文本到图像合成质量的一致性蒸馏技术

TCD是一种用于文本到图像合成的一致性蒸馏技术，它通过轨迹一致性函数（TCF）和策略性随机采样（SSS）来减少合成过程中的错误。TCD在低NFE（噪声自由能量）时显著提高图像质量，并在高NFE时保持比教师模型更详细的结果。TCD不需要额外的判别器或LPIPS监督，即可在低NFE和高NFE时均保持优越的生成质量。

OFT可有效稳定微调文本到图像扩散模型

Controlling Text-to-Image Diffusion研究了如何有效引导或控制强大的文本到图像生成模型进行各种下游任务。提出了正交微调(OFT)方法,可以保持模型的生成能力。OFT可以保持神经元之间的超球面能量不变,防止模型坍塌。作者考虑了两种重要的微调任务:主体驱动生成和可控生成。结果表明,OFT方法在生成质量和收敛速度上优于现有方法。

自适应条件选择，提升文本到图像生成控制力

DynamicControl是一个用于提升文本到图像扩散模型控制力的框架。它通过动态组合多样的控制信号，支持自适应选择不同数量和类型的条件，以更可靠和详细地合成图像。该框架首先使用双循环控制器，利用预训练的条件生成模型和判别模型，为所有输入条件生成初始真实分数排序。然后，通过多模态大型语言模型（MLLM）构建高效条件评估器，优化条件排序。DynamicControl联合优化MLLM和扩散模型，利用MLLM的推理能力促进多条件文本到图像任务，最终排序的条件输入到并行多控制适配器，学习动态视觉条件的特征图并整合它们以调节ControlNet，增强对生成图像的控制。

高分辨率、高效率的文本到图像生成框架

Sana是一个由NVIDIA开发的文本到图像生成框架，能够高效生成高达4096×4096分辨率的图像。Sana以其快速的速度和强大的文本图像对齐能力，使得在笔记本电脑GPU上也能部署。它是一个基于线性扩散变换器(text-to-image generative model)的模型，拥有1648M参数，专门用于生成1024px基础的多尺度高宽图像。Sana模型的主要优点包括高分辨率图像生成、快速的合成速度以及强大的文本图像对齐能力。Sana模型的背景信息显示，它是基于开源代码开发的，可以在GitHub上找到源代码，同时它也遵循特定的许可证（CC BY-NC-SA 4.0 License）。

高分辨率、多语言支持的文本到图像生成模型

Sana是一个由NVIDIA开发的文本到图像的框架，能够高效生成高达4096×4096分辨率的图像。该模型以惊人的速度合成高分辨率、高质量的图像，并保持强大的文本-图像对齐能力，可部署在笔记本电脑GPU上。Sana模型基于线性扩散变换器，使用预训练的文本编码器和空间压缩的潜在特征编码器，支持Emoji、中文和英文以及混合提示。

高效率的高分辨率图像合成框架

Sana是一个文本到图像的框架，能够高效生成高达4096×4096分辨率的图像。它以极快的速度合成高分辨率、高质量的图像，并保持强大的文本-图像对齐，可以部署在笔记本电脑GPU上。Sana的核心设计包括深度压缩自编码器、线性扩散变换器（DiT）、仅解码器的小型语言模型作为文本编码器，以及高效的训练和采样策略。Sana-0.6B与现代大型扩散模型相比，体积小20倍，测量吞吐量快100倍以上。此外，Sana-0.6B可以部署在16GB笔记本电脑GPU上，生成1024×1024分辨率图像的时间少于1秒。Sana使得低成本的内容创作成为可能。

基于文本生成图像的多模态扩散变换器模型

Stable Diffusion 3.5 Medium是一个基于文本到图像的生成模型，由Stability AI开发，具有改进的图像质量、排版、复杂提示理解和资源效率。该模型使用了三个固定的预训练文本编码器，通过QK-规范化提高训练稳定性，并在前12个变换层中引入双注意力块。它在多分辨率图像生成、一致性和各种文本到图像任务的适应性方面表现出色。

高效能的文本到图像生成模型

Stable Diffusion 3.5 Large Turbo 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，采用了对抗性扩散蒸馏（ADD）技术，提高了图像质量、排版、复杂提示理解和资源效率，特别注重减少推理步骤。该模型在生成图像方面表现出色，能够理解和生成复杂的文本提示，适用于多种图像生成场景。它在Hugging Face平台上发布，遵循Stability Community License，适合研究、非商业用途以及年收入少于100万美元的组织或个人免费使用。

开源的基于流的文本到图像生成模型

AuraFlow v0.1是一个完全开源的、基于流的文本到图像生成模型，它在GenEval上达到了最先进的结果。目前模型处于beta阶段，正在不断改进中，社区反馈至关重要。感谢两位工程师@cloneofsimo和@isidentical将此项目变为现实，以及为该项目奠定基础的研究人员。

一个统一的文本到任意模态生成框架

Lumina-T2X是一个先进的文本到任意模态生成框架，它能够将文本描述转换为生动的图像、动态视频、详细的多视图3D图像和合成语音。该框架采用基于流的大型扩散变换器（Flag-DiT），支持高达7亿参数，并能扩展序列长度至128,000个标记。Lumina-T2X集成了图像、视频、3D对象的多视图和语音频谱图到一个时空潜在标记空间中，可以生成任何分辨率、宽高比和时长的输出。

基于Transformer的通用领域文本到图像生成

CogView是一个用于通用领域文本到图像生成的预训练Transformer模型。该模型包含410亿参数,能够生成高质量、多样化的图像。模型的训练思路采用抽象到具体的方式,先 pretrain 获得通用知识,然后 finetune 在特定域生成图像,能显著提升生成质量。值得一提的是,论文还提出了两种帮助大模型稳定训练的技巧:PB-relax 和 Sandwich-LN。

高度写实的文本到图像模型

Deep floyd是一个开源的文本到图像模型，具有高度的写实性和语言理解能力。它由一个冻结的文本编码器和三个级联的像素扩散模块组成：一个基础模型用于根据文本提示生成 64x64 像素的图像，以及两个超分辨率模型，分别用于生成分辨率逐渐增加的图像：256x256 像素和 1024x1024 像素。模型的所有阶段都利用基于 T5 transformer 的冻结文本编码器来提取文本嵌入，然后将其输入到一个增强了交叉注意力和注意力池化的 UNet 架构中。这个高效的模型在性能上超过了当前的最先进模型，在 COCO 数据集上实现了零样本 FID 得分为 6.66。我们的工作强调了级联扩散模型的第一阶段中更大的 UNet 架构的潜力，并展示了文本到图像合成的一个有前途的未来。

Inductive Moment Matching 是一种新型的生成模型，用于高质量图像生成。

Inductive Moment Matching (IMM) 是一种先进的生成模型技术，主要用于高质量图像生成。该技术通过创新的归纳矩匹配方法，显著提高了生成图像的质量和多样性。其主要优点包括高效性、灵活性以及对复杂数据分布的强大建模能力。IMM 由 Luma AI 和斯坦福大学的研究团队开发，旨在推动生成模型领域的发展，为图像生成、数据增强和创意设计等应用提供强大的技术支持。该项目开源了代码和预训练模型，方便研究人员和开发者快速上手和应用。

通过多实例扩散模型将单张图像生成高保真度的3D场景。

MIDI是一种创新的图像到3D场景生成技术，它利用多实例扩散模型，能够从单张图像中直接生成具有准确空间关系的多个3D实例。该技术的核心在于其多实例注意力机制，能够有效捕捉物体间的交互和空间一致性，无需复杂的多步骤处理。MIDI在图像到场景生成领域表现出色，适用于合成数据、真实场景数据以及由文本到图像扩散模型生成的风格化场景图像。其主要优点包括高效性、高保真度和强大的泛化能力。

通过去噪生成模型进行空间推理，解决复杂分布下的视觉任务。

SRM是一种基于去噪生成模型的空间推理框架，用于处理连续变量集合的推理任务。它通过为每个未观测变量分配独立的噪声水平，逐步推断出这些变量的连续表示。该技术在处理复杂分布时表现出色，能够有效减少生成过程中的幻觉现象。SRM首次证明了去噪网络可以预测生成顺序，从而显著提高了特定推理任务的准确性。该模型由德国马普信息研究所开发，旨在推动空间推理和生成模型的研究。

CogView4-6B 是一个强大的文本到图像生成模型，专注于高质量图像生成。

CogView4-6B 是由清华大学知识工程组开发的文本到图像生成模型。它基于深度学习技术，能够根据用户输入的文本描述生成高质量的图像。该模型在多个基准测试中表现优异，尤其是在中文文本生成图像方面具有显著优势。其主要优点包括高分辨率图像生成、支持多种语言输入以及高效的推理速度。该模型适用于创意设计、图像生成等领域，能够帮助用户快速将文字描述转化为视觉内容。

CogView4 是一个支持中文和英文的高分辨率文本到图像生成模型。

CogView4 是由清华大学开发的先进文本到图像生成模型，基于扩散模型技术，能够根据文本描述生成高质量图像。它支持中文和英文输入，并且可以生成高分辨率图像。CogView4 的主要优点是其强大的多语言支持和高质量的图像生成能力，适合需要高效生成图像的用户。该模型在 ECCV 2024 上展示，具有重要的研究和应用价值。

BioEmu 是一个用于可扩展模拟蛋白质平衡系综的生成式深度学习模型。

BioEmu 是微软开发的一种深度学习模型，用于模拟蛋白质的平衡系综。该技术通过生成式深度学习方法，能够高效地生成蛋白质的结构样本，帮助研究人员更好地理解蛋白质的动态行为和结构多样性。该模型的主要优点在于其可扩展性和高效性，能够处理复杂的生物分子系统。它适用于生物化学、结构生物学和药物设计等领域的研究，为科学家提供了一种强大的工具来探索蛋白质的动态特性。

DiffSplat 是一个从文本提示和单视图图像生成 3D 高斯点云的生成框架。

DiffSplat 是一种创新的 3D 生成技术，能够从文本提示和单视图图像快速生成 3D 高斯点云。该技术通过利用大规模预训练的文本到图像扩散模型，实现了高效的 3D 内容生成。它解决了传统 3D 生成方法中数据集有限和无法有效利用 2D 预训练模型的问题，同时保持了 3D 一致性。DiffSplat 的主要优点包括高效的生成速度（1~2 秒内完成）、高质量的 3D 输出以及对多种输入条件的支持。该模型在学术研究和工业应用中具有广泛前景，尤其是在需要快速生成高质量 3D 模型的场景中。

基于Diffusion的文本到图像生成模型，专注于时尚模特摄影风格图像生成

Fashion-Hut-Modeling-LoRA是一个基于Diffusion技术的文本到图像生成模型，主要用于生成时尚模特的高质量图像。该模型通过特定的训练参数和数据集，能够根据文本提示生成具有特定风格和细节的时尚摄影图像。它在时尚设计、广告制作等领域具有重要应用价值，能够帮助设计师和广告商快速生成创意概念图。模型目前仍在训练阶段，可能存在一些生成效果不佳的情况，但已经展示了强大的潜力。该模型的训练数据集包含14张高分辨率图像，使用了AdamW优化器和constant学习率调度器等参数，训练过程注重图像的细节和质量。

一款基于Midjourney风格的文本到图像生成模型，专注于高分辨率和写实风格的图像创作。

Flux-Midjourney-Mix2-LoRA 是一款基于深度学习的文本到图像生成模型，旨在通过自然语言描述生成高质量的图像。该模型基于Diffusion架构，结合了LoRA技术，能够实现高效的微调和风格化图像生成。其主要优点包括高分辨率输出、多样化的风格支持以及对复杂场景的出色表现能力。该模型适用于需要高质量图像生成的用户，如设计师、艺术家和内容创作者，能够帮助他们快速实现创意构思。

NeuralSVG：从文本提示生成矢量图形的隐式表示方法。

NeuralSVG是一种用于从文本提示生成矢量图形的隐式神经表示方法。它受到神经辐射场（NeRFs）的启发，将整个场景编码到一个小的多层感知器（MLP）网络的权重中，并使用分数蒸馏采样（SDS）进行优化。该方法通过引入基于dropout的正则化技术，鼓励生成的SVG具有分层结构，使每个形状在整体场景中具有独立的意义。此外，其神经表示还提供了推理时控制的优势，允许用户根据提供的输入动态调整生成的SVG，如颜色、宽高比等，且只需一个学习到的表示。通过广泛的定性和定量评估，NeuralSVG在生成结构化和灵活的SVG方面优于现有方法。该模型由特拉维夫大学和MIT CSAIL的研究人员共同开发，目前代码尚未公开。

EurusPRM-Stage2是一个基于隐式过程奖励的强化学习模型，用于提升生成模型的推理能力。

EurusPRM-Stage2是一个先进的强化学习模型，通过隐式过程奖励来优化生成模型的推理过程。该模型利用因果语言模型的对数似然比来计算过程奖励，从而在不增加额外标注成本的情况下提升模型的推理能力。其主要优点在于能够在仅使用响应级标签的情况下，隐式地学习到过程奖励，从而提高生成模型的准确性和可靠性。该模型在数学问题解答等任务中表现出色，适用于需要复杂推理和决策的场景。

EurusPRM-Stage1是一个基于隐式过程奖励的强化学习模型，用于提升生成模型的推理能力。

EurusPRM-Stage1是PRIME-RL项目的一部分，旨在通过隐式过程奖励来增强生成模型的推理能力。该模型利用隐式过程奖励机制，无需额外标注过程标签，即可在推理过程中获得过程奖励。其主要优点是能够有效地提升生成模型在复杂任务中的表现，同时降低了标注成本。该模型适用于需要复杂推理和生成能力的场景，如数学问题解答、自然语言生成等。

一个用于信息检索和生成的灵活高性能框架

FlexRAG是一个用于检索增强生成（RAG）任务的灵活且高性能的框架。它支持多模态数据、无缝配置管理和开箱即用的性能，适用于研究和原型开发。该框架使用Python编写，具有轻量级和高性能的特点，能够显著提高RAG工作流的速度和减少延迟。其主要优点包括支持多种数据类型、统一的配置管理以及易于集成和扩展。

文本到图像扩散模型的美学质量提升工具

VMix是一种用于提升文本到图像扩散模型美学质量的技术，通过创新的条件控制方法——价值混合交叉注意力，系统性地增强图像的美学表现。VMix作为一个即插即用的美学适配器，能够在保持视觉概念通用性的同时提升生成图像的质量。VMix的关键洞见是通过设计一种优越的条件控制方法来增强现有扩散模型的美学表现，同时保持图像与文本的对齐。VMix足够灵活，可以应用于社区模型，以实现更好的视觉性能，无需重新训练。

无需训练的迭代框架，用于长篇故事可视化

Story-Adapter是一个无需训练的迭代框架，专为长篇故事可视化设计。它通过迭代范式和全局参考交叉注意力模块，优化图像生成过程，保持故事中语义的连贯性，同时减少计算成本。该技术的重要性在于它能够在长篇故事中生成高质量、细节丰富的图像，解决了传统文本到图像模型在长故事可视化中的挑战，如语义一致性和计算可行性。

AI内容生成平台，提供视频、语音和图像生成服务

Synthesys是一个AI内容生成平台，提供AI视频、AI语音和AI图像生成服务。它通过使用先进的人工智能技术，帮助用户以更低的成本和更简单的操作生成专业级别的内容。Synthesys的产品背景基于当前市场对于高质量、低成本内容生成的需求，其主要优点包括支持多种语言的超真实语音合成、无需专业设备即可生成高清视频、以及用户友好的界面设计。平台的定价策略包括免费试用和不同级别的付费服务，定位于满足不同规模企业的内容生成需求。

用于文本到图像扩散模型的照明绘图工具

LuminaBrush是一个交互式工具，旨在绘制图像上的照明效果。该工具采用两阶段方法：一阶段将图像转换为“均匀照明”的外观，另一阶段根据用户涂鸦生成照明效果。这种分解方法简化了学习过程，避免了单一阶段可能需要考虑的外部约束（如光传输一致性等）。LuminaBrush利用从高质量野外图像中提取的“均匀照明”外观来构建训练最终交互式照明绘图模型的配对数据。此外，该工具还可以独立使用“均匀照明阶段”来“去照明”图像。

基于文本生成图像的AI模型

fofr/flux-condensation是一个基于文本生成图像的AI模型，使用Diffusers库和LoRAs技术，能够根据用户提供的文本提示生成相应的图像。该模型在Replicate上训练，具有非商业性质的flux-1-dev许可证。它代表了文本到图像生成技术的最新进展，能够为设计师、艺术家和内容创作者提供强大的视觉表现工具。