产品库

文本到图像生成/编辑框架

RPG-DiffusionMaster是一个全新的无需训练的文本到图像生成/编辑框架，利用多模态LLM的链式推理能力增强文本到图像扩散模型的组合性。该框架采用MLLM作为全局规划器，将复杂图像生成过程分解为多个子区域内的简单生成任务。同时提出了互补的区域扩散以实现区域化的组合生成。此外，在提出的RPG框架中闭环地集成了文本引导的图像生成和编辑，从而增强了泛化能力。大量实验证明，RPG-DiffusionMaster在多类别对象组合和文本-图像语义对齐方面优于DALL-E 3和SDXL等最先进的文本到图像扩散模型。特别地，RPG框架与各种MLLM架构（例如MiniGPT-4）和扩散骨干（例如ControlNet）兼容性广泛。

CogView4-6B 是一个强大的文本到图像生成模型，专注于高质量图像生成。

CogView4-6B 是由清华大学知识工程组开发的文本到图像生成模型。它基于深度学习技术，能够根据用户输入的文本描述生成高质量的图像。该模型在多个基准测试中表现优异，尤其是在中文文本生成图像方面具有显著优势。其主要优点包括高分辨率图像生成、支持多种语言输入以及高效的推理速度。该模型适用于创意设计、图像生成等领域，能够帮助用户快速将文字描述转化为视觉内容。

CogView4 是一个支持中文和英文的高分辨率文本到图像生成模型。

CogView4 是由清华大学开发的先进文本到图像生成模型，基于扩散模型技术，能够根据文本描述生成高质量图像。它支持中文和英文输入，并且可以生成高分辨率图像。CogView4 的主要优点是其强大的多语言支持和高质量的图像生成能力，适合需要高效生成图像的用户。该模型在 ECCV 2024 上展示，具有重要的研究和应用价值。

DiffSplat 是一个从文本提示和单视图图像生成 3D 高斯点云的生成框架。

DiffSplat 是一种创新的 3D 生成技术，能够从文本提示和单视图图像快速生成 3D 高斯点云。该技术通过利用大规模预训练的文本到图像扩散模型，实现了高效的 3D 内容生成。它解决了传统 3D 生成方法中数据集有限和无法有效利用 2D 预训练模型的问题，同时保持了 3D 一致性。DiffSplat 的主要优点包括高效的生成速度（1~2 秒内完成）、高质量的 3D 输出以及对多种输入条件的支持。该模型在学术研究和工业应用中具有广泛前景，尤其是在需要快速生成高质量 3D 模型的场景中。

基于Diffusion的文本到图像生成模型，专注于时尚模特摄影风格图像生成

Fashion-Hut-Modeling-LoRA是一个基于Diffusion技术的文本到图像生成模型，主要用于生成时尚模特的高质量图像。该模型通过特定的训练参数和数据集，能够根据文本提示生成具有特定风格和细节的时尚摄影图像。它在时尚设计、广告制作等领域具有重要应用价值，能够帮助设计师和广告商快速生成创意概念图。模型目前仍在训练阶段，可能存在一些生成效果不佳的情况，但已经展示了强大的潜力。该模型的训练数据集包含14张高分辨率图像，使用了AdamW优化器和constant学习率调度器等参数，训练过程注重图像的细节和质量。

一款基于Midjourney风格的文本到图像生成模型，专注于高分辨率和写实风格的图像创作。

Flux-Midjourney-Mix2-LoRA 是一款基于深度学习的文本到图像生成模型，旨在通过自然语言描述生成高质量的图像。该模型基于Diffusion架构，结合了LoRA技术，能够实现高效的微调和风格化图像生成。其主要优点包括高分辨率输出、多样化的风格支持以及对复杂场景的出色表现能力。该模型适用于需要高质量图像生成的用户，如设计师、艺术家和内容创作者，能够帮助他们快速实现创意构思。

NeuralSVG：从文本提示生成矢量图形的隐式表示方法。

NeuralSVG是一种用于从文本提示生成矢量图形的隐式神经表示方法。它受到神经辐射场（NeRFs）的启发，将整个场景编码到一个小的多层感知器（MLP）网络的权重中，并使用分数蒸馏采样（SDS）进行优化。该方法通过引入基于dropout的正则化技术，鼓励生成的SVG具有分层结构，使每个形状在整体场景中具有独立的意义。此外，其神经表示还提供了推理时控制的优势，允许用户根据提供的输入动态调整生成的SVG，如颜色、宽高比等，且只需一个学习到的表示。通过广泛的定性和定量评估，NeuralSVG在生成结构化和灵活的SVG方面优于现有方法。该模型由特拉维夫大学和MIT CSAIL的研究人员共同开发，目前代码尚未公开。

文本到图像扩散模型的美学质量提升工具

VMix是一种用于提升文本到图像扩散模型美学质量的技术，通过创新的条件控制方法——价值混合交叉注意力，系统性地增强图像的美学表现。VMix作为一个即插即用的美学适配器，能够在保持视觉概念通用性的同时提升生成图像的质量。VMix的关键洞见是通过设计一种优越的条件控制方法来增强现有扩散模型的美学表现，同时保持图像与文本的对齐。VMix足够灵活，可以应用于社区模型，以实现更好的视觉性能，无需重新训练。

无需训练的迭代框架，用于长篇故事可视化

Story-Adapter是一个无需训练的迭代框架，专为长篇故事可视化设计。它通过迭代范式和全局参考交叉注意力模块，优化图像生成过程，保持故事中语义的连贯性，同时减少计算成本。该技术的重要性在于它能够在长篇故事中生成高质量、细节丰富的图像，解决了传统文本到图像模型在长故事可视化中的挑战，如语义一致性和计算可行性。

自适应条件选择，提升文本到图像生成控制力

DynamicControl是一个用于提升文本到图像扩散模型控制力的框架。它通过动态组合多样的控制信号，支持自适应选择不同数量和类型的条件，以更可靠和详细地合成图像。该框架首先使用双循环控制器，利用预训练的条件生成模型和判别模型，为所有输入条件生成初始真实分数排序。然后，通过多模态大型语言模型（MLLM）构建高效条件评估器，优化条件排序。DynamicControl联合优化MLLM和扩散模型，利用MLLM的推理能力促进多条件文本到图像任务，最终排序的条件输入到并行多控制适配器，学习动态视觉条件的特征图并整合它们以调节ControlNet，增强对生成图像的控制。

用于文本到图像扩散模型的照明绘图工具

LuminaBrush是一个交互式工具，旨在绘制图像上的照明效果。该工具采用两阶段方法：一阶段将图像转换为“均匀照明”的外观，另一阶段根据用户涂鸦生成照明效果。这种分解方法简化了学习过程，避免了单一阶段可能需要考虑的外部约束（如光传输一致性等）。LuminaBrush利用从高质量野外图像中提取的“均匀照明”外观来构建训练最终交互式照明绘图模型的配对数据。此外，该工具还可以独立使用“均匀照明阶段”来“去照明”图像。

基于文本生成图像的AI模型

fofr/flux-condensation是一个基于文本生成图像的AI模型，使用Diffusers库和LoRAs技术，能够根据用户提供的文本提示生成相应的图像。该模型在Replicate上训练，具有非商业性质的flux-1-dev许可证。它代表了文本到图像生成技术的最新进展，能够为设计师、艺术家和内容创作者提供强大的视觉表现工具。

高效率、高分辨率的文本到图像生成框架

Sana是一个由NVIDIA开发的文本到图像的生成框架，能够高效生成高达4096×4096分辨率的图像。Sana以其快速的速度和强大的文本图像对齐能力，可以在笔记本电脑GPU上部署，代表了图像生成技术的一个重要进步。该模型基于线性扩散变换器，使用预训练的文本编码器和空间压缩的潜在特征编码器，能够根据文本提示生成和修改图像。Sana的开源代码可在GitHub上找到，其研究和应用前景广阔，尤其在艺术创作、教育工具和模型研究等方面。

高分辨率、高效率的文本到图像生成框架

Sana是一个由NVIDIA开发的文本到图像生成框架，能够高效生成高达4096×4096分辨率的图像。Sana以其快速的速度和强大的文本图像对齐能力，使得在笔记本电脑GPU上也能部署。它是一个基于线性扩散变换器(text-to-image generative model)的模型，拥有1648M参数，专门用于生成1024px基础的多尺度高宽图像。Sana模型的主要优点包括高分辨率图像生成、快速的合成速度以及强大的文本图像对齐能力。Sana模型的背景信息显示，它是基于开源代码开发的，可以在GitHub上找到源代码，同时它也遵循特定的许可证（CC BY-NC-SA 4.0 License）。

手訫风格的铅笔素描生成模型

shou_xin是一个基于文本到图像的生成模型，它能够根据用户提供的文本提示生成具有手訫风格的铅笔素描图像。这个模型使用了diffusers库和lora技术，以实现高质量的图像生成。shou_xin模型以其独特的艺术风格和高效的图像生成能力在图像生成领域占有一席之地，特别适合需要快速生成具有特定艺术风格的图像的用户。

高分辨率、多语言支持的文本到图像生成模型

Sana是一个由NVIDIA开发的文本到图像的框架，能够高效生成高达4096×4096分辨率的图像。该模型以惊人的速度合成高分辨率、高质量的图像，并保持强大的文本-图像对齐能力，可部署在笔记本电脑GPU上。Sana模型基于线性扩散变换器，使用预训练的文本编码器和空间压缩的潜在特征编码器，支持Emoji、中文和英文以及混合提示。

最佳免费AI图像生成器

Bylo.ai是一款高级的AI图像生成器，能够将文本描述快速转换为高质量的图像。它支持负面提示和多种模型，包括流行的Flux AI图像生成器，让用户可以自定义创作。Bylo.ai以其免费在线访问、快速高效生成、高级自定义选项、灵活的图像设置和高质量图像输出等特点，成为个人和商业用途的理想选择。

基于FLUX.1-dev的中文人物肖像生成模型

AWPortraitCN是一个基于FLUX.1-dev开发的文本到图像生成模型，专门针对中国人的外貌和审美进行训练。它包含多种类型的肖像，如室内外肖像、时尚和摄影棚照片，具有强大的泛化能力。与原始版本相比，AWPortraitCN在皮肤质感上更加细腻和真实。为了追求更真实的原始图像效果，可以与AWPortraitSR工作流程一起使用。

高分辨率、多语言文本到图像生成模型

Sana是一个由NVIDIA开发的文本到图像的框架，能够高效生成高达4096×4096分辨率的图像。Sana能够以极快的速度合成高分辨率、高质量的图像，并且具有强烈的文本-图像对齐能力，可以在笔记本电脑GPU上部署。该模型基于线性扩散变换器，使用固定预训练的文本编码器和空间压缩的潜在特征编码器，支持英文、中文和表情符号混合提示。Sana的主要优点包括高效率、高分辨率图像生成能力以及多语言支持。

高分辨率、高效率的文本到图像生成框架

Sana是一个由NVIDIA开发的文本到图像生成框架，能够高效生成高达4096×4096分辨率的高清晰度、高文本-图像一致性的图像，并且速度极快，可以在笔记本电脑GPU上部署。Sana模型基于线性扩散变换器，使用预训练的文本编码器和空间压缩的潜在特征编码器。该技术的重要性在于其能够快速生成高质量的图像，对于艺术创作、设计和其他创意领域具有革命性的影响。Sana模型遵循CC BY-NC-SA 4.0许可协议，源代码可在GitHub上找到。

高分辨率、高效率的文本到图像生成框架

Sana是一个由NVIDIA开发的文本到图像的生成框架，能够高效生成高达4096×4096分辨率的图像。Sana以其快速的速度、强大的文本图像对齐能力以及可在笔记本电脑GPU上部署的特性而著称。该模型基于线性扩散变换器，使用预训练的文本编码器和空间压缩的潜在特征编码器，代表了文本到图像生成技术的最新进展。Sana的主要优点包括高分辨率图像生成、快速合成、笔记本电脑GPU上的可部署性，以及开源的代码，使其在研究和实际应用中具有重要价值。

多视图一致性图像生成的便捷解决方案

MV-Adapter是一种基于适配器的多视图图像生成解决方案，它能够在不改变原有网络结构或特征空间的前提下，增强预训练的文本到图像（T2I）模型及其衍生模型。通过更新更少的参数，MV-Adapter实现了高效的训练并保留了预训练模型中嵌入的先验知识，降低了过拟合风险。该技术通过创新的设计，如复制的自注意力层和并行注意力架构，使得适配器能够继承预训练模型的强大先验，以建模新的3D知识。此外，MV-Adapter还提供了统一的条件编码器，无缝整合相机参数和几何信息，支持基于文本和图像的3D生成以及纹理映射等应用。MV-Adapter在Stable Diffusion XL（SDXL）上实现了768分辨率的多视图生成，并展示了其适应性和多功能性，能够扩展到任意视图生成，开启更广泛的应用可能性。

基于文本生成姿态并进一步生成图像的模型

text-to-pose是一个研究项目，旨在通过文本描述生成人物姿态，并利用这些姿态生成图像。该技术结合了自然语言处理和计算机视觉，通过改进扩散模型的控制和质量，实现了从文本到图像的生成。项目背景基于NeurIPS 2024 Workshop上发表的论文，具有创新性和前沿性。该技术的主要优点包括提高图像生成的准确性和可控性，以及在艺术创作和虚拟现实等领域的应用潜力。

高效率的高分辨率图像合成框架

Sana是一个文本到图像的框架，能够高效生成高达4096×4096分辨率的图像。它以极快的速度合成高分辨率、高质量的图像，并保持强大的文本-图像对齐，可以部署在笔记本电脑GPU上。Sana的核心设计包括深度压缩自编码器、线性扩散变换器（DiT）、仅解码器的小型语言模型作为文本编码器，以及高效的训练和采样策略。Sana-0.6B与现代大型扩散模型相比，体积小20倍，测量吞吐量快100倍以上。此外，Sana-0.6B可以部署在16GB笔记本电脑GPU上，生成1024×1024分辨率图像的时间少于1秒。Sana使得低成本的内容创作成为可能。

用于生成图像的AI模型，支持多种控制网络

Stable Diffusion 3.5 ControlNets是由Stability AI提供的文本到图像的AI模型，支持多种控制网络（ControlNets），如Canny边缘检测、深度图和高保真上采样等。该模型能够根据文本提示生成高质量的图像，特别适用于插画、建筑渲染和3D资产纹理等场景。它的重要性在于能够提供更精细的图像控制能力，提升生成图像的质量和细节。产品背景信息包括其在学术界的引用（arxiv:2302.05543），以及遵循的Stability Community License。价格方面，对于非商业用途、年收入不超过100万美元的商业用途免费，超过则需联系企业许可。

基于FLUX.1-dev模型的IP-Adapter，实现图像工作如文本般灵活。

FLUX.1-dev-IP-Adapter是一个基于FLUX.1-dev模型的IP-Adapter，由InstantX Team研发。该模型能够将图像工作处理得像文本一样灵活，使得图像生成和编辑更加高效和直观。它支持图像参考，但不适用于细粒度的风格转换或角色一致性。模型在10M开源数据集上训练，使用128的批量大小和80K的训练步骤。该模型在图像生成领域具有创新性，能够提供多样化的图像生成解决方案，但可能存在风格或概念覆盖不足的问题。

先进的文本到图像模型工具套件

FLUX.1 Tools是Black Forest Labs推出的一套模型工具，旨在为基于文本的图像生成模型FLUX.1增加控制和可操作性，使得对真实和生成的图像进行修改和再创造成为可能。该工具套件包含四个不同的特性，以开放访问模型的形式在FLUX.1 [dev]模型系列中提供，并作为BFL API的补充，支持FLUX.1 [pro]。FLUX.1 Tools的主要优点包括先进的图像修复和扩展能力、结构化引导、图像变化和重构等，这些功能对于图像编辑和创作领域具有重要意义。

利用像素空间拉普拉斯扩散模型生成高质量图像

Edify Image是NVIDIA推出的一款图像生成模型，它能够生成具有像素级精确度的逼真图像内容。该模型采用级联像素空间扩散模型，并通过新颖的拉普拉斯扩散过程进行训练，该过程能够在不同频率带以不同的速率衰减图像信号。Edify Image支持多种应用，包括文本到图像合成、4K上采样、ControlNets、360° HDR全景图生成和图像定制微调。它代表了图像生成技术的最新进展，具有广泛的应用前景和重要的商业价值。

基于文本提示修订图像的大型扩散模型

SeedEdit是Doubao Team推出的大型扩散模型，用于根据任何文本提示修订图像。它通过逐步将图像生成器与强大的图像编辑器对齐，实现了图像重建和图像再生之间的最佳平衡。SeedEdit能够实现高审美/分辨率图像的零样本稳定编辑，并支持图像的连续修订。该技术的重要性在于其能够解决图像编辑问题中成对图像数据稀缺的核心难题，通过将文本到图像(T2I)生成模型视为弱编辑模型，并通过生成带有新提示的新图像来实现“编辑”，然后将其蒸馏并与之对齐到图像条件编辑模型中。